专栏首页林欣哲自然语言处理--文本处理

自然语言处理--文本处理

自然语言处理的目的是让机器试图理解和处理人类的文字。通常来说,人的语言是冗余的,含有歧义的,而机器是准确的,无歧义的,要让机器理解,这之间存在一个转换的问题。

通常做法的逻辑思路是,文本处理-->特征提取-->建立模型

文本处理是为了让数据干净,便于输入数学模型做处理。

文本处理的常见流程:

  1. 文本获取:下载数据集;通过爬虫程序从网上收集;通过SQL语句从数据库读取等等;
  2. 文本提取:从多种数据来源提取文本(如从网页、txt、pdf文件、OCR纸张的复印件、甚至语音识别),如用正则表达式提取文本,网页则用CSS选择器的语法提取文本,复印件图片则用OCR识别文本技术。
  3. 文本正则化:也就是规范化文本,英文需要处理大小写,可以根据需要去除标点符号,
  4. 文本词语切分:中文需要分词,英文直接按空格拆分出一个个单词。
  5. 通用词删除:去掉高频的无意义的词,如“的”、“地”、“得”等等。
  6. 词性分析:词是动词、名词、状语之类的。为了了解句子结构。
  7. 专有名词识别:公司名、人名、地名
  8. 词干提取(stemming)和词形还原(lemmatization) :英文词会有各种时态和单复数变形,需要把词还原成词干。

本文分享自微信公众号 - 林欣哲(gh_aba6caba3ac7),作者:林欣哲

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-10-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 10分钟看懂Batch Normalization的好处

    Batch normalization是一个用于优化训练神经网络的技巧。具备有以下几个优点 1. 训练的更快 因为在每一轮训练中的前向传播和反响传播的额外计算会...

    linxinzhe
  • 隐含层权重参数的初始化方式的对比实验

    全1或全0初始化 全1或全0初始化的训练效果 ? After 858 Batches (2 Epochs): Validation Accuracy 11...

    linxinzhe
  • Maven知识点速查

    本文是学习项目管理利器——maven的Maven知识点速查 前置知识:无 Maven常用命令 compile 编译src/main/java文件 test 运行...

    linxinzhe
  • 使用深度学习的端到端文本OCR

    在当今这样的时代,任何组织或公司要扩大规模并保持相关性,都必须改变他们对技术的看法,并迅速适应不断变化的形势。已经知道Google如何将图书数字化。还是Goog...

    代码医生工作室
  • 用深度学习(CNN RNN Attention)解决大规模文本分类问题 - 综述和实践

    近来在同时做一个应用深度学习解决淘宝商品的类目预测问题的项目,恰好硕士毕业时论文题目便是文本分类问题,趁此机会总结下文本分类领域特别是应用深度学习解决文本分类的...

    用户1908973
  • 搜狐图文匹配算法大赛_方案分享

    参加这次比赛的初衷是作为机器学习课程的大作业,这两天写了课程报告,所以将报告内容修改了一下进行分享。 我所在的团队(“中国国家跳水队”,排名如队名,一度严重跳水...

    机器学习AI算法工程
  • CVPR 2018 | 华中科技大学提出多向文本检测方法:基于角定位与区域分割

    选自arXiv 作者:Pengyuan Lyu等 机器之心编译 参与:Nurhachu Null、李泽南 在计算机视觉的应用场景里,对图像中的文本进行准确识别是...

    机器之心
  • 海量短文本场景下的去重算法

    在大多数情况下,大量的重复文本一般不会是什么好事情,比如互相抄袭的新闻,群发的垃圾短信,铺天盖地的广告文案等,这些都会造成网络内容的同质化并加重数据库的存储负担...

    腾讯QQ大数据
  • 浙江大学和海康威视提出:视频场景文本定位算法SVST(集成检测,跟踪和识别于一体)

    【导读】本文分享一篇浙江大学和海康威视最新联合提出的视频场景文本定位(Video Scene Text Spotting)方向的算法:SVST(spotting...

    Amusi
  • 吾爱NLP(4)—基于Text-CNN模型的中文文本分类实战

    转眼学生生涯就结束了,在家待就业期间正好有一段空闲期,可以对曾经感兴趣的一些知识点进行总结。

    流川枫

扫码关注云+社区

领取腾讯云代金券