用 Python 做文本挖掘的流程

作者:肖智博 来源:https://zhuanlan.zhihu.com/p/19630762 点击阅读原文可进入超链接。

  • 收集数据
    • 数据集。如果是已经被人做成数据集了,这就省去了很多麻烦事
    • 抓取。这个是 Python 做得最好的事情,优秀的包有很多,比如 scrapy,beautifulsoup等等。
  • 预处理(对这里的高质量讨论结果的修改,下面的顺序仅限英文)
  1. 去掉抓来的数据中不需要的部分,比如 HTML TAG,只保留文本。结合 beautifulsoup 和正则表达式就可以了。pattern.web 也有相关功能。
  2. 处理编码问题。没错,即使是英文也需要处理编码问题!由于 Python2 的历史原因,不得不在编程的时候自己处理。英文也存在 unicode 和 utf-8 转换的问题,中文以及其他语言就更不用提了。这里有一个讨论,可以参考,当然网上也有很多方案,找到一个适用于自己的最好。
  3. 将文档分割成句子。
  4. 将句子分割成词。专业的叫法是 tokenize。
  5. 拼写错误纠正。pyenchant 可以帮你!(中文就没有这么些破事!)
  6. POS Tagging。nltk 是不二选择,还可以使用 pattern。
  7. 去掉标点符号。使用正则表达式就可以。
  8. 去掉长度过小的单词。len<3 的是通常选择。
  9. 去掉 non-alpha 词。同样,可以用正则表达式完成 \W 就可以。
  10. 转换成小写。
  11. 去掉停用词。Matthew L. Jockers 提供了一份比机器学习和自然语言处理中常用的停词表更长的停词表。中文的停词表 可以参考这个。
  12. lemmatization/stemming。nltk 里面提供了好多种方式,推荐用 wordnet 的方式,这样不会出现把词过分精简,导致词丢掉原型的结果,如果实在不行,也用 snowball 吧,别用 porter,porter 的结果我个人太难接受了,弄出结果之后都根本不知道是啥词了。MBSP 也有相关功能。
  13. 重新去掉长度过小的词。是的,再来一遍。
  14. 重新去停词。上面这两部完全是为了更干净。
  15. 到这里拿到的基本上是非常干净的文本了。如果还有进一步需求,还可以根据 POS 的结果继续选择某一种或者几种词性的词。
  • Bag-of-Words! nltk 和 scikit.learn 里面都有很完整的方案,自己选择合适的就好。这里如果不喜欢没有次序的 unigram 模型,可以自行选择 bi-gram 和 tri-gram 以及更高的 n-gram 模型。nltk 和 sklearn里面都有相关的处理方法。
  • 更高级的特征。
    • TF-IDF。这个 nltk 和 sklearn 里面也都有。
    • Hashing!
  • 训练模型
    • 到这里,就根据自己的应用选择合适的学习器就好了。
    • 分类,情感分析等。sklearn 里面很多方法,pattern 里有情感分析的模块,nltk 中也有一些分类器。
    • 主题发现
      • NMF
      • (Online) Latent Dirichlet Allocation
      • word2vec
    • 自动文摘。这个自己写吧,没发现什么成型的工具。
  • Draw results
    • Matplotlib
    • Tag cloud
    • Graph

----------更新分割线 2013.12.06 --------------

说明:在预处理部分仅仅针对英文的情况,由于中英文在分词上是不同的机制,所以在处理中文的时候需要根据情况进行,个人经验是在去停词之前分词。这部分有待完善。

  • 中文分词。jieba 或者 Stanford (Chinese) Word Segmenter。jieba 是纯 Python 写的,Stanford 的可以通过 nltk 调用,复旦 NLP 也可以用 Python 调用。

END.

原文发布于微信公众号 - PPV课数据科学社区(ppvke123)

原文发表时间:2017-03-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏好好学java的技术栈

“365算法每日学计划”:03打卡-贪心算法

自从开始做公众号开始,就一直在思考,怎么把算法的训练做好,因为思海同学在算法这方面的掌握确实还不够。因此,我现在想做一个“365算法每日学计划”。

2332
来自专栏逍遥剑客的游戏开发

PhysX学习笔记(3): 动力学(2) Actor

1872
来自专栏新智元

Jeff Dean推荐:用TPU跑Julia程序,只需不到1000行代码

Julia是一门集众家所长的编程语言。随着Julia 1.0在8月初正式发布,Julia语言已然成为机器学习编程的新宠。

1031
来自专栏数据魔术师

运筹学教学|修正单纯形法(revised simplex algorithm)代码分享及详细注释

欢声笑语中,小编学会了单纯形法,心里还有点小傲骄!!准备晚上去PUBG里面潇洒一把~ ? 然而,老板突然来电话说,单纯形法有升级的版本!需要我赶紧准备一份代码。...

8557
来自专栏架构师之路

洗稿,技术上怎么判断文章相似性?

这几天“差评洗稿”的事情,闹得沸沸扬扬,楼主本身也是内容创作的手艺人,简单说两句。

1794
来自专栏数据派THU

手把手教你用R处理常见的数据清洗问题(附步骤解析、R语言代码)

R是进行运算、清洗、汇总及生成概率统计等数据处理的一个绝佳选择。此外,由于它独立于平台、短期内不会消失,所以生成的程序可以在任何地方运行。并且,它具备非常棒的辅...

3763
来自专栏程序员叨叨叨

6.4 移位操作符

Cg语言中的移位操作符,功能和C语言中的一样,也可以作用在向量上,但是向量类型必须是int类型。例如:

1202
来自专栏牛客网

2018年5月23日滴滴新锐实习电话面试,开发岗位

2210
来自专栏CSDN技术头条

Weiflow:微博也有机器学习框架?

本文从开发效率(易用性)、可扩展性、执行效率三个方面,介绍了微博机器学习框架Weiflow在微博的应用和最佳实践。 在上期《基于Spark的大规模机器学习在微博...

3278
来自专栏Aloys的开发之路

OOAD与UML笔记

UML基础介绍 1.UML的定义 统一建模语言(UML)是一种图形化的语言,它可以帮助我们在OOAD过程中标识元素、构建模块、分析过程并可通过文档说明系统中的重...

1978

扫码关注云+社区

领取腾讯云代金券