10行Python代码的词云

什么是词云呢?

词云又叫文字云,是对文本数据中出现频率较高的“关键词”在视觉上的突出呈现,形成关键词的渲染形成类似云一样的彩色图片,从而一眼就可以领略文本数据的主要表达意思。

现在,可以从网络上找到各种各样的词云,下面一图来自沈浩老师的微博:

从百度图片中还可以可以看到更多制作好的词云,部分截图如下:

词云制作有很多工具.....

从技术上来看,词云是一种有趣的数据可视化方法,互联网上有很多现成的工具:

  1. Wordle是一个用于从文本生成词云图而提供的游戏工具
  2. Tagxedo 可以在线制作个性化词云
  3. Tagul 是一个 Web 服务,同样可以创建华丽的词云
  4. Tagcrowd 还可以输入web的url,直接生成某个网页的词云
  5. ......

十行代码

但是作为一个老码农,还是喜欢自己用代码生成自己的词云,复杂么?需要很长时间么? 很多文字都介绍过各种的方法,但实际上只需要10行python代码即可。

import matplotlib.pyplot as plt
from wordcloud import WordCloud
import jieba

text_from_file_with_apath = open('/Users/hecom/23tips.txt').read()

wordlist_after_jieba = jieba.cut(text_from_file_with_apath, cut_all = True)
wl_space_split = " ".join(wordlist_after_jieba)

my_wordcloud = WordCloud().generate(wl_space_split)

plt.imshow(my_wordcloud)
plt.axis("off")
plt.show()

如此而已,生成的一个词云是这样的:

读一下这10行代码:

1~3 行,分别导入了画图的库matplotlib,词云生成库wordcloud 和 jieba的分词库;

4 行,是读取本地的文件,代码中使用的文本是本公众号中的《老曹眼中研发管理二三事》。

5~6 行,使用jieba进行分词,并对分词的结果以空格隔开;

7行,对分词后的文本生成词云;

8~10行,用pyplot展示词云图。

这是我喜欢python的一个原因吧,简洁明快。

执行环境

如果这十行代码没有运行起来,需要检查自己的执行环境了。对于完整的开发学习环境,可以参考本公众号《老曹眼中的开发学习环境》。 对于面向python 的数据分析而言,个人喜欢Anaconda,可以去https://www.continuum.io/downloads/ 下载安装,安装成功后的运行界面如下:

anaconda 是python 数据爱好者的福音吧。

安装wordcloud 和 jieba 两个库同样非常简单:

pip install wordcloud
pip install jieba

遇到的一个小坑,刚开始运行这十行代码的时候,只显式了若干彩色的小矩形框,中文词语显式不出来,以为是万恶的UTF8问题,debug一下,发现print 结巴分词的结果是可以显示中文的,那就是wordcloud 生成词语的字体库问题了。开源的好处来了,直接进入wordcloud.py 的源码,找字体库相关的代码

FONT_PATH = os.environ.get("FONT_PATH", os.path.join(os.path.dirname(__file__), "DroidSansMono.ttf"))

wordcloud 默认使用了DroidSansMono.ttf 字体库,改一下换成一个支持中文的ttf 字库, 重新运行一下这十行代码,就可以了。当然,解读代码后有更优雅的方法。

看一下源码

既然进入了源码,就会忍不住好奇心,浏览一下wordcloud 的实现过程和方式吧。

wordcloud.py总共不过600多行,其间有着大量的注释,读起来很方便。其中用到了较多的库,常见的random,os,sys,re(正则)和可爱的numpy,还采用了PIL绘图,估计一些人又会遇到安装PIL的那些坑。

生成词云的原理其实并不复杂,大体分成5步:

  1. 对文本数据进行分词,也是众多NLP文本处理的第一步,对于wordcloud中的process_text()方法,主要是停词的处理
  2. 计算每个词在文本中出现的频率,生成一个哈希表。词频计算相当于各种分布式计算平台的第一案例wordcount, 和各种语言的hello world 程序具有相同的地位了,呵呵。
  3. 根据词频的数值按比例生成一个图片的布局,类IntegralOccupancyMap 是该词云的算法所在,是词云的数据可视化方式的核心。
  4. 将词按对应的词频在词云布局图上生成图片,核心方法是generate_from_frequencies,不论是generate()还是generate_from_text()都最终到generate_from_frequencies
  5. 完成词云上各词的着色,默认是随机着色

词语的各种增强功能大都可以通过wordcloud的构造函数实现,里面提供了22个参数,还可以自行扩展。

更多的小例子

看看一个准文言文的词云,文本文字来自本公众号去年的旧文——《妻》,其中在构造函数中传入了关于屏幕和字体大小的几个参数:

width=800,height=400,max_font_size=84,min_font_size=16

得到了这样的词云图:

自惭形秽,根本看不出文言文的色彩和对妻子的感情流露,不是好文字呀!或许是词云的局限吧!

矩形的词云的确太简陋了,直接在图片上用词云来填充就有意思多了,wordcloud中可以采用mask的方式来实现。换上一张自己的照片,用《再谈<全栈架构师>一文》中的文字,词云出来的效果是这样的 :

还是很难看出肖像的轮廓,还好,可以遮丑。其中增加了3行代码

from PIL import Image
import numpy as np
abel_mask = np.array(Image.open("/Users/hecom/chw.png"))

在构造函数的时候,将mask传递进去即可:

background_color="black", mask=abel_mask

自己做的这些词云图片还是太陋,这就是原型简单,好的产品困难呀!做好一个漂亮词云的图片,还是要在诸多细节上下功夫的。

例如:

分词的处理,“就是”这样没有意义的词不应该出现在词云里呀?

所展示关键词的目的性选择?

如何选择一个合适的字库?

如何更好地自主着色?

图片的预处理,如何让图片和词云表达原图片的主要特征?

......

词云的背后

词云的背后实际上是数据集成处理的典型过程,我们所熟知的6C,如下图:

  • Connect: 目标是从各种各样数据源选择数据,数据源会提供APIs,输入格式,数据采集的速率,和提供者的限制.
  • Correct: 聚焦于数据转移以便于进一步处理,同时保证维护数据的质量和一致性
  • Collect: 数据存储在哪,用什么格式,方便后面阶段的组装和消费
  • Compose: 集中关注如何对已采集的各种数据集的混搭, 丰富这些信息能够构建一个引入入胜的数据驱动产品。
  • Consume: 关注数据的使用、渲染以及如何使正确的数据在正确的时间达到正确的效果。
  • Control: 这是随着数据、组织、参与者的增长,需要的第六个附加步骤,它保证了数据的管控。


这十行代码构建的词云,没有通过API从公众号(wireless_com)直接获取,简化和抽象是工程化的典型方式,这里至今复制粘贴,甚至省略了correct的过程,直接将数据存储在纯文本文件中,通过jieba分词进行处理即compose,使用词云生成可视化图片用于消费consume,把一个个自己生成的词云组织到不同的文件目录便于检索算是初步的管控control吧。

参考网站

  • https://www.continuum.io
  • https://github.com/fxsjy/jieba
  • https://github.com/amueller/word_cloud

原文发布于微信公众号 - 喔家ArchiSelf(wireless_com)

原文发表时间:2017-03-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏企鹅号快讯

python-pcl以及相关资料分享

PCL(Point Cloud Library)是在吸收了前人点云相关研究基础上建立起来的大型跨平台开源C++编程库,它实现了大量点云相关的通用算法和高效数据结...

81950
来自专栏Web行业观察

我是如何爱上ag-grid框架的

与每个管理系统一样,我们需要选择一个网格来显示我们的数据,而我的前任已经在应用程序中使用了两个网格 -  ag-Grid(v2.7)和Ng-Table(v0.8...

1.3K40
来自专栏CDA数据分析师

手把手教你用Python分析电影 | 以《蚁人2》为例

《蚁人2》自8月24日在中国大陆上映以来,已经有将近一个月。作为《复仇者联盟3》之后漫威出品的首部电影,《蚁人2》对漫威宇宙电影的剧情承转起着关键作用。9月20...

30320
来自专栏Coding迪斯尼

VUE+WebPack精美游戏设计:实现微信红包铜钱转动特性和页面数据的本地存储

23440
来自专栏肖洒的博客

基于Python的微信好友分析

“如果我比别人看得远,那是因为我站在巨人的肩膀上”–不知道牛顿说了没 本文利用Python3的itchat包简单的分析了一下自己的微信好友。

62520
来自专栏大数据文摘

数学烂也要学AI | 带你造一个经济试用版AI终极必杀器

39590
来自专栏Albert陈凯

大数据领域的性能测试Benchmark介绍

一、Benchmark简介 Benchmark是一个评价方式,在整个计算机领域有着长期的应用。正如维基百科上的解释“As computer architect...

69430
来自专栏大数据文摘

交互式数据可视化,在Python中用Bokeh实现

445110
来自专栏FreeBuf

谈谈鱼叉式网络钓鱼黑箱粉碎机

美国加州大学伯克利分校和劳伦斯伯克利国家实验室(LBNL)的几位安全研究人员开发了鱼叉式网络钓鱼黑箱粉碎机,通过分析鱼叉式网络钓鱼攻击的根本特点设计了一组新的信...

43470
来自专栏专知

【下载】Scikit-learn作者新书《Python机器学习导论》, 教程+代码手把手带你实践机器学习算法

【导读】哥伦比亚大学老师Andreas C. Müller同时也是著名机器学习Python包scikit-learn的主要贡献者 Andreas Muller ...

70350

扫码关注云+社区

领取腾讯云代金券