专栏首页喔家ArchiSelf10行Python代码的词云

10行Python代码的词云

什么是词云呢?

词云又叫文字云,是对文本数据中出现频率较高的“关键词”在视觉上的突出呈现,形成关键词的渲染形成类似云一样的彩色图片,从而一眼就可以领略文本数据的主要表达意思。

现在,可以从网络上找到各种各样的词云,下面一图来自沈浩老师的微博:

从百度图片中还可以可以看到更多制作好的词云,部分截图如下:

词云制作有很多工具.....

从技术上来看,词云是一种有趣的数据可视化方法,互联网上有很多现成的工具:

  1. Wordle是一个用于从文本生成词云图而提供的游戏工具
  2. Tagxedo 可以在线制作个性化词云
  3. Tagul 是一个 Web 服务,同样可以创建华丽的词云
  4. Tagcrowd 还可以输入web的url,直接生成某个网页的词云
  5. ......

十行代码

但是作为一个老码农,还是喜欢自己用代码生成自己的词云,复杂么?需要很长时间么? 很多文字都介绍过各种的方法,但实际上只需要10行python代码即可。

import matplotlib.pyplot as plt
from wordcloud import WordCloud
import jieba

text_from_file_with_apath = open('/Users/hecom/23tips.txt').read()

wordlist_after_jieba = jieba.cut(text_from_file_with_apath, cut_all = True)
wl_space_split = " ".join(wordlist_after_jieba)

my_wordcloud = WordCloud().generate(wl_space_split)

plt.imshow(my_wordcloud)
plt.axis("off")
plt.show()

如此而已,生成的一个词云是这样的:

读一下这10行代码:

1~3 行,分别导入了画图的库matplotlib,词云生成库wordcloud 和 jieba的分词库;

4 行,是读取本地的文件,代码中使用的文本是本公众号中的《老曹眼中研发管理二三事》。

5~6 行,使用jieba进行分词,并对分词的结果以空格隔开;

7行,对分词后的文本生成词云;

8~10行,用pyplot展示词云图。

这是我喜欢python的一个原因吧,简洁明快。

执行环境

如果这十行代码没有运行起来,需要检查自己的执行环境了。对于完整的开发学习环境,可以参考本公众号《老曹眼中的开发学习环境》。 对于面向python 的数据分析而言,个人喜欢Anaconda,可以去https://www.continuum.io/downloads/ 下载安装,安装成功后的运行界面如下:

anaconda 是python 数据爱好者的福音吧。

安装wordcloud 和 jieba 两个库同样非常简单:

pip install wordcloud
pip install jieba

遇到的一个小坑,刚开始运行这十行代码的时候,只显式了若干彩色的小矩形框,中文词语显式不出来,以为是万恶的UTF8问题,debug一下,发现print 结巴分词的结果是可以显示中文的,那就是wordcloud 生成词语的字体库问题了。开源的好处来了,直接进入wordcloud.py 的源码,找字体库相关的代码

FONT_PATH = os.environ.get("FONT_PATH", os.path.join(os.path.dirname(__file__), "DroidSansMono.ttf"))

wordcloud 默认使用了DroidSansMono.ttf 字体库,改一下换成一个支持中文的ttf 字库, 重新运行一下这十行代码,就可以了。当然,解读代码后有更优雅的方法。

看一下源码

既然进入了源码,就会忍不住好奇心,浏览一下wordcloud 的实现过程和方式吧。

wordcloud.py总共不过600多行,其间有着大量的注释,读起来很方便。其中用到了较多的库,常见的random,os,sys,re(正则)和可爱的numpy,还采用了PIL绘图,估计一些人又会遇到安装PIL的那些坑。

生成词云的原理其实并不复杂,大体分成5步:

  1. 对文本数据进行分词,也是众多NLP文本处理的第一步,对于wordcloud中的process_text()方法,主要是停词的处理
  2. 计算每个词在文本中出现的频率,生成一个哈希表。词频计算相当于各种分布式计算平台的第一案例wordcount, 和各种语言的hello world 程序具有相同的地位了,呵呵。
  3. 根据词频的数值按比例生成一个图片的布局,类IntegralOccupancyMap 是该词云的算法所在,是词云的数据可视化方式的核心。
  4. 将词按对应的词频在词云布局图上生成图片,核心方法是generate_from_frequencies,不论是generate()还是generate_from_text()都最终到generate_from_frequencies
  5. 完成词云上各词的着色,默认是随机着色

词语的各种增强功能大都可以通过wordcloud的构造函数实现,里面提供了22个参数,还可以自行扩展。

更多的小例子

看看一个准文言文的词云,文本文字来自本公众号去年的旧文——《妻》,其中在构造函数中传入了关于屏幕和字体大小的几个参数:

width=800,height=400,max_font_size=84,min_font_size=16

得到了这样的词云图:

自惭形秽,根本看不出文言文的色彩和对妻子的感情流露,不是好文字呀!或许是词云的局限吧!

矩形的词云的确太简陋了,直接在图片上用词云来填充就有意思多了,wordcloud中可以采用mask的方式来实现。换上一张自己的照片,用《再谈<全栈架构师>一文》中的文字,词云出来的效果是这样的 :

还是很难看出肖像的轮廓,还好,可以遮丑。其中增加了3行代码

from PIL import Image
import numpy as np
abel_mask = np.array(Image.open("/Users/hecom/chw.png"))

在构造函数的时候,将mask传递进去即可:

background_color="black", mask=abel_mask

自己做的这些词云图片还是太陋,这就是原型简单,好的产品困难呀!做好一个漂亮词云的图片,还是要在诸多细节上下功夫的。

例如:

分词的处理,“就是”这样没有意义的词不应该出现在词云里呀?

所展示关键词的目的性选择?

如何选择一个合适的字库?

如何更好地自主着色?

图片的预处理,如何让图片和词云表达原图片的主要特征?

......

词云的背后

词云的背后实际上是数据集成处理的典型过程,我们所熟知的6C,如下图:

  • Connect: 目标是从各种各样数据源选择数据,数据源会提供APIs,输入格式,数据采集的速率,和提供者的限制.
  • Correct: 聚焦于数据转移以便于进一步处理,同时保证维护数据的质量和一致性
  • Collect: 数据存储在哪,用什么格式,方便后面阶段的组装和消费
  • Compose: 集中关注如何对已采集的各种数据集的混搭, 丰富这些信息能够构建一个引入入胜的数据驱动产品。
  • Consume: 关注数据的使用、渲染以及如何使正确的数据在正确的时间达到正确的效果。
  • Control: 这是随着数据、组织、参与者的增长,需要的第六个附加步骤,它保证了数据的管控。


这十行代码构建的词云,没有通过API从公众号(wireless_com)直接获取,简化和抽象是工程化的典型方式,这里至今复制粘贴,甚至省略了correct的过程,直接将数据存储在纯文本文件中,通过jieba分词进行处理即compose,使用词云生成可视化图片用于消费consume,把一个个自己生成的词云组织到不同的文件目录便于检索算是初步的管控control吧。

参考网站

  • https://www.continuum.io
  • https://github.com/fxsjy/jieba
  • https://github.com/amueller/word_cloud

本文分享自微信公众号 - 喔家ArchiSelf(wireless_com),作者:老曹

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-03-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 物联网的四种计算模式

    从物联网从业者的角度来看,经常看到对计算更加可用和分布式的需求。当开始将物联网与OT和IT系统整合时,面临的第一个问题是设备发送到服务器的庞大数据量。 在一个工...

    半吊子全栈工匠
  • 关于软件开发,都应该知道的10个常识

    2011年,马克·安德列森(Marc Andreessen)写了一篇文章,预言“软件吞噬世界”。观点主要有两个:第一,许多传统业务正在被软件公司所取代;第二,所...

    半吊子全栈工匠
  • 令人激动的语音UI背后

    亚马逊Echo和Echo Dot智能音箱获得了成功,它已经使语音命令(通常称为语音UI或语音UI)出现在了新技术产品中。在每一部智能手机和平板电脑上,大多数新型...

    半吊子全栈工匠
  • 【工具】手把手教你用R制作词云

    ? 看着别人做的词云,觉得做设计素材特别好,就在网上扒拉一下,看有没有合适大众一起玩的工具,公认为国外的tagxedo制作词云是最简洁方便和模板最多的。点击t...

    小莹莹
  • 手把手教你几种生成词云的方式

    在数据可视化方面,词云一直是一种视觉冲击力很强的方式。对输入的一段文字进行语义分割,得到不同频度的词汇,然后以正比于词频的字体大小无规则的集中显示高频词,简洁直...

    1480
  • python爬取某站上海租房图片

      对于一个net开发这爬虫真真的以前没有写过。这段时间开始学习python爬虫,今天周末无聊写了一段代码爬取上海租房图片,其实很简短就是利用爬虫的第三方库Re...

    py3study
  • 励志:男子坐牢写程序,出狱后卖给监狱

    据新华社电 印度工程师阿米特·库马尔·米什拉因妻子之死坐牢13个月,却“因地制宜”研发出一套先进的监狱管理软件,出狱后当起老板并将软件卖给了监狱,创业大获成功。...

    zhisheng
  • 基于HMM的中文词性标注 POSTagging

    给定 标注文本corpus4pos_tagging.txt,训练一个模型,用模型预测给定文本的词性

    Michael阿明
  • Hive Query生命周期 —— 钩子(Hook)函数篇

    无论你通过哪种方式连接Hive(如Hive Cli、HiveServer2),一个HQL语句都要经过Driver的解析和执行,主要涉及HQL解析、编译、优化器处...

    大数据学习与分享
  • RDD分区理解

    一个HDFS文件的RDD将文件的每个文件块表示为一个分区,并且知道每个文件块的位置信息。这些对应着数据块的分区分布到集群的节点中,因此,分区的多少涉及对这个RD...

    张凝可

扫码关注云+社区

领取腾讯云代金券