专栏首页大数据文摘十分钟视频,手把手教你用Python撒情人节狗粮的正确姿势

十分钟视频,手把手教你用Python撒情人节狗粮的正确姿势

大数据文摘作品 转载具体要求见文末

作者 | 寒小阳 视频后期 | 崔云柯

是的,你们没有猜错,这是一期撒狗粮的手把手教学文章!

刚刚从春节回家被爸妈逼婚的懵逼中回过神来,明天又到了满世界秀恩爱的情人节,各位给女朋友的礼物都准备好了吗?

如果还没有准备,不要慌张,老司机大数据文摘不仅文章有深度,套路也不浅,在情人节前一天推出的这期手把手系列,小阳老师将花10分钟时间,逐步带各位利用Python完成一个技术范儿十足又有点浪漫的情人节礼物:用词云图带她回忆你们聊天记录里的爱情故事。

给你一张过去的词云图,看看那时我们的爱情~

当然,这一切的前提是,你得有一个女朋友,或者,一个聊天频率远超其他人,聊天内容略暧昧的姑娘。

然后,请自行导出你们暧昧阶段、初识阶段、热恋阶段,总之一切充满甜言蜜语期的聊天记录,QQ/微信聊天记录导出方式请自行度娘。

好的,一切就绪,坐稳,老司机要上路了。

本段视频长度约10 分钟,暂时来不及看视频的同学请直接下拉查看代码和文章。

点击右上角进入大数据文摘公众号后台(非评论区),回复“情人节”获取代码包!

?戳视频看寒小阳老师手把手教你炮制一份专属礼物!

视频内容

前期准备工作

实现词云功能之前,我们需要一个python的编写和运行环境,同时安装好相关的依赖包。 对于python环境,我们推荐使用ipython notebook。 在本地电脑环境,anaconda提供了非常便利的安装和部署,他会自动帮你把ipython notebook环境部署好。

词云功能所需的依赖包如下: jieba(分词包) numpy(计算包) codecs(语言代码处理包) pandas(数据分析包) matplotlib(绘图功能包) WordCloud(词云包)

1.引入相关的库包

首先,需要引入词云功能的所有依赖包,具体代码如下:

In [10]:

#coding:utf-8__author__ = 'Hanxiaoyang'import jieba    #分词包import numpy    #numpy计算包import codecs   #codecs提供的open方法来指定打开的文件的语言编码,它会在读取的时候自动转换为内部unicode import pandas   #数据分析包import matplotlib.pyplot as plt from wordcloud import WordCloud#词云包

2.导入相关记录txt文件,分词:

然后读取你和你的另一半一切充满甜言蜜语的聊天记录。本次演示,大数据文摘选取的是《大话西游月光宝盒》中至尊宝和女神紫霞仙子的对话文本(提前准备好文件:大话西游.txt),对文本进行分词处理,形成分词后的词集。

具体代码:

In [11]:

file=codecs.open(u"大话西游.txt",'r')content=file.read()file.close()segment=[]segs=jieba.cut(content) #切词,“么么哒”才能出现for seg in segs:
    if len(seg)>1 and seg!='\r\n':
        segment.append(seg)

3.去停用词

“多喝热水”和闹嘴的小细节可以在这里抹去

想要生成一个较为理想的词云,分词的内容质量很重要,那么必须要做的一步就是要去除文本中的“噪音”,通常的实现方法是:先定义一个停用词集,然后利用停用词集对上面的文本分词全集进行过滤,最后形成一个有效词集。

这里要给大家一句非常重要的温馨提醒,我们希望每一位同学在处理相关数据时都能秉持公正客观真实的原则,但如果你最终导出的结果与你预期的“甜蜜”记录并不符合,比如出现了“多喝热水”等尴尬的词语,那么在去听用词中,适当的抹去这样的小细节来避免明年一个人过节,也是可以理解的。

具体代码:

In [12]:

words_df=pandas.DataFrame({'segment':segment})words_df.head()stopwords=pandas.read_csv("stopwords.txt",index_col=False,quoting=3,sep="\t",names=['stopword'],encoding="utf8")words_df=words_df[~words_df.segment.isin(stopwords.stopword)]

4.统计词频

情侣对话日常高频词

下面进入到词云的关键一步了:词频统计。我们需要统计有效词集中每个词的出现次数,然后按照次数从多到少进行排序。其中统计使用groupby函数,排序使用sort函数。

代码如下:

In [19]:

words_stat=words_df.groupby(by=['segment'])['segment'].agg({"计数":numpy.size})words_stat=words_stat.reset_index().sort(columns="计数",ascending=False)words_stat  #打印统计结果
/opt/ds/lib/python2.7/site-packages/ipykernel/__main__.py:2: FutureWarning: sort(columns=....) is deprecated, use sort_values(by=.....)
  from ipykernel import kernelapp as app

Out[19]:

segment

计数

180

紫霞

80

193

至尊宝

52

112

悟空

18

140

月光宝盒

7

66

嘻嘻

6

11

上天

6

87

安排

5

184

老婆

4

60

告诉

4

173

真的

4

84

姻缘

3

85

娘子

3

21

交代

3

88

宝剑

3

89

宝盒

3

175

知不知道

3

15

不行

3

14

不用

3

98

干什么

3

177

神仙

3

137

明白

3

73

多久

2

57

后悔

2

182

终于

2

69

回忆

2

170

痛苦

2

114

意中人

2

167

留下

2

165

生气

2

82

姐姐

2

...

...

...

121

我托

1

123

我要

1

124

扔掉

1

125

找到

1

100

干成

1

97

帮个

1

62

唾骂

1

95

师傅

1

63

喂喂

1

65

嘟嘟声

1

67

回到

1

68

回去

1

70

回来

1

71

地方

1

72

夕阳

1

74

大姐

1

75

天黑

1

76

太晚

1

77

女人

1

78

女孩子

1

79

好不好

1

80

好怪

1

81

如意郎君

1

83

姑娘

1

86

孙悟空

1

91

家里

1

92

寂寞

1

93

小心

1

94

就象

1

227

齐天大圣

1

228 rows × 2 columns

5.做词云

开启亮瞎眼么么哒模式

最后是词云的点睛之笔了:数据图形化显示。有了强有力的工具包,这些工作都是分分钟就可以搞定。我们使用matplotlib和wordcloud工具来图形化显示上述的词频统计结果。

话不多说,上代码:

In [14]:

%matplotlib inlinewordcloud=WordCloud(font_path="simhei.ttf",background_color="black")wordcloud=wordcloud.fit_words(words_stat.head(1000).itertuples(index=False))plt.imshow(wordcloud)plt.show()

如果你想将生成的图形以本地图片的形式生成并打开显示,可以使用下面的实现代码:

In [15]:

%matplotlibwordcloud=WordCloud(font_path="simhei.ttf",background_color="black")wordcloud=wordcloud.fit_words(words_stat.head(1000).itertuples(index=False))plt.imshow(wordcloud)plt.show()
Using matplotlib backend: TkAgg

6.自定义背景图做词云

让他看到你的心

情人节,又是大话西游这样的经典对白,我们当然还可以把图形呈现玩得再酷炫一些,自定义一个心形图像背景并将词云图形化输出。

实现代码如下:

In [16]:

from scipy.misc import imreadimport matplotlib.pyplot as pltfrom wordcloud import WordCloud,ImageColorGenerator%matplotlib inlinebimg=imread('heart.jpeg')wordcloud=WordCloud(background_color="white",mask=bimg,font_path='simhei.ttf')wordcloud=wordcloud.fit_words(words_stat.head(4000).itertuples(index=False))bimgColors=ImageColorGenerator(bimg)plt.axis("off")plt.imshow(wordcloud.recolor(color_func=bimgColors))plt.show()

当然你也可以选择对你们更有意义的图片,生成你们独一无二的词云图。如果你想将生成的图形以本地图片的形式生成并打开显示,可以使用下面的实现代码:

In [18]:

%matplotlibbimg=imread('heart.jpeg')wordcloud=WordCloud(background_color="white",mask=bimg,font_path='simhei.ttf')wordcloud=wordcloud.fit_words(words_stat.head(39769).itertuples(index=False))bimgColors=ImageColorGenerator(bimg)plt.axis("off")plt.imshow(wordcloud.recolor(color_func=bimgColors))plt.show()
Using matplotlib backend: TkAgg

以上,就是情人节大话西游对话词云的实现过程,所有代码都经过调试,直接可用。 让喜欢数据的你,利用这种方式,为心爱的他/她,带来一份数据感、科技感、炫酷感、新奇感十足的情人节小惊喜吧!

这是本次情人节大数据文摘献给各位的套路,小阳老师只能帮你到这里啦。

本文分享自微信公众号 - 大数据文摘(BigDataDigest),作者:撒狗粮的

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-02-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 她的名字叫珍 | 黑镜AI故事

    《黑镜》是一部英国迷你剧,该剧分别以多个建构于现代科技背景的独立故事,表达了当代科技对人性的利用、重构与破坏。

    大数据文摘
  • 她的名字叫珍 | 黑镜AI故事

    《黑镜》是一部英国迷你剧,该剧分别以多个建构于现代科技背景的独立故事,表达了当代科技对人性的利用、重构与破坏。

    大数据文摘
  • 【周末分享】你未必是人好,你只是没机会放荡

    大数据文摘
  • C++版 - 剑指offer 面试题47:不用+、-、×、÷做加法 题解

    提交网址: http://www.nowcoder.com/practice/59ac416b4b944300b617d4f7f111b215?tpId=13&...

    Enjoy233
  • 介绍一款API浏览器--Dash

    首先简单的说一下什么是dash,dash是一款软件,确实作为一名coder我们每天无非就是不停的查看各种API,我们一般的查询办法是直接打开官方文档看,其实这样...

    何处锦绣不灰堆
  • 小程序上手体验:我们做了一款,让你极速查公交

    知晓君
  • 百度CEO李彦宏称如果google回到中国,有信心再赢一次,有这种可能嘛?

    百度已经很久没有发出如此豪言壮语了,这件事如果真的发生对于百度来讲未必是坏事,毕竟现在百度在中国市场上的份额还是独一份的老大,虽然有很多的搜索引擎也在极力去争夺...

    程序员互动联盟
  • 《deep learning》学习笔记(2)——线性代数

    http://blog.csdn.net/u011239443/article/details/77942575

    用户1621453
  • Level Set图像分割方法及python实例

    Level Set是基于能量的图像分割方法,通过求解最小能量泛函,得到目标轮廓的表达式。其轮廓表示借鉴了水平集的概念,将低维度的曲线嵌入了高维度的曲面中。

    Minerva
  • 隐忍一年,百度钱包杀回正面战场

    一个著名鸡汤是,所有人都知道世界第一高峰是珠穆朗玛峰,却很少有人能回答第二高峰的名字。在互联网行业第一和第二因为时常交锋可以时常进入大众视野,第三却鲜有人关注。...

    罗超频道

扫码关注云+社区

领取腾讯云代金券