词云图,也叫文字云,是对文本中出现频率较高的“关键词”予以视觉化的展现,词云图过滤掉大量的低频低质的文本信息,使得浏览者只要一眼扫过文本就可领略文本的主旨。
简书签约作者标签词云
全国政协常委会工作报告词云图
Tagul云可以自定义字体、词云的形状(有爱心、BUS、雪人、人像、UFO等),颜色等,做出来的词云图很酷炫,为网站访问者提供良好的用户体验。用户可以在网站做好词云图,然后印在衣服、杯子、鼠标垫等地方,自己设计身边的物件,感觉很有成就感,很实用的网站。
这款国内的在线词频分析工具,在长文本自动分词并制作词云方面还是很出众的,而且也容易上手,还可以自定义定制图形模板:标准、微信、地图等,切换自如,用起来体验很不错。
这是一款数据可视化工具,除了词云,还有很多其他酷炫的图表,如GIS地图、漏斗图、瀑布图、桑基图等,来了解它们的词云。工具很容易上手,直接把词语这个数据拉到维度栏,再选择词云就瞬间呈现词云图表,BDP会自动算好词频,你可以设置颜色,快速实现词云可视化,特别简单。
#安装词云
pip install wordcloud
#安装jieba分词
pip install jieba
1、引入模块
from wordcloud import WordCloud
import matplotlib.pyplot as plt
2、实例化一个词云
wc = WordCloud()
3、导入文本
text = open(r"222.txt",encoding='utf-8').read()
4、生成词云
wc.generate(text)
5、显示词云
plt.imshow(wc)
#导入python画图的库,词云生成库和jieba的分词库
import matplotlib.pyplot as plt
from wordcloud import WordCloud
import jieba
#读取txt格式的文本内容
text_from_file_with_apath = open('JsIndex.txt').read()
#使用jieba进行分词,并对分词的结果以空格隔开
wordlist_after_jieba = jieba.cut(text_from_file_with_apath, cut_all = True)
wl_space_split = " ".join(wordlist_after_jieba)
#对分词后的文本生成词云
my_wordcloud = WordCloud().generate(wl_space_split)
#用pyplot展示词云图。
plt.imshow(my_wordcloud)
plt.axis("off")
plt.show()
入门可以参考博客python词云 wordcloud 入门,安装的时候建议使用依赖包安装,我用命令安装了几次一直超时失败。
通过谷歌商店的Xpath工具分析结构得到我们想要的数据
直接复制title的xpath,不过我们只能得到这一条数据,所以还要修改
#-*- coding:utf-8 -*-
#creater 简书-_知几 2017.8.26
import urllib,urllib2,re
from lxml import etree
class CrawlJs:
#定义函数,爬取对应的数据
def getArticle(self,url):
print '█████████████◣开始爬取数据'
my_headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.104 Safari/537.36',
}
request = urllib2.Request(url,headers=my_headers)
content = urllib2.urlopen(request).read()
return content
#定义函数,筛选和保存爬取到的数据
def save(self,content):
xml = etree.HTML(content)
datas = xml.xpath('//div[@class="content"]/a/text()')
print datas
for data in datas:
print data
with open('JsIndex.txt','a+') as f:
f.write(data.encode('utf-8')+ '\n')
print '█████████████◣爬取完成!'
#定义主程序接口
if __name__ == '__main__':
url = 'http://www.jianshu.com/'
js = CrawlJs()
content = js.getArticle(url)
js.save(content)
得到我们的数据
操作:
简书首页推荐文章标题词云图