我爬取了37000条球迷评论,知道了这场比赛的重要信息

这是日常学python的第18篇原创文章

这次用python爬虫爬点好玩的东西

这两天看恰好有nba决赛,是球迷的你肯定不会错过的,更何况今年的西部决赛是火箭对战勇士,今年的火箭是很强的,因为没到关键时候总会有人站出来。当然,勇士也是挺强的,毕竟不能小看库里杜兰特等四大巨头。

东部的决赛我就不太知道了,一直以为是凯尔特人会苦战骑士,谁知道缺了两大主力的凯尔特人还是很强,而且还打了骑士2:0,看来这次的骑士会是凶多吉少了,不知道凯尔特人会不会成功复仇,让我们拭目以待吧!

有直播就肯定有评论,所以我想爬取下球迷评论,看看他们都在聊什么!

准备工作

需要用到的库:

requests:用于网络请求

jieba:用于分词

wordcloud:制作词云图

numpy:制作背景图片

词云背景图片:

上面的库都是可以直接用pip进行下载的,但是wordcloud会报错,报错如下:

我们需要去官网下载whl文件进行手动安装

官网:https://www.lfd.uci.edu/~gohlke/pythonlibs/

然后找到对应自己安装的python版本进行下载

最后在命令行下安装即可

pip install “文件路径+whl文件名”

接下来寻找目标网页

文字直播地址:https://www.zhibo8.cc/zhibo/nba/2018/0517123898.htm?redirect=zhibo

在这个网页通过抓包(按下f12)课知道下面这个链接是返回评论信息,而且是个json

链接为:https://cache.zhibo8.cc/json/2018/nba/0517123898_384.htm?key=0.6512348313080727

通过多次分析知道上面加粗的是直播间的信息,后面的下划线之后的是评论的页数,最后的key参数是个随机数,带不带上进行请求都没有关系

用代码来获取评论信息

def __get_json(self, index):
        url = 'https://cache.zhibo8.cc/json/2018/nba/0517123898_%d.htm?key=0.1355540028791382' % index
        response = requests.get(url)
        if response.status_code == 200:
            for item in response.json():
                # 写入文件
                self.__write_file(item['content'])
                self.num += 1
            return 1
        else:
            return 0

评论信息有了,接着弄张词云图

def __get_wordcloud(self):
        with open('comments.txt', 'r', encoding='utf-8') as comments:
            text = comments.read()  # 加载数据
            words = ' '.join(jieba.cut(text, cut_all=True))  # 采用结巴全分词模式
            image = np.array(Image.open('1.jpg'))  # 背景图片
            # 初始化词云
            wc = WordCloud(font_path=r'C:\Windows\Fonts\simkai.ttf',
                           background_color='white', mask=image,
                           max_font_size=100, max_words=2000)
            wc.generate(words)  # 生成词云
            wc.to_file('img.png')  # 生成图片
            image_file = Image.open('img.png')  # 打开图片
            image_file.show()

好了,代码完成,看下效果:

利用词云图一眼就可以看出球迷都在评论什么了,因为我爬取的是火箭主场对战勇士的第二场比赛,肯定讨论最多的就是勇士火箭了,紧接的就是杜兰特了,死亡之神,这场的杜兰特超神拿了38分还是输给了火箭,自然而然就是讨论他最多了。还有就是这场站出来的塔克,三分6中5,还破了个人季后赛的最高得分,讨论他也是很正常的事。还有一个很显眼的就是第三节,很多人都认为勇士是“勇三疯”,以为这场比赛勇士会在第三节爆发吧?其实这赛季的火箭第三节也是很强的,并不比勇士弱。

完整代码已经上传到我的github上了,如果需要的话可以自行查看,如果觉得程序不错的话希望可以给个star哈!

github:https://github.com/SergioJune/gongzhonghao_code

推荐文章:

使用requests+BeautifulSoup的简单爬虫练习

python爬虫常用库之requests详解

原文发布于微信公众号 - 日常学python(daily_learn)

原文发表时间:2018-05-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏BGP专栏

BGP电路详解(上)

1.把匹配器件相互靠近放置  (共OD/Poly/OD space/Poly space一致)

2270
来自专栏小白课代表

图像浏览器 —— Honeyview

https://dl.bandisoft.com/honeyview/HONEYVIEW-SETUP.EXE

1183
来自专栏云飞学编程

非常适合新手的一个Python爬虫项目:打造一个英文词汇量测试脚本

最近朋友在苦学英文,但是又不知道自己学的怎么样了,直到有一天,他找到了扇贝网,里面有个“评估你的单词量”功能非常的好,就推荐给我了!

1261
来自专栏何俊林

FFmpeg总结(一)FFmpeg官方文档分块

正式开启FFmpeg总结,预计这个将是一个2-3年的时间线,或者更久,今天是从官方文档出发,带大家找到最小块的切入点。 http://ffmpeg.org/d...

2807
来自专栏每日一篇技术文章

SceneKit_入门03_节点

我们已经完成了创建工程的任务,有的人就问了,你不是要将SceneKit 游戏开发,怎么创建的是应用工程,往下看,就这么任性!

1731
来自专栏人工智能头条

一边吃瓜看球,一边完成AI应用实践——手写体识别入门

1252
来自专栏跟边禾玩建模

关于使用ZBrush,你可能不知道的10个技巧

作为数字雕刻的行业标准,ZBrush的工具集非常灵活,以至于能够让用户选择最适合他们自己的工作流,人们会因为它的众多可用选项而选择经常使用它,程序里的旧功能也许...

2272
来自专栏嵌入式程序猿

如何计算CAN通信波特率

CAN通信波特率的计算是一个难点,要正确计算设置CAN波特率。CAN2.0协议中定义标称位速率为一理想的发送器在没有重新同步的情况下,每秒发送的位数量,也就是我...

3678
来自专栏互联网开发者交流社区

SEO-友情链接注意事项

933
来自专栏葡萄城控件技术团队

ActiveReports 报表应用教程 (15)---报表换肤

在葡萄城ActiveReports报表中,可以设置报表中不同控件的样式,然后把这些样式保存到一个外部的XML文件当中,供其他报表使用。如果用户希望同一份报表以不...

2098

扫码关注云+社区

领取腾讯云代金券