专栏首页java,python,数据结构,算法python爬取B站视频弹幕分析并制作词云

python爬取B站视频弹幕分析并制作词云

目录

  • 1.分析网页
  • 2.爬虫+jieba分词+制作词云
    • 2.1爬虫
    • 2.2jieba分词
    • 2.3制作词云
  • 3.成品展示
  • 4.完整代码

1.分析网页

视频地址:https://www.bilibili.com/video/BV19E411W7BE 本身博主同时也是一名up主,虽然已经断更好久了,但是不妨碍我爬取弹幕信息来分析呀。 这次我选取的是自己唯一的爆款视频。就是下面这个。

希望大家能够多多支持up,up在这里谢过大家了。 打开网址我们能够发现弹幕信息是存储在这一块的。

本来以为是可以直接爬到的,但是当我点开F12检查网页的时候却发现:

他很明显只加载了一部分的弹幕信息,那么怎么获取呢,别急下面有一个查看历史弹幕信息,我们点击一下试试看。

既然知道了信息是藏在哪里的,那么接下来就是简单分析一下他的url地址的格式了。

可以看到重点其实就在date上,只要更换date就能获得那一天的弹幕了,所以我们基本确定我们的URL地址。接下来就是爬虫了。

2.爬虫+jieba分词+制作词云

2.1爬虫

首先是简单的先获取整个网页信息,但是获取的过程中,出现了这个错误。

这个大家都懂是啥意思,那么我们怎么解决的?很简单,我们将账号信息带进去就行了,那么怎么带呢?这里我选择的是直接将cookie信息放入请求头之中。这个cookie信息大家需要根据自己的浏览返回的信息进行选择。

像这样,放入headers中。

headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36",
         "cookie": "_uuid=32558797-D0FE-C0F7-536C-63AF0D8AE40770652infoc; buvid3=3DB514DE-EAB4-4ED9-B597-BCDD98AF986240968infoc; sid=hwpgj1q2; DedeUserID__ckMd5=e16b5b4e38e97a2b; CURRENT_FNVAL=16; rpdid=|(JYl~Yuukl~0J'ulmR|uuukk; LIVE_BUVID=AUTO7915950709280947; CURRENT_QUALITY=64; UM_distinctid=173a99a3d29656-0dfad7ca6e9865-3b634404-1fa400-173a99a3d2a9f0; bili_jct=69d8904981c02268b8880fc10dc2abac; bp_t_offset_103134642=420625431706221182; SESSDATA=048bf530%2C1611830350%2C409d1*81; DedeUserID=103134642; PVID=1; bp_video_offset_103134642=422972760179214717; bfe_id=6f285c892d9d3c1f8f020adad8bed553"}

这样我们便能爬取到了

接下来获取弹幕信息。这里很简单通过xpath就能获取到。

parse=parsel.Selector(html)
links=parse.xpath("//d/text()").getall()
print(links)

既然已经获取到弹幕了,我们就需要将这些信息存储起来,用于我们接下来的操作。 这里我们选择将它存储到CSV文件中具体操作其实和之前的文件下载操作相差不大。

for i in links:
    with open(r'C:\Users\瓤瓤\Desktop\B站弹幕.csv','a',newline='',encoding='utf-8-sig') as f:
        writer=csv.writer(f)
        links=[]
        links.append(i)
        writer.writerow(links)

打开之后就是这样的:

2.2jieba分词

文件都存储好了,那么我接下来的第一步就是将我们的弹幕进行jieba分词,拆解成一个一个的词语

f =open(r'C:\Users\瓤瓤\Desktop\B站弹幕.csv',encoding='utf-8')#打开文件
text=f.read() #读取文件
text_list=jieba.analyse.extract_tags(text,topK=40)#进行jieba分词,并且取频率出现最高的40个词
text_list=" ".join(text_list)#用空格将这些字符串连接起来
print(text_list)

效果:

2.3制作词云

既然词我们已经准备好了,那么我们接下来就是将它制作成词云。

#创建自定义图片样式
img=plt.imread('./img/huge.jpg')
w=wordcloud.WordCloud(
    width=1500,
    height=1000,
    font_path="STXIHEI.TTF",#设置字体的格式 字体所在位置C:\Windows\Fonts
    background_color="white",
    scale=50,
    contour_width=5,
    contour_color="red",
    mask=img,#图片遮罩层
    #设置屏蔽词
    stopwords={"00","天下第一","bgm","周董","真的","胡是","你币","肖战","游记","周杰伦","陈奕迅","这个"}
)
w.generate_from_text(text_list)

#绘制图片
fig=plt.figure(1)
plt.imshow(w)
plt.axis("off")
plt.show()     #显示生成的词云文件

在设置字体样式的过程中千万要选用能够识别中文的字体样式,否则会变成一堆方框。字体所在位置字体所在位置C:\Windows\Fonts接着只要耐心等程序运行完就行了。

3.成品展示

4.完整代码

import requests
import parsel
import csv
import jieba.analyse
import wordcloud
from matplotlib import pylab as plt
url='https://api.bilibili.com/x/v2/dm/history?type=1&oid=160472309&date=2020-08-12'
headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36",
         "cookie": "_uuid=32558797-D0FE-C0F7-536C-63AF0D8AE40770652infoc; buvid3=3DB514DE-EAB4-4ED9-B597-BCDD98AF986240968infoc; sid=hwpgj1q2; DedeUserID__ckMd5=e16b5b4e38e97a2b; CURRENT_FNVAL=16; rpdid=|(JYl~Yuukl~0J'ulmR|uuukk; LIVE_BUVID=AUTO7915950709280947; CURRENT_QUALITY=64; UM_distinctid=173a99a3d29656-0dfad7ca6e9865-3b634404-1fa400-173a99a3d2a9f0; bili_jct=69d8904981c02268b8880fc10dc2abac; bp_t_offset_103134642=420625431706221182; SESSDATA=048bf530%2C1611830350%2C409d1*81; DedeUserID=103134642; PVID=1; bp_video_offset_103134642=422972760179214717; bfe_id=6f285c892d9d3c1f8f020adad8bed553"}
response=requests.get(url,headers=headers)
html=response.content.decode("utf-8")
# print(html)
parse=parsel.Selector(html)
links=parse.xpath("//d/text()").getall()
# print(links)
for i in links:
    with open(r'C:\Users\瓤瓤\Desktop\B站弹幕.csv','a',newline='',encoding='utf-8-sig') as f:
        writer=csv.writer(f)
        links=[]
        links.append(i)
        writer.writerow(links)

# #制作词云图
f =open(r'C:\Users\瓤瓤\Desktop\B站弹幕.csv',encoding='utf-8')
text=f.read()
text_list=jieba.analyse.extract_tags(text,topK=40)
text_list=" ".join(text_list)
print(text_list)
#
img=plt.imread('./img/huge.jpg')
w=wordcloud.WordCloud(
    width=1500,
    height=1000,
    font_path="STXIHEI.TTF",
    background_color="white",
    scale=50,
    contour_width=5,
    contour_color="red",
    mask=img,
    stopwords={"00","天下第一","bgm","周董","真的","胡是","你币","肖战","游记","周杰伦","陈奕迅","这个"}
)
w.generate_from_text(text_list)

#绘制图片
fig=plt.figure(1)
plt.imshow(w)
plt.axis("off")
plt.show()     #显示生成的词云文件

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • python爬虫将数据写入csv文件乱码

    养成习惯,先赞后看!!! 出现乱码根本原因就是编码方式不对,但是博主自己尝试了三种编码方式终于找到了最合适的。

    萌萌哒的瓤瓤
  • 最短路径算法java

    上次写的博客,自己发现存在着一个比较大的问题,讲解的没有透彻。 还是举昨天的Dijkstra算法来讲吧。 昨天讲到是每一个循环找出一个点,花式这么说,但是后...

    萌萌哒的瓤瓤
  • 还在手写单表的增删改查??还不快快使用通用mapper

    博主自己跟着B站在学习一个项目时,发现了一个好东西,他就是通用mapper,他能够自动帮你封装好单表的增删改查操作,让你不用再自己慢慢手写,十分的方便。现在来简...

    萌萌哒的瓤瓤
  • 深度 | 详解首个系统性测试现实深度学习系统的白箱框架DeepXplore

    选自The Foretellix Blog 作者:Yoav Hollander 机器之心编译 参与:吴攀、晏奇 五月份,来自哥伦比亚大学和理海大学的几位研究者...

    机器之心
  • Ross、何恺明等人提出PointRend:渲染思路做图像分割,显著提升Mask R-CNN性能

    实例分割是计算机视觉任务中一个重要的任务。传统的示例分割方法输入图像,并对图像的每个像素点进行预测,推断像素点所属的实例标签,并区分属于不同实例的像素点。然而,...

    机器之心
  • MFC原理第一讲.MFC的本质.以及手工编写MFC的程序

    PS: 这个博客属于复习知识.从头开始讲解. 在写这篇博客之前.已经写了3篇MFC的本质了.不过掌握知识点太多.所以从简重新开始.

    IBinary
  • 001.Chrony时间服务器

    Chrony是一个开源的自由软件,是网络世界协议(NTP)的另一种实现,它能保持系统时钟与时钟服务器(NTP)同步,让时间保持精确。

    木二
  • 何恺明团队又出神作:将图像分割视作渲染问题,性能显著提升!

    Facebook人工智能实验室Alexander Kirillov、吴育昕、何恺明、Ross Girshick等研究人员近日发表新论文,提出一种高效、高质量的目...

    新智元
  • 空闲时间请大家不要接私活,要提升自己!

    现在社会,有很多人都在利用个人时间兼职赚钱,程序员俗称“接私活”,其他行业称作兼职,比如下了班出去跑滴滴,周末兼职抢单送外卖等等,都是普通人很常见的兼职方式。

    JAVA高级架构开发
  • 树莓派3B搭建Flink集群

    今天的实战是用两台树莓派3B组建Flink1.7集群环境,模式是独立集群(Cluster Standalone);

    程序员欣宸

扫码关注云+社区

领取腾讯云代金券