专栏首页凹凸玩数据用Python爬取王冰冰vlog弹幕并制作词云

用Python爬取王冰冰vlog弹幕并制作词云

大家好,我是张同学,最近的“瓜”,多到我们措手不及,可谓是“热点不断”。作为程序员,我们还可能随时为此而加班。

各种评论视频“爆炸”网络,打开首页全是热点话题的内容,某知名UP主发布视频都要错下峰。

我就在思考:这么火爆的话题和内容,有没有一种通用的分析方法?答案是:抓取弹幕或者评论。

下面就让我们以冰冰vlog的视频弹幕为例,来进行分析。

一、获取方法

1.网页解析:网页结构可能随时会发生变化。

2.python第三方api:可能会有维护跟不上的问题。

经过简单对比,我选择第一种方法。

二、网页分析

爬取弹幕的关键是获取视频的cid,有些地方也叫oid。通过浏览器的开发者模式我们不难找到该视频的cid。我们通过https://comment.bilibili.com/+视频的cid+.xml就可以爬取该视频所有弹幕了。

三、弹幕文件下载和解析

由于弹幕内容集中在xml文件里,我们需要对文件进行下载,使用xpath解析文件。

from lxml import etree
import  requests
import time
import jieba
import numpy as np
from PIL import Image
from wordcloud import WordCloud as wc
class Bilibili():
    """docstring for Bilibili"""
    def __init__(self,oid):
        self.headers={
        'Host': 'api.bilibili.com',
        'Connection': 'keep-alive',
        'Cache-Control': 'max-age=0',
        'Upgrade-Insecure-Requests': '1',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.92 Safari/537.36',
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
        'Accept-Encoding': 'gzip, deflate, br',
        'Accept-Language': 'zh-CN,zh;q=0.9',
        'Cookie': 'finger=edc6ecda; LIVE_BUVID=AUTO1415378023816310; stardustvideo=1; CURRENT_FNVAL=8; buvid3=0D8F3D74-987D-442D-99CF-42BC9A967709149017infoc; rpdid=olwimklsiidoskmqwipww; fts=1537803390'

        }
        self.url='https://api.bilibili.com/x/v1/dm/list.so?oid='+str(oid)
        self.barrage_reault=self.get_page()

    # 获取信息
    def get_page(self):
        try:
            # 延时操作,防止太快爬取
            time.sleep(0.5)
            response=requests.get(self.url,headers=self.headers)
        except Exception as e:
            print('获取xml内容失败,%s' % e)
            return False
        else:
            if response.status_code == 200:
                # 下载xml文件
                with open('bilibili.xml','wb') as f:
                    f.write(response.content)
                return True
            else:
                return False

    # 解析网页
    def param_page(self):
        time.sleep(1)
        if  self.barrage_reault:
            # 文件路径,html解析器
            html=etree.parse('bilibili.xml',etree.HTMLParser())
            # xpath解析,获取当前所有的d标签下的所有文本内容
            results=html.xpath('//d//text()')
            return results

四、弹幕去重

重复的弹幕进行归类,未出现过的弹幕创建新的分类。为词频统计和词云做好准备。

# 弹幕去重
def remove_double_barrage(self):
    '''
    double_arrage:所有重复弹幕的集合
    results:去重后的弹幕
    barrage:每种弹幕内容都存储一遍
    '''
    double_barrage=[]
    results=[]
    barrage=set()
    for result in self.param_page():
        if result not in results:
            results.append(result)
        else:
            double_barrage.append(result)
            barrage.add(result)
    return double_barrage,results,barrage

五、弹幕重复次数统计和制作词云

我们在网上照一张“王冰冰”的照片,进行简单的处理,作为词云的轮廓图。

# 弹幕重复次数和词云制作
def make_wordCould(self):
    double_barrages,results,barrages=self.remove_double_barrage()
    # 重词计数
    with open('barrages.txt','w') as f:
        for barrage in barrages:
            amount=double_barrages.count(barrage)
            f.write(barrage+':'+str(amount+1)+'\n')
            
    # 设置停用词
    stop_words=['【','】',',','.','?','!','。']
    words=[]
    if results:
        for result in results:
            for stop in stop_words:
                result=''.join(result.split(stop))
            words.append(result)
        # 列表拼接成字符串
        words=''.join(words)
        words=jieba.cut(words)
        words=''.join(words)
        bingbing=np.array(Image.open('冰冰.jpg'))
        w=wc(font_path='‪C:/Windows/Fonts/SIMYOU.TTF',
             background_color='white',
             width=900,
             height=600,
             max_font_size=15,
             min_font_size =1,
             max_words=3000,
             mask=bingbing)
        w.generate(words)
        w.to_file('bingbing.jpg')
    
b=Bilibili(283851334)#视频的cid
b.make_wordCould()#绘制词云

统计结果:

词云图效果:

六、总结

我对于B站的网页结构还有很多不熟悉的地方,或许还有其他更好的分析方法和技巧,最后的人形词云要设置合适的参数才能让人物的形象惟妙惟肖。

该教程我参考了一些网友的方法,对提供技术分享的博主表示感谢[1]。希望我们都能保持一颗学习的心,一直不断地探索吧。

参考资料

[1]

参考文章: https://blog.csdn.net/weixin_36605200/article/details/82848020

本文分享自微信公众号 - 凹凸数据(alltodata),作者:张同学

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-01-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Python爬取 201865 条《隐秘的角落》弹幕,发现看剧不如爬山?

    如果你没看过,那可能会对朋友圈里大家说的“一起去爬山”、“小白船”、“还有机会吗”感到莫名其妙。

    朱小五
  • 手撕numpy(三):切片和索引详解

    注意:上述两个切片是否存在问题,假如不存在,结果又是什么?如果你能回答正确这两个问题,python切片,就没有问题了。

    朱小五
  • 别一直用 Select * 了

    应用程序慢如牛,原因多多,可能是网络的原因、可能是系统架构的原因,还有可能是数据库的原因。

    朱小五
  • python学习之反射

    Server is stopping...    ---》执行的是func()的调用

    py3study
  • 不会视觉设计?那你就学学这5个色彩技巧吧

    色彩几乎是所有设计体系中不可忽略的组成部分,而在网页设计中,色彩本身所发挥的作用并不单一,除了最基本的着色构成色彩搭配的作用之外,色彩能够通过对比创造视觉焦点,...

    BestSDK
  • 【CPP】各种各样的树(9)——自顶向下的红黑树

    本以为春节后马上就能写完这些树了,结果没想到一拖再拖居然拖到了开学前,很真实。红黑树还是蛮难的,写着写着才意识到应该先搞完B树然后再写2-3-4树然后再来讲红黑...

    ZifengHuang
  • python的unittest模块

    unittest库提供了test cases, test suites, test fixtures,test runner。

    于小勇
  • AlphaGo与李世乭对弈教我们的事

    了解围棋 围棋的计算复杂度太高,人脑与计算机对它都无法完全掌握,都必须找到好的解题策略来简化问题至自身运算能力能够负荷的范围。AlphaGo 发...

    GPUS Lady
  • 学界 | 教你一个简单的深度学习方法检测人脸面部特征

    AI 科技评论按:你可能在一些手机软件上已经看到了给人脸增加特效的app,它们将一些可爱有趣的物体添加到自拍视频中,有些更有趣的还能检测表情自动选择相应的物体。...

    AI科技评论
  • 单元测试工具(连载8)

    表2 TestNG的装饰器

    小老鼠

扫码关注云+社区

领取腾讯云代金券

,,