前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Python爬取网易云歌曲评论,做词云分析

Python爬取网易云歌曲评论,做词云分析

作者头像
松鼠爱吃饼干
发布2022-09-01 15:06:49
8150
发布2022-09-01 15:06:49
举报
文章被收录于专栏:Python分享Python分享

前言

emmmm 没什么说的,想说的都在代码里

环境使用

  • Python 3.8 解释器 3.10
  • Pycharm 2021.2 专业版
  • selenium 3.141.0

本次要用到selenium模块,所以请记得提前下载好浏览器驱动,配置好环境

代码实现

先是安装、导入所需模块

from selenium import webdriver  # 导入浏览器的功能
import re   # 正则表达式模块, 内置
import time   # 时间模块, 程序延迟

1. 创建一个浏览器对象

driver = webdriver.Chrome()

2. 执行自动化

driver.get('https://music.163.com/#/song?id=488249475')
# selenium无法直接获取到嵌套页面里面的数据
driver.switch_to.frame(0)  # switch_to.frame()  切换到嵌套网页
driver.implicitly_wait(10)  # 让浏览器加载的时候, 等待渲染页面
下拉页面, 直接下拉到页面的底部
js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight'
driver.execute_script(js)

3.解析数据

divs = driver.find_elements_by_css_selector('.itm')  # 所有div  css语法: 定位到 html 数据/xpath/正则

for div in divs:
    cnt = div.find_element_by_css_selector('.cnt.f-brk').text

    cnt = re.findall(':(.*)', cnt)[0]  # 中英文有区别
    print(cnt)

保存数据

翻页
for page in range(10):  # 控制翻页  速度太快
    # 翻页 , 找到下一页标签, 点击?
    driver.find_element_by_css_selector('.znxt').click()
    time.sleep(1)
# selenium  欲速则不达
保存为txt文件
with open('contend.txt', mode='a', encoding='utf-8') as f:
    f.write(cnt + '\n')

运行代码得到结果

再做个词云

导入相关模块

import jieba  # 中文分词库  pip install jieba
import wordcloud  # 制作词云图的模块  pip install wordcloud
import imageio

读取文件数据

with open('contend.txt', mode='r', encoding='utf-8') as f:
    txt = f.read()
print(txt)

词云图 分词<中文(词语)> 基于结果

txt_list = jieba.lcut(txt)
print('分词结果:', txt_list)

合并

string_ = ' '.join(txt_list)  # 1 + 1 = 2   字符串的基本语法
print('合并分词:', string_)

创建词云图

wc = wordcloud.WordCloud(
    width=1000,  # 图片的宽
    height=800,  # 图片的高
    background_color='white',  # 图片的背景色
    font_path='msyh.ttc',  # 微软雅黑
    scale=15,  # 词云图默认的字体大小
    # mask=img,  # 指定词云图的图片

    # 停用词< 语气词, 助词,....
    stopwords=set([line.strip() for line in open('cn_stopwords.txt', mode='r', encoding='utf-8').readlines()] )
)
print('正在绘制词云图...')
wc.generate(string_)  # 绘制词云图
wc.to_file('out.png')  # 保存词云图
print('词云图绘制完成...')

最后效果

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2022-05-27,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 松鼠爱吃饼干 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 前言
    • 环境使用
    • 代码实现
      • 先是安装、导入所需模块
        • 1. 创建一个浏览器对象
          • 2. 执行自动化
            • 3.解析数据
              • 保存数据
                • 运行代码得到结果
                • 再做个词云
                  • 导入相关模块
                    • 读取文件数据
                      • 词云图 分词<中文(词语)> 基于结果
                        • 合并
                          • 创建词云图
                            • 最后效果
                            相关产品与服务
                            腾讯云图数据可视化
                            腾讯云图数据可视化(Tencent Cloud Visualization) 是一站式数据可视化展示平台,旨在帮助用户快速通过可视化图表展示大量数据,低门槛快速打造出专业大屏数据展示。精心预设多种行业模板,极致展示数据魅力。采用拖拽式自由布局,全图形化编辑,快速可视化制作。腾讯云图数据可视化支持多种数据来源配置,支持数据实时同步更新,同时基于 Web 页面渲染,可灵活投屏多种屏幕终端。
                            领券
                            问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档