分析新闻评论数据并进行情绪识别

# 导入相关库
import requests
from bs4 import BeautifulSoup
import re
from textblob import TextBlob
import pandas as pd

# 亿牛云 爬虫代理加强版
# 设置爬虫代理服务器信息
proxyHost = "www.16yun.cn"
proxyPort = "31111"
proxyUser = "16YUN"
proxyPass = "16IP"
proxy = "http://" + proxyUser + ":" + proxyPass + "@" + proxyHost + ":" + proxyPort

# 设置请求目标
url = "https://news.sina.com.cn/c/2021-12-16/doc-iktzscyx7049336.shtml"

# 设置请求头
headers = {
    "User-Agent": "Mozilla/5.0 ..."
}

# 发送请求并获取响应
response = requests.get(url, headers=headers, proxies={"http": proxy})

# 获取响应文本
responseText = response.text

# 创建BeautifulSoup对象
soup = BeautifulSoup(responseText, "lxml")

# 提取新闻标题、正文和评论区域的元素
title = soup.find("h1", class_="main-title").text # 新闻标题
content = soup.find("div", class_="article").text # 新闻正文
comment_area = soup.find("div", id="comment_area") # 评论区域

# 使用正则表达式，从评论区域的元素中提取评论内容和评论时间等信息，并保存到一个列表中
comments = [] # 创建一个空列表
pattern = re.compile(r'"content":"(.*?)","time":"(.*?)"') # 定义正则表达式，匹配评论内容和评论时间
matches = pattern.findall(str(comment_area)) # 在评论区域的元素中查找所有匹配项，并返回一个列表
for match in matches: # 遍历所有匹配项
    comment = match[0] # 获取评论内容
    time = match[1] # 获取评论时间
    comments.append([comment, time]) # 将评论内容和评论时间添加到列表中

# 使用TextBlob库，对每条评论内容进行情绪分析，计算其极性（polarity）和主观性（subjectivity），并将结果添加到列表中
for comment in comments: # 遍历所有评论
    text = TextBlob(comment[0]) # 创建TextBlob对象，传入评论内容
    polarity = text.sentiment.polarity # 计算评论内容的极性，范围为[-1, 1]，负数表示消极，正数表示积极，0表示中立
    subjectivity = text.sentiment.subjectivity # 计算评论内容的主观性，范围为[0, 1]，越接近1表示越主观，越接近0表示越客观
    comment.append(polarity) # 将极性添加到列表中
    comment.append(subjectivity) # 将主观性添加到列表中

# 使用pandas库，将列表转换为一个数据框（DataFrame），并将数据框保存到一个CSV文件中
df = pd.DataFrame(comments, columns=["comment", "time", "polarity", "subjectivity"]) # 创建数据框，指定列名
df.to_csv("news_comments.csv", index=False) # 将数据框保存到CSV文件

# 打印新闻标题和数据框的前五行
print(title)
print(df.head())