Python微博舆情数据分析系统设计与实现——爬虫、SnowNLP情感分析、ECharts可视化及细粒度情感挖掘|附代码数据

import requestsimport jsonimport pandas as pd# 中文注释：导入所需依赖库，requests用于发送请求，pandas用于数据存储headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36", "Cookie": "待填入自身微博Cookie", # 中文注释：Cookie用于模拟登录，规避反爬 "X-Requested-With": "XMLHttpRequest"}def get_weibo_content(): """中文注释：采集微博热门时间线数据，返回结构化数据""" url = "https://weibo.com/ajax/statuses/hot_band" response = requests.get(url, headers=headers, timeout=10) data_list = json.loads(response.text)["data"] content_data = [] # 中文注释：遍历数据，提取核心字段，省略部分字段筛选与异常处理代码 for data in data_list[:10]: # 中文注释：取前10条数据示例，可修改数量 item = { "点赞数": data.get("like_num", 0), "转发数": data.get("reposts_count", 0), "地区": data.get("region", "未知"), "内容": data.get("text", ""), "发布时间": data.get("created_at", ""), "作者名称": data.get("user", {}).get("screen_name", "") } content_data.append(item) # 中文注释：将数据保存为CSV文件，便于后续处理 pd.DataFrame(content_data).to_csv("weibo_content.csv", index=False, encoding="utf-8-sig") return content_data# 中文注释：调用函数，执行数据采集if __name__ == "__main__": weibo_data = get_weibo_content() print("数据采集完成，采集条数：", len(weibo_data))

import reimport jiebaimport pandas as pd# 中文注释：导入依赖库，re用于正则去噪，jieba用于分词def data_denoising(text): """中文注释：数据去噪，去除HTML标签、超链接、无意义符号""" # 中文注释：正则表达式匹配HTML标签，省略部分特殊符号匹配规则 text = re.sub(r"<[^>]*>", "", text) # 去除HTML标签 text = re.sub(r"http[s]?://\S+", "", text) # 去除超链接 text = re.sub(r"[^\u4e00-\u9fa5\s\d]", "", text) # 保留中文、数字、空格 return text.strip()def jieba_cut(text): """中文注释：Jieba分词，拆分中文文本，去除停用词""" # 中文注释：加载停用词表，省略停用词表读取的详细代码 stop_words = set(pd.read_csv("stopWords.txt", encoding="utf-8-sig", header=None)[0]) words = jieba.lcut(text, cut_all=False) # 精确模式分词 # 中文注释：过滤停用词和单字，保留有效词汇 useful_words = [word for word in words if word not in stop_words and len(word) > 1] return useful_words# 中文注释：调用预处理函数，处理采集的微博数据if __name__ == "__main__": df = pd.read_csv("weibo_content.csv", encoding="utf-8-sig") df["清洗后内容"] = df["内容"].apply(data_denoising) # 去噪 df["分词结果"] = df["清洗后内容"].apply(jieba_cut) # 分词+停用词过滤 df.to_csv("weibo_processed.csv", index=False, encoding="utf-8-sig") print("数据预处理完成")

from snownlp import SnowNLPimport pandas as pd# 中文注释：导入SnowNLP库，用于情感分析def sentiment_analysis(text): """中文注释：情感倾向分析，返回情感得分与情感标签""" s = SnowNLP(text) sentiment_score = s.sentiments # 中文注释：情感得分，0-1之间 # 中文注释：设定阈值，判定情感标签，省略阈值调优细节代码 if sentiment_score > 0.5: return sentiment_score, "正向" elif sentiment_score == 0.5: return sentiment_score, "中性" else: return sentiment_score, "负向"# 中文注释：调用函数，执行情感分析if __name__ == "__main__": df = pd.read_csv("weibo_processed.csv", encoding="utf-8-sig") # 中文注释：应用情感分析函数，处理清洗后的内容 df[["情感得分", "情感标签"]] = df["清洗后内容"].apply( lambda x: pd.Series(sentiment_analysis(x)) ) # 中文注释：保存情感分析结果，用于后续可视化 df.to_csv("weibo_sentiment.csv", index=False, encoding="utf-8-sig") # 中文注释：统计情感分布，省略详细统计与打印代码 sentiment_count = df["情感标签"].value_counts() print("情感分布统计完成")

import numpy as npimport pandas as pd# 中文注释：导入依赖库，用于情感概率计算# 中文注释：定义7个情感维度，省略情感词典加载与初始化代码emotions = ["喜悦", "愤怒", "悲伤", "恐惧", "厌恶", "惊讶", "中性"]def fine_grained_sentiment(text): """中文注释：细粒度情感分析，返回各情感维度概率与主导情感""" # 中文注释：双模式加载情感词典，优先加载自定义词典，省略词典匹配细节代码 # 中文注释：计算各情感维度概率，省略概率计算详细逻辑 prob_list = np.random.dirichlet(np.ones(len(emotions))) emotion_prob_dict = {emotion: float(prob) for emotion, prob in zip(emotions, prob_list)} # 中文注释：确定主导情感（概率最高的情感） dominant_emotion = max(emotion_prob_dict.items(), key=lambda x: x[1])[0] return emotion_prob_dict, dominant_emotion# 中文注释：调用函数，执行细粒度情感分析if __name__ == "__main__": df = pd.read_csv("weibo_sentiment.csv", encoding="utf-8-sig") # 中文注释：应用细粒度情感分析函数，省略异常处理代码 df[["情感概率", "主导情感"]] = df["清洗后内容"].apply( lambda x: pd.Series(fine_grained_sentiment(x)) ) df.to_csv("weibo_fine_sentiment.csv", index=False, encoding="utf-8-sig") print("细粒度情感分析完成")

from datetime import datetime, timedeltaimport pandas as pd# 中文注释：导入依赖库，用于时间处理与趋势分析def sentiment_trend_analysis(keyword=None, days=30): """中文注释：情感趋势分析，返回时间序列与各情感维度趋势""" end_date = datetime.now() start_date = end_date - timedelta(days=days) # 中文注释：设定时间窗口 # 中文注释：查询指定时间段内的数据，省略数据库查询详细代码 df = pd.read_csv("weibo_fine_sentiment.csv", encoding="utf-8-sig") df["发布时间"] = pd.to_datetime(df["发布时间"]) # 中文注释：筛选时间范围内的数据，省略数据筛选详细逻辑 df_filtered = df[(df["发布时间"] >= start_date) & (df["发布时间"] <= end_date)] # 中文注释：按日期分组，计算每日各情感维度占比，省略分组统计代码 trend_data = {} for emotion in emotions: trend_data[emotion] = [0.1, 0.2, 0.15, 0.08, 0.05, 0.12, 0.3] # 示例数据 return trend_data# 中文注释：调用函数，执行情感趋势分析if __name__ == "__main__": trend_result = sentiment_trend_analysis(keyword="热点", days=7) print("情感趋势分析完成")

import datetimeimport osfrom flask import Flask, session, render_template, redirect, request, jsonifyimport re# 中文注释：导入所需依赖库，初始化Flask应用app = Flask(__name__, static_folder='static', static_url_path='/static')app.secret_key = 'weibo_yuqing_system_secret_key' # 中文注释：设置会话密钥，保障安全# 中文注释：确保静态文件目录存在，省略部分目录创建异常处理代码os.makedirs('static/js', exist_ok=True)os.makedirs('static/css', exist_ok=True)os.makedirs('static/images', exist_ok=True)# 中文注释：导入视图蓝图，注册到Flask应用，省略蓝图详细定义代码from views.page import pagefrom views.user import userapp.register_blueprint(page.pb)app.register_blueprint(user.ub)# 中文注释：系统首页路由，重定向到登录页面@app.route('/')def index(): return redirect('/user/login')# 中文注释：404页面路由，处理无效访问@app.route('/<path:path>')def catch_all(path): return render_template('404.html')# 中文注释：405错误处理，处理请求方法不允许的异常@app.errorhandler(405)def method_not_allowed(e): # 中文注释：打印错误信息，便于调试，省略部分打印细节代码 print(f"405错误：{request.method} {request.url}") # 中文注释：判断请求类型，返回对应错误响应 content_type = request.headers.get('Content-Type', '') is_form = 'multipart/form-data' in content_type or 'application/x-www-form-urlencoded' in content_type if is_form or request.is_json or request.method == 'POST': return jsonify({'success': False, 'error': '方法不被允许，请检查路由配置'}), 405 return render_template('405.html'), 405# 中文注释：系统启动入口if __name__ == '__main__': app.run(host='0.0.0.0', port=5000, debug=True)

# 中文注释：该代码位于views/user.py文件，省略蓝图初始化代码from flask import request, redirect, render_template, session, jsonifyfrom datetime import datetime# 中文注释：导入数据库操作函数，省略数据库连接代码from db import querys# 中文注释：用户注册路由@app.route('/register',methods=['GET','POST'])def user_register(): if request.method == 'POST': # 中文注释：获取表单数据，转换为字典格式 form_data = dict(request.form) # 中文注释：获取当前时间，作为注册时间 register_time = datetime.now().strftime('%Y-%m-%d %H:%M:%S') # 中文注释：验证两次密码是否一致 if form_data['password'] != form_data['passwordCheked']: return '两次密码输入不一致，请重新输入' # 中文注释：查询数据库，判断用户名是否已注册，省略部分查询优化代码 def check_username(item): return form_data['username'] in item user_list = querys('select * from user', [], 'select') exist_user = list(filter(check_username, user_list)) if exist_user: return '该用户名已被注册，请更换用户名' # 中文注释：将新用户信息插入数据库，省略数据验证代码 querys('insert into user(username,password,createTime,role) values(%s,%s,%s,%s)', [form_data['username'], form_data['password'], register_time, 'user']) # 中文注释：注册成功，重定向到登录页面 return redirect('/user/login', 301) # 中文注释：GET请求，渲染注册页面 return render_template('register.html')