疫情期间网民情绪识别top1~3解决方案

向AI转型的程序员都关注了这个号👇👇👇

机器学习AI算法工程   公众号：datayx

任务

给定微博ID和微博内容，设计算法对微博内容进行情绪识别，判断微博内容是积极的、消极的还是中性的。

• 全部 代码  ,方案详情 获取方式：
• 关注微信公众号 datayx  然后回复 情绪识别  即可获取。

A榜第二,B榜第一方案

1.数据处理

1. 我们把数据编码转换为utf-8，把所有英文标点符号转换为中文标点符号，繁体转换为简体。把数据划分为5折。
2. 使用训练集、测试集和90万条语料训练GloVe词向量，在分词阶段把发现的新词和获取的微博话题加入到词典中，我们认为在新出现的热点事件中会出现一些高频新词，我们把这些新词挖掘出来能够对分词结果进行优化，在后续的词向量训练中也能够有所帮助，同时很多微博话题本身带有一定的情感色彩，而且网民常常通过热点话题标签来表达情感，如果把微博话题分词之后效果不如整个话题包含的情感信息丰富。
3. 我们还尝试对文本进行清洗和使用伪标签，效果不佳，但是为了在融合阶段确保模型的多样性最终并未舍弃其中的一些使用文本清洗数据和伪标签数据训练得到的结果。

2.模型改进

通过对BERT[1]系列模型和Roberta[2]系列模型以及ERNIE[3]模型的效果进行对比分析并考虑到时间成本等我们最终选择了Roberta_wwm_large_ext和bert_wwm_ext两个模型作为基础模型进行改造。

基于BERT类模型进行结构改造，具体包括如下几种改进方法:

1.将BERT类模型的pooler_out接入双向GRU或双向LSTM后再分类，如图4。

2将BERT类模型的输出接入双向GRU或双向LSTM后再分类，如图5。

3.将BERT类模型的输出接入双向LSTM后再接入双向GRU，对输出结果进行平均池化和最大池化再与BERT类模型的pooler_out进行拼接后再分类,如图6。

4.取BERT类模型的最后两层的第—状态位和pooler_out进行拼接以获取更多的句意信息，如图7。

5.将BERT类模型的输出字向量与词向量拼接后接入卷积层，再进行最大池化和平均池化，如图8，通过把词向量和字向量拼接的方式能够学习到新热点事件中出现的一些新词汇所包含的信息，同时向量信息也更加丰富。

6.将BERT类模型的输出字向量与词向量拼接双向LSTM后再接入双向GRU后接入卷积层，再进行最大池化和平均池化，如图9。

除了对模型结构进行改进之外，我们还使用90万条未标注语料对bert_wwm_ext模型进行再训练使模型能够学习到更多新热点事件中出现的新的文本信息，机器有限未能对Roberta模型进行再训练，如果可以应该能获得更好的效果。

3.调参及后处理

1. 在对文本长度进行分析的过程中我们发现文本长度集中分布在140左右，因此在最初训练的时候选择把max_sequence_length设置为140，在后续实验中通过对测试集中多模型预测不一致的数据观察发现很多微博内容存在先抑后扬的情况，因此把这一参数调到256确保能够把所有微博文本内容全部输入，避免结尾被截断导致错误的预测结果，最终获得一定的提升。
2. 在对Bert模型进行优化时，参考了[4]论文提出的对Bert模型的优化方法，我们尝试了discriminative fine-tuning层间学习率下降及Gradual unfreezing逐渐解冻的方法。其中层间学习率下降使用0.95的下降率，使得模型底层的学习率较低，有效地学习到通用信息，而越接近上层的学习率逐渐升高，可以更好地适应下游的具体任务，该方法获得明显提升。
3. 在数据分析阶段我们发现标签分布不平衡，针对这一问题我们尝试过对loss进行优化、改变样本权重和针对f1指标优化搜索标签类别权重等几种方法，最终采取针对f1指标优化的方法获得明显提升。

4.多轮投票融合机制

1. 在模型融合阶段我们尝试过stacking、投票融合和加权融合，效果均不够理想。stacking效果不佳是因为在对5折数据训练结果融合时我和队友采用了不同的融合方式，队友对5折数据训练结果使用加权融合的方式，训练集概率结果无法作为对应提交预测结果的特征。多个基模型投票融合结果容易偏向结果相似度更高的模型。加权融合很依赖于权重的选择，怎样获得最佳的权重使模型融合收益最大化比较具有挑战性。
2. 于是我们对投票方法进行改进，提出一种多轮投票融合机制。首先我们对投票方法进行改进，在投票时把较高票的标签对应概率平均，如果碰到平票的情况根据结果概率加权平均，我们认为碰到平票情况时高分的模型结果更具有参考性，因此会对高分模型的概率加大权重。多轮投票方法是指在所有基模型中根据结果相似度和提交f1分值选择3或4个基模型一起投票，在对基模型投票时结果相似度越低收益越大，再对投票之后的结果再次投票，再次投票时选择相似度较低分数较高的模型进行投票，不断重复这个投票过程直至发现投票结果和所有基模型的结果相似度都较高，和高分的基模型相似度比和低分的基模型相似度略高一些时，我们认为融合结果已经把所有基模型的结果都学习到，获得了最大收益。

赠书活动：

规则：转发本文至朋友圈，然后截图发给本公众号即可。

先到先得，送完5本即止，点赞数多者优先。

获奖者将在微信收到获奖通知。

活动时间：2022-08-19 11:00  至 2022-08-20 24:00

【编辑推荐】

全面：全方位介绍当前聊天机器人三大主流系统（问答系统、对话系统及闲聊系统）的技术原理及实现方案 ；

详细：200多幅图、十余个相关模型细致阐述了聊天机器人系统的功能模块、技术细节和操作步骤 ；

深入：深入讲解了9套聊天机器人的具体实现方案 ；

案例：书中附带了70多个实例的可运行代码，让你快速上手、拿来就用。

机器学习算法AI大数据技术 搜索公众号添加： datanlp长按图片，识别二维码

阅读过本文的人还看了以下文章：
TensorFlow 2.0深度学习案例实战

基于40万表格数据集TableBank，用MaskRCNN做表格检测

《基于深度学习的自然语言处理》中/英PDF

Deep Learning 中文版初版-周志华团队

【全套视频课】最全的目标检测算法系列讲解，通俗易懂！

《美团机器学习实践》_美团算法团队.pdf

《深度学习入门：基于Python的理论与实现》高清中文PDF+源码

《深度学习：基于Keras的Python实践》PDF和代码

特征提取与图像处理(第二版).pdf

python就业班学习视频，从入门到实战项目

2019最新《PyTorch自然语言处理》英、中文版PDF+源码
《21个项目玩转深度学习：基于TensorFlow的实践详解》完整版PDF+附书代码

《深度学习之pytorch》pdf+附书源码

PyTorch深度学习快速实战入门《pytorch-handbook》

【下载】豆瓣评分8.1,《机器学习实战:基于Scikit-Learn和TensorFlow》

《Python数据分析与挖掘实战》PDF+完整源码

汽车行业完整知识图谱项目实战视频(全23课)

李沐大神开源《动手学深度学习》，加州伯克利深度学习（2019春）教材

笔记、代码清晰易懂！李航《统计学习方法》最新资源全套！
《神经网络与深度学习》最新2018版中英PDF+源码

将机器学习模型部署为REST API
FashionAI服装属性标签图像识别Top1-5方案分享

重要开源！CNN-RNN-CTC 实现手写汉字识别

yolo3 检测出图像中的不规则汉字
同样是机器学习算法工程师，你的面试为什么过不了？

前海征信大数据算法：风险概率预测

【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目，让你掌握深度学习图像分类

VGG16迁移学习，实现医学图像识别分类工程项目
特征工程(一)

特征工程(二) :文本数据的展开、过滤和分块

特征工程(三):特征缩放,从词袋到 TF-IDF

特征工程(四): 类别特征

特征工程(五): PCA 降维

特征工程(六): 非线性特征提取和模型堆叠

特征工程(七)：图像特征提取和深度学习

如何利用全新的决策树集成级联结构gcForest做特征工程并打分？

Machine Learning Yearning 中文翻译稿
蚂蚁金服2018秋招-算法工程师（共四面）通过

全球AI挑战-场景分类的比赛源码(多模型融合)

斯坦福CS230官方指南：CNN、RNN及使用技巧速查（打印收藏）

python+flask搭建CNN在线识别手写中文网站
中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程

不断更新资源深度学习、机器学习、数据分析、python 搜索公众号添加： datayx