互联网新闻情感分析

Defu Li

发布于 2019-09-16 16:52:41

2.9K7

发布于 2019-09-16 16:52:41

互联网新闻情感分析

1 赛题简介

赛题简介：“互联网新闻情感分析”赛题，是CCF大数据与计算智能大赛赛题之一。对新闻情绪进行分类，0代表正面情绪、1代表中性情绪、2代表负面情绪。(赛题官网https://www.datafountain.cn/competitions/350)

程序简介：开发工具是pycharm，使用GPU加速。所使用的关键库有pytorch、torchtext、numpy、pandas、visdom等。

2 项目结构

项目文件夹共包括以下文件及文件夹：

main.py 主程序，运行此程序模型开始训练以及测试。

net.py 定义网络结构，采用LSTM神经网络，最后一层是全连接层。

preprocess.py 预处理程序，对官方提供的csv文件进行处理，包括清理、分词、拆分数据集等工作。

trainfiles 存储预处理过程中与训练集有关的处理文件。

testfiles 存储预处理过程中与测试集有关的处理文件。

torchtextfiles 存储拆分好的训练集、验证集和测试集，供torchtext加载。

wordfiles 存储停用词文件和词向量文件。

3 预处理

官方提供的数据集有Train_DataSet.csv、Train_DataSet_Label.csv、Test_DataSet.csv。由于Train_DataSet.csv和Train_DataSet_Label.csv数据集中id字段不一致、三个数据集存在较多标点符号和无用符号、存在停用词、存在title和content字段分开等问题，所以在预处理阶段所做的主要工作有：提取共有的内容、清理数据集的标点符号和英文字符、对数据集进行分词、合并title和content字段、拆分数据集为训练集验证集和测试集等。

最后处理好的数据集包括train.csv、val.csv和test.csv，存放在torchtextfiles文件夹中。

# 针对官方训练集的处理示例
train_id = train_id('trainfiles/Train_DataSet.csv', 'trainfiles/Train_DataSet_Label.csv')
    train_dataset = train_dataset('trainfiles/Train_DataSet.csv', 'trainfiles/Train_DataSet_Label.csv', train_id)
    to_train = pd.DataFrame(train_dataset)
    to_train.to_csv('trainfiles/Train.csv', index=False, header=['id', 'title', 'content', 'label'])

    train_clear = train_clear('trainfiles/Train.csv')
    to_cleartext = pd.DataFrame(train_clear)
    to_cleartext.to_csv('trainfiles/Train_Clear.csv', index=False, header=['id', 'title', 'content', 'label'])

    train_word = sent2word('trainfiles/Train_Clear.csv')
    to_word = pd.DataFrame(train_word)
    to_word.to_csv('trainfiles/Train_Word.csv', index=False, header=['id', 'title', 'content', 'label'])

    train_joint = joint_titlecontent('trainfiles/Train_Word.csv')
    to_joint = pd.DataFrame(train_joint)
    to_joint.to_csv('trainfiles/Train_Joint.csv', index=False, header=['id', 'text', 'label'])

4 网络结构

采用的LSTM神经网络进行分类，网络层次依次是嵌入层，LSTM层、全连接层。嵌入层使用300维的词嵌入向量表示，h/c长度是128，全连接层输出是3。其余超参数设置查看main.py文件。

# 定义神经网络结构
import torch
import torch.nn as nn

class Net(nn.Module):
    def __init__(self, vocab_size, embedding_dim, hidden_dim):
        super(Net, self).__init__()


        # 单词=>[300]
        self.embedding = nn.Embedding(vocab_size, embedding_dim)
        # [embedding_dim]=>[hidden_dim]
        self.lstm = nn.LSTM(embedding_dim, hidden_dim, num_layers=2, bidirectional=True, dropout=0.5)
        # [hidden_dim*2]=>[3]
        self.fc = nn.Linear(hidden_dim * 2, 3)
        self.dropout = nn.Dropout(0.5)

    def forward(self, x):
        # x:[seq_len,b,1]=>[seq_len,b,embedding_dim]
        embedding = self.dropout(self.embedding(x))
        # out: [seq_len, b, hid_dim*2]
        # h: [num_layers*2, b, hid_dim]=>[4,b,hidden_dim]
        # c: [num_layers*2, b, hid_dim]
        out, (h, c) = self.lstm(embedding)
        h = torch.cat([h[-2], h[-1]], dim=1)

        h = self.dropout(h)
        output = self.fc(h)

        return output

5 主程序训练验证和测试

共进行了50个epoch训练，在最后一个epoch上的分类准确率为0.97，验证集上的分类准确率为0.75，提交到官网的测试结果为0.69，该结果是用F1值计算得出。我认为该模型过拟合了。如需要请进行调参。