【深度学习】AI如何用文字表达情绪——使用人工神经网络进行带情感识别的文本分类

本文将带你尝试,不使用文本复杂的矩阵转换将文本分类。本文是对3种方法的综合描述和比较,这些方法被用来对下面这些数据的文本进行分类。完整的代码可以在下面链接找到。

代码:https://github.com/Ankushr785/Emotion-recognition-from-tweets 数据集下载:http://imgcdn.atyun.com/2017/09/text_emotion.csv

自然语言处理

所谓自然语言处理,这就是让机器像人类一样理解人类语言。这包括辨别不同句子之间的感情联系,理解说话者的本意,最终产生与之相关意思一致的新句子,并汇总到一起等等。这听起来没什么难以理解的地方,所以我认为即使是初学者不必害怕它会过于复杂。

现在我们知道机器(和大数据)可以比文本字符串更好地处理数字模式,所以处理NLP问题的第一步是将单词转换为矢量,即矢量化。一旦完成,所有需要完成的都是使用矢量作为特征,并将文本处理问题转换为机器学习问题。在我们即将见证的特殊情况下,SVM(支持向量机),朴素贝叶斯分类器 (NBC)和Sigmoid层已经被用来解决同样的问题。我们比较所有这些算法。希望你能够了解上述算法以帮助了解本文另外,我也不太愿意解释SVM和朴素贝叶斯方法。不过你可以在任何地方找到,所以无需担心。

数据预处理

之前的推文

1.删除网址:URL不会帮助你确定句子的特征。他们只是一些该死的链接,跟着他们不会让你根据刚刚阅读的句子做一个很好的描述。在re包中提供了删除网址的方法。

2.删除正则表达式:URL带来了很多符号,如[‘@’,’#’,’%’]称为正则表达式。有很多方法可以让这些符号在文本文档中被找到。比如在re包中提供了一个正则表达式查找表来解决这个问题。

3.词形还原:需要将同一页上类似(picking, pick), (motivation, motivate)等的所有单词列出。该NLTK库(Natural Language Toolkit)包含了单词词形还原的包(WordLemmatizer),通过提供全面的查找表解决这个问题。

4.删除重复字母:我希望我的机器能把“I loooove you!”转换为“I love you!”使用itertools包提供的去重函数可以解决这个问题。

矢量化SVM和NBC

SVM是关于在n维空间(n指向特征)创建不同类之间的最优超平面以支持矢量。对于我们的问题陈述,利用SVM的一个好方法是利用Tf-Idf(Term frequency, inverse document frequency)矢量化。

Tf-idf矢量化

如果你认为一个词袋的表示法只是计算每个文档中唯一单词的实例。那么你还是没有抓住重点。在分类过程中,整个语料库中的每个特定的词语(包括在我们的文本数据中的所有句子的组合)都会被给予相等的权重。我们的机器是还是个婴儿,它不会区分词语的重要性。

这个问题的解决方案是减少所有句子相当常见的单词的权重,并且在评估过程中增加不常见单词的权重。Scikit Learn的特征提取库提供了Tf-Idf函数来完成这个任务,对某个句子中的所有单词进行二次加权,并创建一个修改后的词袋。

ANN的矢量化

简单的词袋就足够了,复杂性会进一步下降。

简而言之:SVM和NBC方法

1.SVM指向Scikit Learn的SVM软件包提供内置函数,将Tf-idf矢量直接提供给SVM内核。在这种情况下,选择了线性核函数是为了让结果更好。

Fed向量

SVM的模型

2. NBC指向朴素贝叶斯分类器需要直接输入文本和相应的标签。它假设样本句子的单词之间没有相互关系。因此,这个任务可以归结为简单地将一个情绪与一个基于单词数量和频率的句子联系起来。textblob库提供了一个全面的朴素贝叶斯分类器实现此功能。

ANN

我们已经建立了一个3层神经网络来解决这个问题。深度学习解决方案的原理是加深对句子的理解,也就是加强我们从句子中创建的向量和映射的情感之间的联系。我们希望机器排列单词理解并引导句子传达有意义的情感。在这里,建立了一个非常基础的神经网络,以更好地利用SVM和NBC提供的分类。我们来看看构建神经网络的不同的层。

1.输入层包含句子的词袋表示。让我们称之为“l0”。

Logistic分类器

2.数据被馈送到转换为逻辑分类器(WX + b)的隐藏层。然而,偏置的向量“b”未被添加到该层中的矩阵点积“WX”。损失函数和(W,B)参数矩阵以矩阵形式储存在“突触”中,毕竟,这是我们正在谈论的是人工神经网络,我们应该打个比方!

3.然后,logistic分类器矩阵被缩放为sigmoid非线性(应对缩放问题)。这完成了我们的第二层-隐藏层“l1 = sigmoid_matrix_multiplication(l0,weight_parameters)”。

4. 损失函数通过在训练数据上迭代一特定次数并使用SGD(随机梯度下降)优化,得到最佳参数矩阵“W”和“b”。

参数优化

5.第三层—输出层用于将SGD优化偏置项“b”添加到矩阵点积“WX”。你可以查看下面链接,了解为什么在这里进行分类是必要的。

https://stackoverflow.com/questions/7175099/why-the-bias-is-necessary-in-ann-should-we-have-separate-bias-for-each-layer

6.最后使用softmax函数将逻辑分数(logits)转换为概率。这些概率将给我们最接近特定情绪的感觉。

优化在完整数据上迭代指定的次数。如果本地迭代次数对错误减少没有任何影响,则迭代停止。

结果

以下是培训后获得的全部数据的15%。

虽然非常规的ANN方法似乎并不优于传统的NBC和SVM方法,但是当你有大量数据需要处理时,它很有用,因为它能保持所有样本的强大记忆能力。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-10-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏云时之间

关于分类问题的一些学习

这几天的时间里看了一下关于分类算法的一些知识,趁热打铁写下博客来拯救下记忆力不好的自己,话不读多说,马上开始! 先说一下前提的题设条件.假设我们现在有了一封邮...

27050
来自专栏游戏开发那些事

【计算机图形学】计算机图形学中的坐标系统

  马三最近开始学习计算机图形学了,买了两本书,其中一本是国内的,还是什么大学的教材,不过写得真不咋样啊。另外一本是大名鼎鼎的《计算机图形学》第四版。最近接触了...

14110
来自专栏机器之心

教程 | Kaggle网站流量预测任务第一名解决方案:从模型到代码详解时序预测

70950
来自专栏新智元

【邓侃】DeepMind 机器理解文本 NLP 技术复现与解析

【新智元导读】 本文对 DeepMind 的让计算机读懂文本、回答问题的深度学习技术进行复现与解析。文章对DeepMind的整个技术思路进行了清晰的重构:从问...

32060
来自专栏AI科技大本营的专栏

一文搞懂交叉熵在机器学习中的使用,透彻理解交叉熵背后的直觉

交叉熵(cross entropy)是深度学习中常用的一个概念,一般用来求目标与预测值之间的差距。以前做一些分类问题的时候,没有过多的注意,直接调用现成的库,用...

43660
来自专栏AI科技大本营的专栏

AI从入门到放弃2:CNN的导火索,用MLP做图像分类识别?

阅读本文的基础:我会认为你对BP神经网络有充分的了解,熟读过我上一篇文章,本文会大量引用上一篇文章的知识以及代码。

15420
来自专栏云霄雨霁

算法设计策略----动态规划法

20600
来自专栏ATYUN订阅号

解决机器学习中不平衡类的问题

大多数实际的分类问题都显示了一定程度的类不平衡,也就是当每个类不构成你的数据集的相同部分时。适当调整你的度量和方法以适应你的目标是很重要的。如果没有这样做,你可...

38060
来自专栏小小挖掘机

推荐系统遇上深度学习(二十二)--DeepFM升级版XDeepFM模型强势来袭!

今天我们要学习的模型是xDeepFM模型,论文地址为:https://arxiv.org/abs/1803.05170。文中包含我个人的一些理解,如有不对的地方...

59520
来自专栏算法channel

机器学习|kaggle数据挖掘和求解的基本步骤

01 — 数据探索(Exploratory Data Analysis) 对数据进行探索性的分析,通常会用 pandas 来载入数据,并做一些简单的可视化来理解...

31460

扫码关注云+社区

领取腾讯云代金券