【深度学习】AI如何用文字表达情绪——使用人工神经网络进行带情感识别的文本分类

本文将带你尝试,不使用文本复杂的矩阵转换将文本分类。本文是对3种方法的综合描述和比较,这些方法被用来对下面这些数据的文本进行分类。完整的代码可以在下面链接找到。

代码:https://github.com/Ankushr785/Emotion-recognition-from-tweets 数据集下载:http://imgcdn.atyun.com/2017/09/text_emotion.csv

自然语言处理

所谓自然语言处理,这就是让机器像人类一样理解人类语言。这包括辨别不同句子之间的感情联系,理解说话者的本意,最终产生与之相关意思一致的新句子,并汇总到一起等等。这听起来没什么难以理解的地方,所以我认为即使是初学者不必害怕它会过于复杂。

现在我们知道机器(和大数据)可以比文本字符串更好地处理数字模式,所以处理NLP问题的第一步是将单词转换为矢量,即矢量化。一旦完成,所有需要完成的都是使用矢量作为特征,并将文本处理问题转换为机器学习问题。在我们即将见证的特殊情况下,SVM(支持向量机),朴素贝叶斯分类器 (NBC)和Sigmoid层已经被用来解决同样的问题。我们比较所有这些算法。希望你能够了解上述算法以帮助了解本文另外,我也不太愿意解释SVM和朴素贝叶斯方法。不过你可以在任何地方找到,所以无需担心。

数据预处理

之前的推文

1.删除网址:URL不会帮助你确定句子的特征。他们只是一些该死的链接,跟着他们不会让你根据刚刚阅读的句子做一个很好的描述。在re包中提供了删除网址的方法。

2.删除正则表达式:URL带来了很多符号,如[‘@’,’#’,’%’]称为正则表达式。有很多方法可以让这些符号在文本文档中被找到。比如在re包中提供了一个正则表达式查找表来解决这个问题。

3.词形还原:需要将同一页上类似(picking, pick), (motivation, motivate)等的所有单词列出。该NLTK库(Natural Language Toolkit)包含了单词词形还原的包(WordLemmatizer),通过提供全面的查找表解决这个问题。

4.删除重复字母:我希望我的机器能把“I loooove you!”转换为“I love you!”使用itertools包提供的去重函数可以解决这个问题。

矢量化SVM和NBC

SVM是关于在n维空间(n指向特征)创建不同类之间的最优超平面以支持矢量。对于我们的问题陈述,利用SVM的一个好方法是利用Tf-Idf(Term frequency, inverse document frequency)矢量化。

Tf-idf矢量化

如果你认为一个词袋的表示法只是计算每个文档中唯一单词的实例。那么你还是没有抓住重点。在分类过程中,整个语料库中的每个特定的词语(包括在我们的文本数据中的所有句子的组合)都会被给予相等的权重。我们的机器是还是个婴儿,它不会区分词语的重要性。

这个问题的解决方案是减少所有句子相当常见的单词的权重,并且在评估过程中增加不常见单词的权重。Scikit Learn的特征提取库提供了Tf-Idf函数来完成这个任务,对某个句子中的所有单词进行二次加权,并创建一个修改后的词袋。

ANN的矢量化

简单的词袋就足够了,复杂性会进一步下降。

简而言之:SVM和NBC方法

1.SVM指向Scikit Learn的SVM软件包提供内置函数,将Tf-idf矢量直接提供给SVM内核。在这种情况下,选择了线性核函数是为了让结果更好。

Fed向量

SVM的模型

2. NBC指向朴素贝叶斯分类器需要直接输入文本和相应的标签。它假设样本句子的单词之间没有相互关系。因此,这个任务可以归结为简单地将一个情绪与一个基于单词数量和频率的句子联系起来。textblob库提供了一个全面的朴素贝叶斯分类器实现此功能。

ANN

我们已经建立了一个3层神经网络来解决这个问题。深度学习解决方案的原理是加深对句子的理解,也就是加强我们从句子中创建的向量和映射的情感之间的联系。我们希望机器排列单词理解并引导句子传达有意义的情感。在这里,建立了一个非常基础的神经网络,以更好地利用SVM和NBC提供的分类。我们来看看构建神经网络的不同的层。

1.输入层包含句子的词袋表示。让我们称之为“l0”。

Logistic分类器

2.数据被馈送到转换为逻辑分类器(WX + b)的隐藏层。然而,偏置的向量“b”未被添加到该层中的矩阵点积“WX”。损失函数和(W,B)参数矩阵以矩阵形式储存在“突触”中,毕竟,这是我们正在谈论的是人工神经网络,我们应该打个比方!

3.然后,logistic分类器矩阵被缩放为sigmoid非线性(应对缩放问题)。这完成了我们的第二层-隐藏层“l1 = sigmoid_matrix_multiplication(l0,weight_parameters)”。

4. 损失函数通过在训练数据上迭代一特定次数并使用SGD(随机梯度下降)优化,得到最佳参数矩阵“W”和“b”。

参数优化

5.第三层—输出层用于将SGD优化偏置项“b”添加到矩阵点积“WX”。你可以查看下面链接,了解为什么在这里进行分类是必要的。

https://stackoverflow.com/questions/7175099/why-the-bias-is-necessary-in-ann-should-we-have-separate-bias-for-each-layer

6.最后使用softmax函数将逻辑分数(logits)转换为概率。这些概率将给我们最接近特定情绪的感觉。

优化在完整数据上迭代指定的次数。如果本地迭代次数对错误减少没有任何影响,则迭代停止。

结果

以下是培训后获得的全部数据的15%。

虽然非常规的ANN方法似乎并不优于传统的NBC和SVM方法,但是当你有大量数据需要处理时,它很有用,因为它能保持所有样本的强大记忆能力。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-10-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能LeadAI

零基础用TensorFlow玩转Kaggle的“手写识别”

这是一个TensorFlow的系列文章,本文是第二篇,在这个系列中,你讲了解到机器学习的一些基本概念、TensorFlowa的使用,并能实际完成手写数字识别、...

2908
来自专栏IT派

手把手教你用 Keras 实现 LSTM 预测英语单词发音

我近期在研究一个 NLP 项目,根据项目的要求,需要能够通过设计算法和模型处理单词的音节 (Syllables),并对那些没有在词典中出现的单词找到其在词典中对...

762
来自专栏大数据挖掘DT机器学习

【机器学习】迭代决策树GBRT

一、决策树模型组合 单决策树C4.5由于功能太简单,并且非常容易出现过拟合的现象,于是引申出了许多变种决策树,就是将单决策树进行模型组合,形成多决策...

2876
来自专栏机器之心

学界 | 南京大学提出使用树型集成算法构建自编码器模型:对比DNN有更高的准确性和高效性

25310
来自专栏数据派THU

自创数据集,用TensorFlow预测股票教程 !(附代码)

来源:机器之心 本文长度为4498字,建议阅读8分钟 本文非常适合初学者了解如何使用TensorFlow构建基本的神经网络。 STATWORX 团队近日从 Go...

3117
来自专栏算法channel

机器学习储备(1):协方差和相关系数

为了深刻理解机器学习算法的原理,首先得掌握其中涉及到的一些基本概念和理论,比如概率,期望,标准差,方差。在这些基本概念上,又衍生出了很多重要概念,比如协方差,相...

33510
来自专栏有趣的Python

0- 深度学习之神经网络核心原理与算法-课程介绍

课程导学 计算机计算能力不断攀升。 阿尔法狗击败李世石 人工智能ai。无人驾驶汽车。机器狗。 不会咬人,能自己调整重心(被踢一脚) 人工智能(深度学习) 智能音...

3655
来自专栏AI科技大本营的专栏

XGBoost参数调优完全指南(附Python代码)

作者 | Aarshay Jain 简介 如果你的预测模型表现得有些不尽如人意,那就用XGBoost吧。XGBoost算法现在已经成为很多数据工程师的重要武器。...

5706
来自专栏AI研习社

手把手教你用 Keras 实现 LSTM 预测英语单词发音

我近期在研究一个 NLP 项目,根据项目的要求,需要能够通过设计算法和模型处理单词的音节 (Syllables),并对那些没有在词典中出现的单词找到其在词典中对...

542
来自专栏ArrayZoneYour的专栏

使用TensorFlow实现股票价格预测深度学习模型

Sebastian Heinz. A simple deep learning model for stock price prediction using T...

2.5K10

扫描关注云+社区