机器学习(四)通过递归的矩阵向量空间预测组合语义摘要简介方法结果结论

Semantic Compositionality Through Recursive Matrix-Vector Spaces

摘要

单字矢量空间模型已经在学习词汇信息方面非常成功。但是,它们无法捕捉到更长的短语的位置意义,这样就阻碍了它们对语言的深入理解。我们介绍一种递归神经网络(RNN)模型,该模型学习任意句法类型和长度的短语和句子的组合向量表示。我们的模型为解析树中的每个节点分配向量和矩阵:向量捕获组成部分的固有含义,而矩阵捕获它如何改变相邻单词或短语的含义。这种矩阵向量RNN可以学习命题逻辑的运算符和自然语言的含义。该模型在三个不同的实验中获得最显著的表现:预测副词形容词对的细粒度情感分布;对电影评论的情感标签进行分类,并使用他们之间的句法路径对名词之间的因果关系或主题信息进行分类。

简介

语义词向量空间是许多有用的自然语言应用的核心,例如搜索查询扩展(Jones et al。2006),信息检索的事实提取(Pas¸caet al。2006)和消歧的文本自动注释带有的维基百科链接(Ratinov et al。2011)等等(Turney和Pantel。2010)。在这些模型中,单词的含义被编码为从单词及其相邻单词的共现统计中计算出的向量。这些向量已经表明它们与人类对词相似性的判断有很好的相关性(Griffiths et al。2007)。

方法

方法.png

二分法解析树

二分法解析树.png

The song was composed by as famous Indian musician

递归矩阵向量模型

递归矩阵向量模型.png

初始化

  • 用预先训练的50维词向量初始化所有的单词向量
  • 将矩阵初始化为X=I+ε,其中I�是实体矩阵

组合

组合.png

训练

我们通过在每个父节点顶部添加一个softmax分类器来训练向量表示,以一种情感分类或一些关系分类

softmax.png

其中W label∈R K×n是权重矩阵。如果有K个标签,则d∈RK是K维多项式分布

我们将t(x)∈RK×1表示为节点x处的目标分布向量,t(x)具有0-1编码:t(x)处的条目为1,其余条目为0.后计算d(x)和t(x)之间的交叉熵误差。

交叉熵.png

并将目标函数定义为所有训练数据上的E(x)之和:

QQ截图20170807151929.png

其中θ=(W,W M,W label,L,L M)是我们应该学习的模型参数的集合。 λ是正则化参数的向量.L和L M分别是字矢量和字矩阵的集合。

语义关系分类

  • 我们首先在解析树之间找到我们要分类的关系的两个单词之间的路径。
  • 然后,我们选择路径的最高节点,并使用该节点的向量作为特征对关系进行分类。
  • 最后,我们将MV-RNN模型应用于由两个单词所跨越的子树。

语义关系分类.png

结果

我们对以下数据集进行了实验:

  • SemEval 2010 Task 8 有9个有序的关系(有两个方向)和一个无向的其他类,所以一共有19个类。 这些关系有:信息主题,因果关系,工具代理。 如果关系中的单词的顺序正确,则对将其计为正确。

SemEval 2010 Task8.png

  1. Accuracy (calculated for the above confusion matrix)= 2094/2717 =77.07%
  2. F1_score= 82.51%
  3. 我们还使用根据“SemEval 2007 Task 4”的代码要求修改的不同数据集来执行测试并使用以前的培训模型
  4. 该实验的F1得分为40.08%,忽略方向性。

与其他办法的对比

对比.png

结果的改善也是由于其他方法的一些常见缺点。 例如: •许多方法用无序的单词列表来表示文本,而情绪不仅取决于单词的含义,而且还取决于它们的顺序。 •使用的功能是手动开发的,不一定会捕获该单词的所有功能。

结论

  • 我们的模型建立在语法上合理的解析树上,可以处理组合现象。
  • 我们的模型的主要新颖性是矩阵向量表示与递归神经网络的组合。
  • 它可以学习一个单词的意义向量,以及该单词如何修改其邻居(通过其矩阵)。
  • MV-RNN将有吸引力的理论性能与大型噪声数据集的良好性能相结合。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Python小屋

KNN分类算法原理与Python+sklearn实现根据身高和体重对体型分类

KNN算法是k-Nearest Neighbor Classification的简称,也就是k近邻分类算法。基本思路是在特征空间中查找k个最相似或者距离最近的样...

41770
来自专栏CreateAMind

TensorFlow 文档:MNIST机器学习入门

14220
来自专栏SnailTyan

ResNet论文翻译——中英文对照

Deep Residual Learning for Image Recognition Abstract Deeper neural networks are...

28780
来自专栏磐创AI技术团队的专栏

使用Keras进行深度学习:(一)Keras 入门

导语 Keras是Python中以CNTK、Tensorflow或者Theano为计算后台的一个深度学习建模环境。相对于其他深度学习的框架,如Tensorflo...

39360
来自专栏云时之间

Tensorflow 笔记:搭建神经网络

用张量表示数据,用计算图搭建神经网络,用会话执行计算图,优化线上的权重(参数),得到模型。

49250
来自专栏数据科学学习手札

(数据科学学习手札29)KNN分类的原理详解&Python与R实现

  KNN(k-nearst neighbors,KNN)作为机器学习算法中的一种非常基本的算法,也正是因为其原理简单,被广泛应用于电影/音乐推荐等方面,即有些...

535130
来自专栏用户2442861的专栏

Logistic回归与梯度下降法

http://blog.csdn.net/acdreamers/article/details/44657979

23810
来自专栏云时之间

Tensorflow 笔记:搭建神经网络

18430
来自专栏生信小驿站

机器学习识别乳腺癌

人工神经网络是一种类似于大脑神经突触连接的结构进行信息处理的数学模型,由大量的输入层节点、隐藏层节点和输出层节点连接构成。有关神经网络算法最核心的三个问题就是:...

12920
来自专栏机器之心

机器之心GitHub项目:从循环到卷积,探索序列建模的奥秘

机器之心原创 作者:蒋思源 本文讨论并实现了用于序列模型的基本深度方法,其中循环网络主要介绍了传统的 LSTM 与 GRU,而卷积网络主要介绍了最近 CMU 研...

94360

扫码关注云+社区

领取腾讯云代金券