自然语言的理解和连续表达 | 微软演讲PPT终章

微软研究院在IJCAI2016的Tutorial上讲述了自己将深度学习、深度神经网络应用于不同场景的情况,之前第二部分提到了深度学习在统计机器翻译和会话中的应用,第三部分是选中自然语言处理任务的连续表达。第四部分是自然语言的理解和连续语言词语的表达。

自然语言理解,重点在于 建立能与使用自然语言的人类进行交互的智能系统。其研究挑战:1)文本意义表达 2)支持有用推理任务。

连续词语表达,重点在于知识基础嵌入和基于知识基础的问题回答&机器理解。

连续词语表达包括:

l 多种创建词语矢量的流行办法 l 编码条件共存信息 l 测量语义相似井

语义嵌入将原始文本转换成连续语义空间

嵌入有效的原因在于:

l 词汇语义词相似度 l 文本简单的语义表达

对神经网络模型进行预先训练

词语嵌入模型样本、评估、相关工作

潜在语义分析包括:SVD概括原始数据、同义词典中不存在明确关系、术语矢量投射K维潜在空间、词语相似度等

RNN-LM词语嵌入

SENNA词语嵌入

CBOW/Skip-gram词语嵌入

DSSM:学习词语含义

GloVe:词语表达的全局矢量

语义相关度能够从词语同现次数个概念来观察

评估:语义词相似度

l 数据:人类判断词组 l 词语相似度排名与人类判断之间的关系 l 独立语义嵌入模型通常不能实现最好的结果

评估:关系相似度

判断两组词是否有同样的关系以及为什么它会有效?

意外发现:从递归神经网络语义模型提取的词语嵌入,关系相似度由余弦值得来。

实验结果

在其他数据集上的相似结果

词汇类比评估。

讨论。1.方向相似性无法处理语义关系;2.矢量计算=相似性计算3.通过计算找到最接近的x。

一些相关工作——模拟不同的词汇关系如:判断是同义词还是近义词。

相关工作——词汇嵌入模型如:其它的词汇嵌入模型;Word2Vec的分析和方向相似性;理论论证与统一;评估NLP的矢量空间表示。

神经语言的理解。

知识库:通过储存上百万实体的性能和它们之间的关系捕获世界的知识。

现在的KB在NLP&IR中的一些应用——回答问题,信息提取,网络搜索。

知识库推理-知识库永远不会完整,模拟多关系数据,知识库嵌入效率和精准度都更高。

知识库嵌入:KB中每一个实体都由一个Rd矢量表示,通过fr(Ve1,Ve2)预测(e1,r,e2)是否是正确的。最在KB嵌入方面的工作:张量分解,神经网络。

张量分解-知识库表示(1/2):收集-主-谓-宾-(e1,r,e2)

张量分解-知识库表示(2/2):0输入意味着不正确或者不知道

张量分解对象

测量关系的程度

键入张量分解:关系的主要知识有键入信息,约束和损耗中唯一合法的实体。利用键入信息的好处有三点:模型训练时间短,大KB可高度扩展,预测精度更高。

键入张量分解对象重建误差

加入张量分解对象重建误差

训练过程-交替最小二乘法

实验—KB完成

实体检索

相关性进行检索及其平均精度

知识库的嵌入模式

相关操作的评价函数及其参数

基于神经网络的KB嵌入式方法的经验比较:参数少表现更佳;双线性操作符十分关键;建模时,乘法要优于加法;pre-trained 短语和嵌入式向量对于表现十分关键。

霍恩子句的最小化规则

相关路径中进行学习

自然语言理解

连续的词表达和词汇语义学

知识库嵌入

KB为基础的问题回答和机器理解

语义分析

极具挑战性的语言任务可能会导致重大失误

极具挑战性的语言任务可能会导致重大失误

极具挑战性的语言任务可能会导致重大失误

问题配对有三种方法:通过释义进行语义分析;使用源于单词校对结果的单词表创造短语配对特征;把问题用向量表示。

镶嵌子图模式

使用DSSM确定推理链

深度学习的回答和问题数据集。

把原始版本和匿名版本进行了比较。

神经网络模式中Attentive Reader的具体运行结构图。

神经网络结构中Impatient Reader的运行结构图。

各模式运行结果精准度的比较,其中以NN为基础的模式表现最好。

对所有的问题进行了全面的检查,发现问题在于需用智能的方法创建大规模的受监督数据以及弄清楚理解程度问题。此外好的消息是实体能平等地进行工作且Attentive Reader模式表现最好。坏消息是任务难度较大,需达到最优化(25%的问题还是无法回答)。

连续空间表现对于一些神经网络语义理解任务还是很有帮助的;例如,连续词语表达和词汇任务,知识库镶嵌,以KB为基础的问题回答和机器理解。

在NN和连续表达方面实现了较大进步,例如,文本处理和知识推理。

对于未来展望提出了以下几个方面:

建立一个通用的智能空间

文本,知识和推理等等

从部件模式到端至端解决方法。

总结:

自然语言理解,重点在于 建立能与使用自然语言的人类进行交互的智能系统。此外需要连续词语表达和词汇语义学。

连续词语表达,重点在于知识基础嵌入和基于知识基础的问题回答&机器理解。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2016-07-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏小小挖掘机

推荐系统遇上深度学习(十二)--推荐系统中的EE问题及基本Bandit算法

Exploration and Exploitation(EE问题,探索与开发)是计算广告和推荐系统里常见的一个问题,为什么会有EE问题?简单来说,是为了平衡推...

1274
来自专栏AI科技评论

干货 | 张宇伦:基于残差密集网络的图像超分辨率(CVPR 2018 亮点论文)| 分享总结

AI 科技评论按:图像超分辨率技术作为底层计算机视觉任务,有着广泛的应用场景,比如:手机图像增强,视频监控,医疗影像,卫星图像,低分辨率人脸识别。因此,图像超分...

772
来自专栏机器之心

深度 | 一文概述2017年深度学习NLP重大进展与趋势

3457
来自专栏CVer

[计算机视觉论文速递] 2018-03-16

通知:这篇推文有14篇论文速递信息,涉及目标检测、图像分割、显著性目标检测、人脸识别和GAN等方向 最近有些忙,论文速递频率快下降至两天一更了,希望大家可以体谅...

42415
来自专栏AI科技大本营的专栏

深度神经网络生成模型:从 GAN VAE 到 CVAE-GAN

作者 | Blink·禀临科技 联合创始人·彭博 整理 | AI科技大本营(rgznai100) 在几年前,深度神经网络的热门话题是分类问题: 给定一张图 x,...

3968
来自专栏AI科技评论

ICPR 图像识别与检测挑战赛冠军方案出炉,基于偏旁部首来识别 Duang 字

随着互联网的飞速发展,图片成为信息传播的重要媒介,图片中的文本识别与检测技术也一度成为学界业界的研究热点,应用在诸如证件照识别、信息采集、书籍电子化等领域。

902
来自专栏专知

【计算机视觉近一年进展综述】《A Year in Computer Vision》by The M Tank

【导读】计算机视觉近一年进展综述,本报告仅仅是为了简要的总结下2016近一年在计算机领域的一些重要进展。第一部分:分割/定位,目标检测,目标追踪。第二部分:分割...

5195
来自专栏AI科技大本营的专栏

忘掉PS吧!欢迎进入修图的神经网络时代

左边是原图,右边是修图。是不是觉得美女与右边图片的背景搭在一起,更有动感和帅气。可是不会修图啊,肿么办? 今天让我们来看一个有意思的AI应用,让不会PS的你,...

3455
来自专栏机器之心

深度 | 拓扑数据分析TDA,有望打破人工智能黑箱的神奇算法

35213
来自专栏AI科技评论

学界 | 百度SVAIL推出高效问答模型GNR,比双向注意流快24.7倍

AI科技评论消息,百度硅谷AI实验室最近推出强文,文中提出了一种被称为GNR(Globally Normalized Reader)的方法。据AI科技评论了解,...

2508

扫码关注云+社区