深度学习下一个大突破:机器阅读

【新智元导读】本文作者邓侃认为,机器阅读其实就是自然文本的结构化,而文本摘要和机器翻译在2016年的进展,昭示了机器阅读即将取得的突破。

机器阅读将是深度学习的下一个重大进展

回顾2016年,深度学习在应用领域取得了三个重大进展。

1. Google DeepMind 的 AlphaGo,战胜了人类顶级围棋高手。

2. Google Translate 上线,达到了与人类媲美的精度。

3. Tesla 的 AutoPilot 投入使用,让自动导航成为大众使用的日常工具。

展望2017年,深度学习在应用领域将会有新的突破,其中一大看点,就是机器阅读。

书籍是人类文明的主要传承工具。让机器掌握自动阅读的能力,将会颠覆性地降低知识传承和使用的难度。

机器阅读之所以可能在2017年取得突破性进展,原因是机器翻译的工作原理,可以拓展到机器阅读领域。

文本摘要的研究,在2016年取得的进展,已经昭示了机器阅读的前进方向。

所谓文本摘要,就是把整篇文章,输入给电脑,电脑自动输出文章的中心思想。

文本摘要的工作原理,与机器翻译的工作原理,一脉相承。

机器翻译的原理,编码及解码

机器翻译的工作原理,说来简单,先编码,后解码 [1]。

编码的任务,是把输入的文章,转换成一连串数字向量,数字向量包含文章每一词的语义和语法信息,如同基因DNA。

解码的任务,是把数字向量,逐个转换成其它语言的词语,完成翻译。

任务明确后,接下去谈如何实现。

如何提炼文章中每一个词的语义信息?机器翻译用了两个办法,

1. 词向量,词向量包含这一个词的语义信息。词向量的实现方式,用的是神经网络与语言模型的组合,稍后介绍。

2. 语义向量,语义向量包含了从文章开头到当前词的主要语义,也包含了从当前词到文章末尾的主要语义,所以语义向量又称为前后文向量。语义向量的实现方式,用的是 LSTM 的隐状态,稍后介绍。

除了语义信息,编码是否需要容纳语法和统计信息?

文本摘要的研究者们,提议在编码中也容纳语法词性标注(POS tagging)、实体标注(NER)、信息挖掘统计值(TF-IDF)等等信息 [2]。

悬念是,还有哪些其它有用的信息,也应该被容纳进编码中?

更大的悬念是,如何提高编码的正确性,精准地全面地表达原文的语义和语法信息?

编码的实现原理

编码的实现,依赖于词向量和语义向量。

词向量的实现方式,用的是神经网络与语言模型的组合 [3]。

先说语言模型(Language Model),语言模型的任务,是根据前文,预测下一个词,最可能是什么?

有时候听众会打断对方的发言,说,“你不用再说了,你下面想说什么,我已经猜到了”。这样的听众,脑子里拥有出色的语言模型。

人类语言有缺陷,“版图” 与 “疆界”,无一字相同,但是语义相同。

语言模型把每一个人类词汇,对应到一个词向量。词向量是数字向量,数字向量的好处在于,容易计算数字向量之间的距离。同义词的词向量之间的距离为零,近义词的词向量之间的距离较短。

人类词汇,有一词多义的情况。词向量的技术难题,在于如何给多义词配置多个词向量。

[3] 用神经网络,来根据前文,预测下一个出现的词。

所谓预测,其实是估算词库中所有词汇,哪一个词汇在下一个出现的概率最大。神经网络发挥的作用,是概率模拟器。

预测很准的时候,神经网络中的诸多参数就不需要调整。预测不准的时候,就调整这些参数,提高后续预测的精准度。这就是语言模型训练的过程。

因为要估算词库中所有词出现的概率,所以训练语言模型的计算量,往往大得惊人。

解决的办法,是尽可能缩小候选词汇的数量。办法很多,譬如 beam search。

语义向量的实现,依赖 LSTM(Long Short Term Memory)。LSTM 也是一种神经网络,特色有二 [4]。

1. 循环:神经网络前一次的输出,将作为同一个神经网络下一次的输入。所以,LSTM 是处理序列的利器,语句就是序列的一种,序列的例子还包括,股票价格波动,心电图脑电图,音频视频等等。

2. 遗忘:语句中每个词汇的重要性不同,记住重要的词汇,忘记冗词。人类记忆有限,听演讲往往要做笔记,记住要点。电脑的记忆无限,但是也要取舍,避免噪音淹没了要点。

人类听演讲时,把要点写在笔记本里。LSTM 处理序列时,把要点存储在隐状态里。

隐状态(Hidden State)也是数字向量,隐状态数字向量的维度,往往比词向量的维度高。就像笔记本里能够写下很多词汇。

但是隐状态向量并非词向量的简单积累。隐状态向量是前后文词向量的剪接,如同基因剪接一样。

LSTM 的隐状态向量,胜任前后文语义向量的职能。但是隐状态向量的软肋,在于含义晦涩,如同基因不易读解。

好的隐状态向量,容易识别。如果用 Autoencoder [5] 把隐状态向量复原成原文,复原后的原文,与真正的原文越相近,说明隐状态向量的质量越好。

但是坏的隐状态向量,坏在哪里,很难甄别。因为,隐状态向量的含义晦涩难懂。这是需要研究解决的难题。

除了提炼前后文语义,LSTM 还可以做很多事情,譬如给文章中每个词汇标注词性,识别文章中地址名称等等词组。

作为神经网络的一种,LSTM 也需要训练,训练就需要语料。不同的任务,譬如词性标注,词组识别,需要不同的训练语料。

获得大量语料,也是难题。譬如有人提议,收集文章及其标题,作为文本摘要的训练语料。但是遇到标题党,这个办法就失效。

解码的实现原理

解码的理想境界,与翻译的理想境界相似,

1. “信”:语义要正确,不要曲解。

2. “达”:措辞要恰当,即便语义相同,如果措辞不同,那么语气迥异。

3. “雅”:行文要流畅。

解码器的实现原理,与词向量的实现原理相似,依赖语言模型,根据前文,预测下一个词,最可能是词库中的哪一个词汇?

不要忘记,估算词库中所有词出现的概率,计算量往往大得惊人。

要达到“信”的境界,对于机器翻译而言,难度较低,因为翻译基本上是逐个词汇一对一翻译。

对于文本摘要而言,“信”的难度较高。如何摘录重点?人类做摘要,往往摘录论点,不摘录论据,往往摘录故事结局,不摘录故事过程。

如何让电脑辨别论点与论据,结局与过程?这是需要研究的难题。

所以,对于机器翻译而言,解码器的输入,只需要原文中的词向量和语义向量,就可以翻译得相当精准。

但是,对于文本摘要而已,除了词向量和语义向量,还需要词性标注、词组识别、TF-IDF,信息越丰富,摘要越简洁。

简单暴力的办法,是摘录原文中每个段落的起首一两句,遇到两个段落的起首句的语义相同,就忽略其中一个。

要达到“达”的境界,对于机器翻译而言,难度较高,每种语言都有同义词,但是同义词之间的语气差别,往往难以界定。

对于文本摘要而言,“达”的难度较低,简单粗暴但是行之有效的办法,是直接引用原文中的词汇。

引用原文词汇,还有一个好处,是大大降低了计算量。说得学术点,这叫 LVT,Large Vocabulary Tricks [6]。

麻烦在于,原文中出现的词汇很多,下一个词应该引用原文中的哪一个词汇?

解决办法是先用语言模型,根据当前的词向量、语义向量,预测下一个词的词向量。然后再去原文中,寻找最贴切的词汇。

寻找的办法,说得学术点,叫 Attention [1]。

大意是根据原文中每一个词汇本身的语义、语法词性、词组标注、TF-IDF 统计信息,以及前后文的语义等等尽可能多的信息,评估原文中的每一个词汇,与下一个词的词向量的相关性。

但是 Attention 的办法,也会导致巨大的计算量。[2] 提议了一个减少计算量的办法,先评估每个语句的相关性,找到相关语句后,再评估这个语句中每个词汇的相关性。

要达到“雅”的境界,无论机器翻译还是文本摘要,都必须做到下一个词的选择,必须与前文词汇保持流畅。

对于文本摘要而言,下一个词的选择,不能全部选用原文中词汇。实现方式有两个要素。

1. 预先从训练语料中,构建摘要的词库。

2. 实现一个开关函数,决定从词库中选词,还是从原文词汇中摘录。

开关函数可以用 sigmoid 函数,输入有三项,前文的词汇、预测出的下一个词的词向量、Attention 找到的原文中最贴切的词汇。

未来有待解决的问题

除了进一步降低语言模型的计算量,除了识别原文中各个语句及词汇的重要性,未来最大的挑战,可能是如何引用外援知识。

人类阅读的时候,经常需要查字典,查参考文献。

引用外援知识的目的,是扩大读者现有的知识结构,消除现有知识结构与文章内容之间的落差。

阅读结束后,进一步扩大现有知识结构。这就是人类通过阅读,不断学习知识的过程。

知识结构的表达方式有多种,“一图胜千言”,自然语言似乎不是最高效的表达方式。

知识图谱由点和边组成,点表达概念,边表达一个概念与另一个概念之间的关系。

譬如 “发烧” 和 “炎症” 是两个概念,在知识图谱中用两个点来表达。“炎症”导致“发烧”,在知识图谱中用有向边来表达。

当阅读一篇文章时,如果文章中出现的概念,没有出现在现有知识图谱中,那么阅读就会出现困难,这就是知识的落差。

消除知识落差的办法,是查字典,查参考文献,扩大阅读,直到文章中出现的新概念,与现有知识图谱相连接。

如何把文章转换为知识图谱?不妨沿用机器翻译和文本摘要的工作原理,把文章从自然语言,转换成知识图谱。

换而言之,机器阅读其实就是自然文本的结构化。

参考文献

[1] Neural Machine Translation by Jointly Learning to Align and Translate

https://arxiv.org/abs/1409.0473

[2] Abstractive Text Summarization Using Sequence-to-Sequence RNNs and Beyond

https://arxiv.org/abs/1602.06023

[3] Distributed Representations of Words and Phrases and their Compositionality

https://arxiv.org/abs/1310.4546

[4] Understanding LSTM Networks

http://colah.github.io/posts/2015-08-Understanding-LSTMs/

[5] Autoencoders tutorial

http://ufldl.stanford.edu/tutorial/unsupervised/Autoencoders/

[6] On using very large target vocabulary for neural machine translation

https://arxiv.org/abs/1412.2007

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2017-02-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏专知

CMU2018春季课程:神经网络自然语言处理课程(附PPT和代码)

【导读】我们之前介绍了一系列卡耐基梅隆大学的课程,今天,我们又带来了CMU 2018春季最新的课程“Neural Networks for NLP”介绍,该课程...

6348
来自专栏张俊红

数据分析该分析什么?

总第56篇 很多时候我们走的走的就会忘记当初为什么而出发。 我们有的时候在拿到数据以后不知道该怎么进行分析,该去分析什么,其实这些在我们以前的统计学中都学过。 ...

3538
来自专栏机器之心

解读 | 替代图灵测试?让人工智能参加数学和科学考试

SyncedReview 作者:Shixin Gu 参与:Joshua Chou、Chain Zhang、熊猫 图灵测试在过去很长一段时间里都被认为是一种衡量人...

42312
来自专栏新智元

【一文读懂Hinton最新Capsules论文】CNN 未来向何处去

【新智元导读】Hinton 上周发表的一篇论文 Dynamic Routing Between Capsules 提出用 Capsule 这个概念代替反向传播,...

38812
来自专栏新智元

对抗神经机器翻译:GAN+NMT 模型,中国研究者显著提升机翻质量

【新智元导读】中山大学、中国科技大学、微软亚洲研究院与广东省信息安全技术重点实验室合作,提出了一种新的“对抗神经机器翻译”(Adversarial-NMT) 模...

65220
来自专栏星流全栈

AI通过照片创建3D模型,3D建模师也要失业?

5928
来自专栏深度学习自然语言处理

从Word Embedding到Bert模型——自然语言处理预训练技术发展史

作者简介:张俊林,中国中文信息学会理事,目前在新浪微博 AI Lab 担任资深算法专家。在此之前,张俊林曾经在阿里巴巴任资深技术专家,以及在百度和用友担任技术经...

3234
来自专栏AI研习社

提高网络模型的泛化能力!深度学习之父Geoffrey Hinton的神经网络第九课(中文字幕)

作为深度学习祖师,Geoffrey Hinton 的每一句每一言,都使学习者如奉纶音。浓缩其毕生所学的《Neutral Network for Machine ...

5335
来自专栏CSDN技术头条

深度学习在自然语言处理的应用

【编者按】Jonathan Mugan写了两篇博文来解释计算机如何理解我们在社交媒体平台上使用的语言,以及能理解到何种程度。本文是其中的第二篇。 在深度学习出现...

2159
来自专栏人工智能头条

深度学习在自然语言处理的应用

1733

扫码关注云+社区

领取腾讯云代金券