诺亚神经响应机NRM模型:深度学习改变自然语言对话

图灵测试是人工智能的梦想,它所要完成的任务是机器智能判定实验,即让机器和人能够通过自然语言对话(Natural Language Dialogue,NLD)来沟通。这项长期困扰研究人员的工作,因为深度学习的引入,有了新的进展。

最新的NLD工作,在基于检索的对话中引入深度学习,华为诺亚方舟实验室(简称诺亚)是最早开始此项工作的玩家之一。从2013年开始,诺亚在短文本对话领域有一系列的工作【1】【2】【3】。今年3月初,诺亚的研究人员在arXiv上公布的一篇论文(这篇文章也将在今年7月的ACL会议上发表【4】),第一次提出了完全基于神经网络的对话模型“神经响应机”(Neural Responding Machine,NRM),用于人机之间的单轮对话(single-turn dialog)。

诺亚研究人员介绍,对用户说的话,NRM用一种混合机制来进行表示,从而既对文本有整体的把握,又充分保留了句子的细节信息。在对输入问题的表示的基础上,NRM采用了递归神经网络(Recurrent Neural Network)来逐字的生成自然语言的句子作为回复。NRM从五百万个(微博,回复)对中学习人的回复,这些学到的模式存于系统的近四百万参数中。因为NRM中部分采用了attention的机制,可以相对容易掌握比较复杂的模式,如:

人: 你好,我是利锋。 NRM: 利锋你好!

当然,NRM以及随后出现的类似模型,如Google的Neural Conversational Model(NCM)【5】, 还停留在对复杂语言模式记忆和组合上,尚无法在对话中使用外界的知识。例如,在对“看了昨晚恒大的比赛了吗?”这样的句子,无法给出真实的状况(例如昨晚恒大比赛的结果)相关的回复。

但依旧不能否认NRM的意义。此前的近几十年,研究人员不懈努力而生成的对话系统(dialogue model),大都是基于规则和模板, 或者是在一个较大的对话数据库中进行搜索。这种两种方式并非真正的产生对话,又缺乏对语言的有效理解和表示。囿于模板/例子的数量和表示的局限性,这些方式在准确性和灵活性上都存在一定的不足,很难兼顾语言的自然通顺和内容的适当切题,效果与引入深度学习的模型不可同日而语。

所以说,NRM模型的提出,更多的可能性和想象空间才刚刚开始。事实上,诺亚已经以此为基础展开深度学习在对话方面的深入研究,包括多轮对话(multi-turn dialog),与强化学习(reinforcement learning)结合的对话管理,以及在对话中引入知识(knowledge)等。

参考文献

【1】H. Wang, Z. Lu, H. Li, E. Chen. A Dataset for Research on Short-text Conversations. In Proceedings of EMNLP, 2013 【2】Z. Ji, Z. Lu, H. Li. An information Retrieval Approach to Short-text Conversation. arXiv: 1408.6988, 2014. 【3】B. Hu, Z. Lu, H. Li, Q. Chen. Convolutional Neural Network Architectures for Matching Natural Language Sentences. In Advances of NIPS, 2014 【4】L. Shang, Z. Lu, and H. Li. Neural Responding Machine for Short-text Conversation. In Proceedings of ACL,2015. 【5】O. Vinyals, and Q. V. Le. A Neural Conversational Model. arXiv: 1506.05869,2015


【预告】首届中国人工智能大会(CCAI 2015)将于7月26-27日在北京友谊宾馆召开。机器学习与模式识别、大数据的机遇与挑战、人工智能与认知科学、智能机器人四个主题专家云集。人工智能产品库将同步上线,预约咨询:QQ:1192936057。欢迎关注。

大会官网链接:http://ccai2015.csdn.net

原文发布于微信公众号 - 人工智能头条(AI_Thinker)

原文发表时间:2015-07-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏专知

AI与深度学习重点回顾:Denny Britz眼中的2017

【导读】近日,博客WILDML的作者Denny Britz把他眼中的2017年AI和深度学习的大事进行了一番梳理和总结:从AlphaGo的自主学习到AlphaG...

3555
来自专栏专知

音乐演奏家恐将失业,Facebook首次提出音乐风格翻译

2646
来自专栏大数据挖掘DT机器学习

【趣味】数据挖掘(1)——"被打"与"北大"的关联

小时候喜欢读趣味数理化,所以久有一个小心愿,写一组趣味数据挖掘的科普博文。要把数据挖掘的一些概念讲得通俗有趣,需要好的例子,正搜寻中,一个有趣的、适合解...

3526
来自专栏ATYUN订阅号

研究人员利用重音训练AI,以提高模型对口音的识别

没有什么东西比不懂你口音的语音识别系统更令人沮丧。发音的语言差异使数据科学家多年来一直困扰,训练模型需要大量数据,而某些方言不像其他方言那么常见。

1252
来自专栏AI科技评论

干货 | 2018 机器阅读理解技术竞赛冠军 Naturali 分享问答系统新思路

AI 科技评论按:7 月 28 日,由中国中文信息学会和中国计算机学会联合举办的第三届语言与智能高峰论坛于北京语言大学举办,Naturali 奇点机智团队作为 ...

1043
来自专栏人工智能LeadAI

TensorFlow从0到1丨第3篇:人类学习的启示

上一篇TensorFlow的内核基础介绍了TF Core中的基本构造块,在介绍其强大的API之前,我们需要先明了TF所要解决的核心问题:机器学习。 什么是机器学...

4314
来自专栏AI科技评论

【深度】Nature:我们能打开人工智能的“黑箱”吗?

编者按:人工智能无处不在。但是在科学家信任人工智能之前,他们首先应该了解这些人工智能机器是如何运作的,这也就是文中所提到的“黑箱”问题。在控制论中,通常把所不知...

3196
来自专栏AI科技大本营的专栏

eBay数据科学家李睿:自然语言处理在eBay的技术实践

记者|谷磊 近日,在飞马网主办的“FMI人工智能&大数据高峰论坛”上,来自eBay的数据科学家李睿博士以“NLP(自然语言处理)在eBay的技术实践”为题做了主...

4399
来自专栏机器之心

业界 | 谷歌发布神经音频合成器NSynth:专注于启迪音乐创作

选自Magenta 作者:Jesse Engel等 机器之心编译 参与:晏奇、黄小天 Magenta 的目标之一是运用机器学习发现人类表达的新途径,因此,今天我...

3309
来自专栏TensorFlow从0到N

TensorFlow从0到1 - 3 - 人类学习的启示

? 机器学习 上一篇TensorFlow的内核基础介绍了TF Core中的基本构造块,在介绍其强大的API之前,我们需要先明了TF所要解决的核心问题:机器学习...

3366

扫码关注云+社区

领取腾讯云代金券