清华大学黄民烈博士:如何让聊天机器人理解人类情感?

AI 科技评论按:以微软小冰为代表的聊天机器人已经渗透到我们的日常生活中,虽然小冰会卖萌懂幽默,但距离真正的共情、理解人类的情绪还是有一定的距离。清华大学计算机系朱小燕、黄民烈老师团队今年的一项研究工作希望让聊天机器人具备这样的能力。

在这个名为 ECM(Emotional Chatting Machine:情绪化聊天机器人)、基于深度学习的情感对话模型中,团队首次将情感因素引入了基于深度学习的生成模型中。

相关论文可查看《Emotional Chatting Machine: Emotional Conversation Generation with Internal and External Memory》,作者周昊、黄民烈、张天扬、朱小燕、刘兵。

9 月份,黄民烈博士也带领清华的两位学生,联合搜狗搜索团队一举获得了全球唯一开放域对话评测比赛 NTCIR-STC2 的冠军。AI 科技评论与黄民烈博士取得联系,与他交流了近期的一些研究工作,并探讨了聊天机器人的情绪机制设计。

黄民烈,清华大学计算机系副教授,研究兴趣主要集中在深度学习、机器学习方法与应用,自然语言处理如自动问答、人机对话系统、情感分析等。已超过 40 篇 CCF A/B 类论文发表在 ACL、IJCAI、AAAI、EMNLP、KDD 等国际主流会议及 ACM TOIS、Bioinformatics 等期刊上,SCI 他引超过 300 次。曾担任多个国际会议的领域主席或高级程序委员,如 IJCAI 2017高级程序委员, ACL 2016、EMNLP 2014/2011、IJCNLP 2017 等国际会议领域主席,担任多个国际顶级期刊的审稿人。

目前对话系统有两种主要模式,一种基于信息检索,即在数据库或语料库中找寻相近内容的答复作为返回答复,现在有很多工作及实际应用也采用的是这种方法。而随着深度学习的发展,另一种方法——基于深度学习的生成式对话系统也受到了越来越多的关注。从去年开始,NTCIR-STC2 在基于检索的任务上又新增了一项基于生成的任务评测,其重要程度可见一斑。

黄民烈博士告诉 AI 科技评论,有不少生成式对话系统的工作都将关注点集中于提升生成语句的语言质量,但往往忽略了对人类情感的理解。因此,团队着手研究如何让计算机通过文字方式表达情绪,也是希望能在人机对话系统中加入感知情绪的成分,能从语言和情感两个维度上生成恰当的回复。

根据论文的介绍,ECM 在传统的 Sequence to Sequence 模型的基础上,采用静态的情感向量嵌入表示,动态的情感状态记忆网络和情感词外部记忆的机制,让 ECM 得以根据用户的输入,并基于指定的情感分类(包括快乐、伤感、愤怒、厌烦、好感等五种情绪)输出相应的回复。

在这项研究中,ECM 首次将情感因素与深度学习方法相融合。尽管自然语言处理领域本身早在深度学习快速发展前就已经能顺利做出商业化的产品,但在 ACL 2017 上,AI 科技评论也非常明显地感受到深度学习的渗透。不可否认的是,深度学习对自然语言处理的影响力不可小觑。在黄民烈老师的理解中,语言本身的复杂性有很多方面,比如情绪、风格、结构等等,而且语言经过高度抽象后往往只字之差意义去相去甚远,这种符号上表达的含义很难用模型进行表述和定义。而深度学习更擅长的是做概率性的一些推理。「对于语言来说,深度学习目前还是比较难以解决包括符号、知识及推理层面的问题的。」

ECM 的主要数据来源是新浪微博。但微博作为一个非常活跃的社交媒体,也有非常多涉及网络用语、反语、双关的帖子或评论,目前有不少学者在做相关的研究,包括网络新词、反语检测、双关检测等,黄民烈博士自己也有相关的研究工作。比如在自然语言处理领域顶级会议 ACL 2014 上,黄民烈博士有一篇第一作者的收录论文《情感分析中的新词发现》(New Word Finding for Sentiment Analysis),基于微博数据提出了一种数据驱动、不依赖知识、非监督的新词发现算法。那么在 ECM 中,是否也会对新词进行发现并做情感分析,辅助进行生成式的回复呢?

对此,黄民烈博士告诉 AI 科技评论,在 ECM 的研究中,这类数据并没有很多,也不影响研究者们基于数据获取生成内容。他认为,这类工作在判断舆情或是大众观点上会更受关注些,但其中最重要的是对背景知识的了解。「比如你讽刺一个什么事情,其实人类是知道关于这个内容或这个事件的背景信息的,因此你很容易理解这是一个反讽,但现在计算机系统还不太能做到这一点。如果模型不能很好地利用这种背景知识和信息的话,确实会得到一个相反的结论。」

「ECM 的研究只是非常初步的一个尝试,聊天机器人的回复目前是建立在给定情感分类的基础上做出的,还没有涉及到如何评判用户情绪的研究。」黄民烈博士表示,后续可以通过设计共情机制,或是通过上下文、情境等信息判断合适的回复,不过这非常复杂和具有挑战性。

机器要拥有「情绪」,能够更加智能,在黄民烈博士看来需要有两个方面的内容。首先是语义理解,另一个则是身份设定。语义理解不难懂,现在有很多公司及研究机构都在做类似的工作。但身份设定,则是要在聊天进行的过程中嵌入机器人的身份和属性。

「比如现在我们可以和小冰聊天,但很快你会意识到它不是一个『人』,除了语义理解的问题外,更多的是因为它缺少一个固定的人格和属性。比如当你问小冰,它的性别是什么时,这个回答是前后不一致的。」黄民烈博士表示,如何让机器人具有特定的说话风格,实际上也是一个非常重要的问题,在未来,当我们设定机器人是一个三岁的小男孩,会弹钢琴时,那么结合这样的属性再去和它对话,它应该生成跟它自己身份、个性相符合的答复。在这方面,黄民烈博士也进行了初步探索,详见论文《Assigning personality/identity to a chatting machine for coherent conversation generation》。

黄民烈博士表示,一个符合情境的交谈或对话需要符合多个因素。首先是交谈的话题;其次,交谈的对象是什么,是在和谁说话;再者,双方的情绪甚至心理活动状态是怎样的。除此之外,还需要考虑用户的背景和对话中扮演的角色,甚至多方面综合的感知信息如语音、语调、姿态和表情等。「目前我们所做的研究还只是从文字上来判断。有时候我们在设计模型时并没有办法完全地考虑到这些变量,因此只能在研究的基础上做大幅的简化。」

除了身份设定的研究外,黄民烈博士也正在进行更多的关于「解决任务导向对话系统、聊天机器人、自动问答中最具挑战性」的研究工作。现在的人机对话要实现像人一样的自主交谈依然具有很大难度,而其中涉及的最根本的便是理解的问题。「平时做一个相对容易的分类问题,(准确率)可能做到百分之七八十,而且这些结果也能够用在实际的系统里面。但人机对话实际上需要的是深层次的理解,所以现在的系统还存在很多逻辑上的问题。」黄民烈博士及其团队虽然在近年也做出了不少尝试,也取得了一定的进步,但他认为,实际上在开放领域及开放话题上的聊天依然有很多问题亟待解决,比如如何利用客观世界的知识,或是背景信息,并结合记忆、联想和推理,才能实现符合情境的交谈与对话。

在黄民烈博士看来,在特定任务场景的生成式对话才更具有商业应用的前景。目前,黄民烈博士及团队在商业化应用上也做了不少尝试,比如和一家机器人公司合作研发了一款点餐机器人。从 Demo 上看,这款机器人能够清楚地理解各种上下文的指代,如「这道菜」、「刚刚那个鱼」等语句,且不会被临时的其它提问所打断。

「家用聊天机器人的语境要宽泛得多,因为我们并不知道对方会和你聊些什么,因此目前开放式的聊天系统距离真正的实用还有一定距离。」尽管如此,黄民烈博士表示,语音交互作为一个新的入口,作为人机交流的一种范式,开放式聊天对于情感陪护而言依然是非常重要的互动环节。「从产品的角度来讲,一方面它确实可以提供更好的用户体验,另一方面如果积累大量的实际对话数据,也可以进一步促进技术的发展。」

有着深厚研究成果的黄民烈博士,实际上在自然语言处理的研究经历了跨专业、跨学科的历程,「半路出家」的他原本就读的是清华大学工程物理专业,关于数学、计算机的课程给他转向自然语言处理研究打下了扎实的基础,并凭借出色的研究成果获得了 2006 年清华大学优秀博士论文,被授予「清华大学优秀博士毕业生」,随即留校任教。

回顾就学经历,黄民烈博士告诉 AI 科技评论,他非常看重学生的基础课程和知识是否扎实,也强调了打好基础知识的重要性。他认为,「语言理解的难点在于,首先它经过了高度的抽象,其次需要综合利用的信息非常多,要理解一句话需要充足的背景知识才能明白真正的含义。」而于他而言,自然语言处理最大的魅力就在于所具备的挑战性,作为人类日常使用的交流方式,语言理解的很多问题依然非常困难。而目前,黄民烈博士及其团队也正试图从理解的角度出发,进行更多复杂问题回答、人机对话、情感理解方面的相关研究。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-09-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习AI算法工程

为什么“高大上”的算法工程师变成了数据民工?

算法与算法工程师 在知乎里回答“做算法工程师是一种怎样的体验?”的答案(其中的思想并非原创,而是山寨自新加坡某大学一门Quantitative Investme...

98990
来自专栏PPV课数据科学社区

【译文】传播学中的大数据:发展与不足

? 作者:Malcolm R. Parks 当我决定为《传播学日报》写一个特别的关于大数据的主题时,我心中有两个目标。一个是为大众传播,图像技术,政治交流,健...

38080
来自专栏CDA数据分析师

【干货】如何系统地学习数据挖掘?

问题:如何系统地学习数据挖掘? 虽然是本科毕业,但是在看数据挖掘方面的算法理论时经常感觉一些公式的推导过程如天书一般,例如看svm的数学证明,EM算法..,感觉...

28880
来自专栏专知

【重磅】美国人工智能前沿峰会日程预告:吴恩达、田渊栋、任小枫等25位AI专家分享最新成果

【导读】人工智能前沿峰会( AI Frontiers)将在美国圣塔克拉拉会议中心11月3号到5号举行。这次大会邀请来自谷歌、Facebook、微软和亚马逊等人工...

44640
来自专栏新智元

人工智能和控制论的未来:你会选择“升级“,将自己变成半机械人吗?

【新智元导读】通过植入芯片将人类大脑与计算机网络连接起来,可以为受植入个体带来机器智能、通讯以及感知能力的许多优势。这在提出很多技术难题的同时也引发了许多社会和...

30060
来自专栏AI星球

如何快速入门成为厉害的数据分析师,一份完整书单

“一切都被记录,一切都被分析”就了一个信息爆炸的时代,人类过去两年产生的数据占据了整个人类文明中所产生的数据的90%。而在这些无限丰富的数据中,蕴藏着巨大的价值...

40040
来自专栏华章科技

技术红颜告诉你大数据分析的真谛:别只盯着我的钱!

大数据时代已经到来,每个企业都开始忙着数据挖掘,忙着数据分析,忙着构建各种算法模型。但为什么你无法引发“技术红颜”式的蝴蝶效应?为什么你眼中对用户的“精准推荐”...

10220
来自专栏IT派

汤晓鸥教授:人工智能让天下没有难吹的牛!

10月12日,中国科学院深圳先进技术研究院副院长、香港中文大学教授汤晓鸥教授表示,阿里讲“让天下没有难做的生意”,做人工智能是讲“让天下没有难吹的牛”。 ? ...

540120
来自专栏量子位

姚期智院士亲自讲授,一文读懂量子计算

但如果你对量子计算深怀兴趣,或者对量子计算的前世今生、未来前景等充满好奇,这可能是最深入浅出的授受文章。

12820
来自专栏AI科技大本营的专栏

AI行业实践精选:机器学习在Google的昨天,今天与明天

【AI100 导读】你知道吗?早在十多年前,Google 就已经在内部教自己的工程师机器学习的相关知识了。本篇文章将告诉你 Google 是如何使用机器学习来不...

369120

扫码关注云+社区

领取腾讯云代金券