MILABOT:基于深度强化学习打造聊天机器人

下面,我们介绍论文的主要思想和创新之处。

系统概览

早期的对话系统主要基于由专家人工制定的状态和规则。而现代对话系统通常使用组合学习的架构,将手工定制状态和规则组合到统计机器学习算法中。由于人类语言的复杂性,在构建在开放域对话机器人时,最大的挑战在于无法枚举所有可能的状态。

MILABOT完全采用基于统计机器学习的方法,在处理和生成自然人类对话中做了尽可能少的假设。模型中每个组件的设计使用机器学习方法优化,通过强化学习对各个组件的输出进行优化。其灵感来自于组合机器学习系统,即由多个独立的统计模型组成更好的学习系统。例如,2009年Netflix大奖赛胜出系统使用了数百个模型的组合,很好地预测了用户电影倾向。另一个例子是IBM的Watson在2011年赢得了quiz游戏Jeopardy!。这些实例说明了组合学习的优越之处。

在MILABOT中,Dialogue Manger(DM)组合了一系列的响应模型,由DM担当强化学习中的智能体,其控制结构如图1所示。DM将所有模型的响应(Response)以一定的策略组合在一起。在MILABOT的设计中,响应模型使用了多种策略,生成各种话题的响应,本文将详细介绍各种策略模型在设计上的考虑。

图1 DM的控制结构

如图1所示,DM给出响应的过程分为三个步骤。首先,DM调用各种响应模型,生成一组候选响应。如果候选集中具有优先响应,那么返回该优先响应。如果候选集中没有优先响应,那么系统使用策略模型给出规则,从候选响应集中选取一个响应。一旦置信值低于给定的阈值,那么系统会请求用户重复最后一个表达。

下面,我们分别介绍MILABOT所使用的各种响应模型,以及在生成响应的策略模型设计考虑。

响应模型

每个响应模型输入对话,并生成自然语言形式的响应。此外,响应模型还会输出一到多个标量,用于标识给出响应的置信度。MILABOT组合使用了22种响应模型,这些响应模型使用了近十年来NLP领域一些突出的研究成果。模型可分为:

  • 基于模板的模型,包括Alicebot、Elizabot和Storybot。
  • 基于知识库的问答系统,包括Evibot、BoWMovies。
  • 基于检索的神经网络,包括VHRED models、SkipThought Vector Models、Dual Encoder Models、Bag-of-words Retrieval Models。
  • 基于检索的逻辑回归,包括BoWEscapePlan等。
  • 基于搜索引擎的神经网络,包括LSTMClassifierMSMarco等。
  • 基于生成的神经网络,包括GRUQuestionGenerator等。

论文所使用的模型介绍及训练情况,可参见详细报告。

模型选取策略

在多种响应模型生成候选响应集后,DM使用策略模型确定选择策略,从候选集中确定将返回给用户的响应。DM必须应能选出提升用户整体满意度的响应,这需要在响应的实时性和用户整体满意度两者间作权衡。此外,响应选取中也应该考虑在用户的即刻满意度和整体满意度间作权衡。论文使用了Richard Sutton 和Andrew Barto提出的经典强化学习框架,将该问题看成是一种序贯决策问题(sequential decision making),形式化定义为:给定时序\(t=1,...,T\),在t时刻的对话为\(h_t\),智能体需要从一组K个响应\(a_t^1,...,a_t^K\)中做出选取,并得到奖励\(r_t\)。当系统转移到下一个状态\(h_{t+1}\)时,响应为\(a_{t+1}^1,...,a_{t+1}^K\),选取响应后得到奖励为\(r_{t+1}\)。强化学习的最终目标是最小化\(R = \sum_{t=1}^{T}\gamma ^tr^t\)。其中\(r\in (0,1]\)是折现系数(discount factor)。构建强化学习模型中考虑的因素包括:

  • 行为价值函数的参数化:行为价值函数(action-value function)由参数\(\theta\)定义,\(Q_\theta (h_t,a_t^k)\in \mathbb{R},k = 1,...,K\)。学习的期望返回值实现参数最大化\(\pi _\theta (h_t) = \underset{k}{arg max}Q_\theta (h_t,a_t^k)\)。
  • 随机策略的参数化:假定策略是随机的,那么随机分布服从动作的一个参数化分布

。其中,\(f_\theta (h_t,a_t^k) \)是以\(\theta \)为参数的打分函数(scoring function)。可使用贪心策略\(\pi _\theta ^{greedy}(h_t) = \underset{k}{arg max}\pi _\theta (a_t^k|h_t)\),选取具有最大概率的动作。

图2 模型选择策略评分模型的计算图。计算基于行为价值函数和随机策略参数化。

论文将打分函数和行为价值函数参数化,构建了结构如图2所示的五层的神经网络。神经网络的第一层是输入层,该层使用的特征抽取自对话历史和生成响应,用于表示对话历史和候选响应。特征考虑了基于词嵌入、对话、POS标签、Unigram词重叠、Bigrapm词重叠和一些特定于模型特征的组合,合计1458个(可参见详细报告)。第二层包含了500个隐含单元,通过对输入层特征应用线性转换及ReLU激活函数计算。第三层包含了20个隐含层,通过对前面的层应用线性转换计算得到。第四层包含了5个输出概率的单元,通过对前面的层应用线性转换并随后做softmax转换计算得到,并对应到Amazon Mechanical Turk(AMT)给出的标签。第五层是最终输出层,给出一个单标量值。该层通过对第三层和第四层中的单元做线性转换计算得到。为了学习各层的参数,论文深入研究了五种不同的机器学习方法。

  • 使用众包标签的有监督学习。该方法(称为“有监督AMT”)是打分模型学习的首个过程,所得到的模型参数可用于其它方法的启动参数。该方法在众包标签数据上使用有监督的学习,给出对行为价值函数\(Q_\theta\)的估计。训练所需的数据集由AMT采集,并使用人工给出对响应的打分(从1到5)。研究团队从真实的Alexa用户会话中采集了199,678个标签,并分为训练数据集(137,549)、开发数据集(23,298)和测试数据集(38,831)。在训练模型中,团队使用对数似然优化打分模型参数\(\hat{\theta } = \underset{\theta}{arg max}\sum_{x,y}^{ }logP_\theta (y|x)\),估计表示AMT标签的神经网络第四层。模型参数优化使用一阶SGD方法。图3给出了对于五种不同的标签类(即对响应打分从最好到最差),使用几种不同策略时的性能对比。从图中结果可见,有监督AMT取得了比其它对比方法(随机、Alicebit、Evibot+Alicebot)更好的性能。

图3 使用不同的策略时,响应AMT标签类的频率情况。

图4 抽象话语MDP的有向概率图模型。

抽象话语MDP的有向概率图模型如图4所示。对于某一时刻t,\(z_k\)是表示对话抽象状态的离散变量,\(h_t\)表示对话历史,\(a_t\)表示系统所采取的动作(即选定的响应),\(y_t\)表示抽样AMT标签,\(r_t\)表示抽样奖励。其中,\(z_t\)的状态被定义为一个离散值的三元组,包括对话行为状态(接受、拒绝、请求、提问等)、情感状态(正向、负向、中立)和表达状态(真、假)。模型的训练可以直接使用模拟数据,训练方法使用具有经验池(experience replay)的Q-learning,策略参数化为行为价值函数。各种策略在AMT上的评估情况如表1所示。

表1 策略在AMT上打分均值和标准偏差的评估情况,置信区间为90%

实验评估

团队使用A/B测试,检验DM在选取策略模型上的有效性。测试在Amazon竞赛环境中开展,当Alexa用户与系统对话时,会自动指定一个随机策略,随后记录对话内容和打分情况。A/B测试可以检验不同策略在同一系统环境下的对比情况,其中考虑了不同时间段用户的不同情况。团队的测试分三个阶段开展。

第一阶段测试了五种不同的策略生成方法,并与启发式的基线方法Evibot+Alicebot做了对比。第二个阶段测试主要针对离策略和Q-learning强化学习方法。第三阶段测试使用优化参数的模型和训练集,进一步测试了离策略和Q-learning。测试结果如表2所示。

表2 95%置信区间下的A/B测试结果。“*”标识了95%的统计显著性。

从测试结果可见,离策略和Q-learning表现出比其它策略更优的结果。从平均情况来看,Q-leaning给出的打分最好。总而言之,实验表明了组合方法的有效性。MILABOT通过将多个NLP模型给出的响应组合在一起,并使用策略模型选取打分最优的响应,并可不断改进策略学习。

结论

论文提出了一种新的大规模基于组合学习的对话系统MILABOT,并在Amazon Alexa大奖赛中进行了验证。MILABOT使用了大量的机器学习方法,包括深度学习和强化学习。其中,团队提出了一种新颖的强化学习方法。通过使用A/B测试与已有强化学习方法的对比,在真实Alexa用户数据上取得了更优的对话效果。

论文对进一步工作提出了两个方向。一个方向是实现个性化,使聊天机器人能提供更好的用户体验。实现的技术途径可能涉及对每个用户学习嵌入向量。另一个方向是基于文本的评估,以消除语音识别错误对聊天机器人的影响因素。

原文发布于微信公众号 - IT技术精选文摘(ITHK01)

原文发表时间:2018-03-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

AAAI 2018 | 阿尔伯塔大学提出新型多步强化学习方法,结合已有TD算法实现更好性能

36211
来自专栏AlgorithmDog的专栏

动态图计算:Tensorflow 第一次清晰地在设计理念上领先

北京时间 2017 年 2 月 8 号,Google 宣布在其博客上发布 TensorFlow Fold 支持动态图计算。动态图计算是 Tensor...

2467
来自专栏人工智能头条

应用深度学习时需要思考的问题

1583
来自专栏机器学习和数学

[高大上的DL]经典网络模型总结之GoogLeNet篇

勘误:开始之前说一下,昨天介绍的环境搭建的那篇,里面我忘记写cudnn的安装说明了,只贴了在哪下载,我在word版里面已经更新了,欢迎需要的童鞋下载查看。还有一...

4244
来自专栏磐创AI技术团队的专栏

一个完整的机器学习项目在Python中的演练(二)

2157
来自专栏新智元

【新式DNN】CortexNet模拟视觉系统,预测视频下一帧

【新智元导读】受到人类视觉系统的启发,普渡大学的研究人员提出了深度神经网络 CortexNet,它不仅具有自下而上的前馈连接,而且还模拟了我们视觉皮层中存在的丰...

4216
来自专栏AI研习社

一文带你读懂 OCR

OCR,或光学字符识别,是最早的计算机视觉任务之一,因为在某些方面它不需要用到深度学习。因此,早在2012年深度学习热潮之前,OCR就有了各种不同的应用,有些甚...

2262
来自专栏人工智能

从卷积神经网络的角度看世界

原文地址:https://blog.keras.io/how-convolutional-neural-networks-see-the-world.html

4036
来自专栏CVer

ECCV 2018 收录论文名单全公布

前天从朱政研究员那里得知,ECCV 2018所有录用论文已经开放并支持PDF下载了。因为事情较多,就没来得及推送到CVer公众号,而是在Amusi的知乎专栏上推...

2583
来自专栏杨熹的专栏

强化学习 8: approximate reinforcement learning

前面说过,对于骑自行车这种可能只有十个 state,四个 aciton 的小问题上面,交叉熵可以解决,但如果在自动驾驶,或者打游戏上面,它却不行,因为这时我们没...

1131

扫码关注云+社区

领取腾讯云代金券