ACL | 自然语言处理（NLP）之多轮对话建模优化（Utterance ReWriter）

引言

最近2019年新鲜的ACL论文出来了，发现了一篇关于多轮对话模型的文章还不错，其题目为：Improving Multi-turn Dialogue Modelling with Utterance ReWriter。文章单位：微信人工智能模式识别中心（腾讯）。文章的背景为：当前我们在日常多轮交流的时候，经常会出现前后相互参照和信息遗漏的问题，这对于人来说能够正确的理解出说话人的意图，但是对于机器来说，这是比较困难的。为此该篇文章提出了：为提高多轮会话模型水平，将重写人类的话语作为其一个预处理过程。

声明：由于微信平台不支持Markdown编辑模式，公式支持不够好，所有作者在编辑的时候实在是不能把公式加到段落中，只能截图给大家了，对此感到非常抱歉。

本文概要

1

文章概述

2

数据集介绍

3

模型介绍

4

实验结果

5

参考文献

正文开始

1

文章概述

当前对话系统中，对于单轮对话的模型建模来说已经相对比较成熟一点，但是对于多轮对话来说仍然具有比较大的挑战。其最大的挑战就是在多轮对话中存在共指关系和信息缺失。如下图所示：

    为了解决多轮对话中的共指关系和信息缺失的问题，本文的思路是训练一个言语重写器将多轮对话转换成单轮对话，其目的就和上图所示，将Utterance3改成Utterrance3`。由于把信息补全了，所以此时的多轮就相当于单轮对话了，将其输入到对话系统中，就可以按照单轮对话来处理了。为了训练言语重写器，文章创建了包含2万个多轮对话数据集，并且每句话都是成对的存在的；提出了一种高效的基于转换的话语改写器，其性能优于其它几个比较强的基线版本；最后将话语改写器应用到现实生活中的在线聊天机器人中，得到比较显著的改进效果。

2

数据集介绍

为了获得句子改写器模型的并行训练数据，我们从几个流行的中国社交媒体平台上抓取了200k个候选的多轮会话数据，供标注者使用。敏感信息会预先过滤，以便以后处理。在开始标注之前，我们随机抽取了2000个会话数据，并分析了多轮对话中出现共引用和省略的频率。

    上表列出了统计数据。可以看出，只有不到30%的话语既没有共参也没有省略，相当多的话语既没有共参也没有省略。这进一步证实了在多轮对话中处理这些情况的重要性。

3

模型介绍

3.1 问题定义

3.2 编码器

    FNN是一个前馈神经网络，MultiHead(Q,K,V)是一个多头注意力函数，它的输入为查询矩阵Q，键矩阵K以及值矩阵V。每个自注意和前馈组件都有一个剩余连接和分层归一化步骤[2]。

3.3 解码器

 解码器也包含L层，每层由三个子层组成。第一个子层是多头self-attention:

第三个子层是位置全连通的前馈神经网络:

3.4 输出分布

4

实验结果

我们训练我们的模型在收集的数据集上执行话语重写任务。在本节中，我们将重点回答以下两个问题:(1)您所提出的模型分别能在多大程度上准确地执行共参照解析和信息补全;(2)训练有素的话语改写者在帮助离线对话系统提供更合适的回答方面有多出色。为了回答第一个问题，我们将我们的模型与几个强基线进行比较，并通过自动评估和人工判断对它们进行测试。对于第二个问题，我们整合了我们的两个在线对话系统模型，并分析了它是如何影响人机交互的。下面的部分将首先介绍比较的模型和基本设置，然后报告我们的评估结果。

    实验结果我看了一下，主要是针对论文主审的问题进行做的实验，这里我就不多说了。有兴趣的同学可以下载原文看一下。

原文地址：https://github.com/yinizhilian/ACL_Paper

5

参考文献

[1]]Nikola Mrkˇ si´c, Diarmuid ´O S´eaghdha, Tsung-Hsien Wen, Blaise Thomson, and Steve Young. 2017. Neural belief tracker: Data-driven dialogue state tracking. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1777–1788.  .