AI更懂人话：谷歌发布全新对话数据集，模仿智能助理

新智元报道

来源; google

编辑：元子

【新智元导读】谷歌发布了Coached Conversational Preference Elicitation（CCPE）和Taskmaster-1 对话数据集，在设计中独特地模仿当今基于语音的数字助理，在自动化系统的环境中保留口语对话的特征。

今天的智能助理可以完成各式任务并返回多个主题的个性化结果，例如电影列表、餐厅预订和旅行计划。

然而，尽管近年来取得了巨大进步，但尚未达到人类的理解水平。部分原因是由于缺乏高质量的训练数据，这些数据能够准确地反映人们向智能助理表达他们的需求和偏好的方式。

这是因为这些系统的局限性误解了我们说的话，和我们希望被理解之间的关系，我们只好迁就智能助理，来说它们能够理解的词语。也就是说，今天我们看到的智能助理对对话的理解，远没有达到人类的复杂度水平。

为解决这个问题，谷歌发布了Coached Conversational Preference Elicitation（CCPE）和Taskmaster-1对话框数据集。

这两个系列都使用了一个绿野仙踪平台，该平台将两个参与口语对话的人配对，就像那些想要拥有真正有效的智能助理的人一样。

对于这两个数据集，内部的绿野仙踪设计旨在独特地模仿当今基于语音的智能助理，在自动化系统的环境中保留口语对话的特征。

由于人类“助手”能够准确地理解用户所要求的内容，因此我们能够捕捉用户如何将自己真实地表达给“完美”的智能助理，以便我们可以继续改进这样的系统。

CCPE数据集的全部细节在谷歌发表的研究论文中有所描述，该论文将在2019年的话语和对话特别兴趣小组年会上发布，而Taskmaster-1数据集论文将在2019年大会自然语言处理中的经验方法研究出现。

偏好启发

在面向电影的CCPE数据集中，冒充用户的个人对着麦克风讲话，并且音频直接播放给冒充智能助理的人。

“助手”输出他们的响应，然后通过文本到语音向用户播放。这些双人对话自然包括在使用合成对话难以复制的双方之间自发发生的不流畅和错误。这创建了一系列关于人们电影偏好的自然而有条理的对话。

在对这个数据集的见解中，谷歌发现人们描述他们的偏好的方式非常丰富。该数据集是第一个大规模表征该丰富度的数据集。

谷歌还发现，偏好并不总是与智能助理的方式相匹配，或者与推荐网站的方式相匹配，也就是选项的特征。

换句话说，你最喜欢的电影网站或服务上的过滤器可能与你在寻求个人推荐时描述各种电影时使用的语言不匹配。

面向任务的对话框

Taskmaster-1数据集利用上述方法和单人书面技术来增加语料库大小和说话者多样性，使用了大约7700写入“自我对话”条目和约5500双人口语对话。

对于书面对话，谷歌让人们根据每个任务概述的场景自己创建完整的对话，从而扮演用户和助手的角色。

因此，虽然口语对话更接近地反映了会话语言，但书面对话既适当丰富又复杂，但更便宜，更容易收集。

该数据集基于六个任务之一：订购披萨，创建汽车维修预约，设置租车，订购电影票，订购咖啡饮料和预订餐厅。

此数据集还使用简单的注释模式，为数据提供足够的基础，同时使工作人员可以轻松地将标签始终应用于对话框。

与传统的，详细的策略相比，谷歌只关注每种类型的会话的API参数，而不仅仅是执行事务所需的变量。

例如，在关于安排乘坐共享的对话框中，谷歌将“到”和“从”位置标记为汽车类型（经济，豪华，游泳池等）。

对于电影票，谷歌标记电影名称，剧院，时间，票数，有时标记屏幕类型（例如3D或标准）。语料库版本中包含完整的标签列表。

谷歌希望这些数据集对于研究界在对话系统和会话推荐中的实验和分析都是有用的。