多轮检索式对话——【ACL 2018】DAM

《Multi-Turn Response Selection for Chatbots with Deep Attention Matching Network》

文本对于context和response语义上的联系更进一步，将 attention 应用于多轮对话，打破之前的 RNN 和 CNN 结构，在多轮上速度快，达到了目前最好效果。其次，本文使用 self-attention 和 cross-attention 来提取 response 和 context 的特征:

在这里插入图片描述

• Representation 主要用到：self-attention 和 cross-attention
  • self-attention：

  

  在这里插入图片描述

  • cross-attention：

  

  在这里插入图片描述

• Utterance-Response Matching

在这里插入图片描述

在这里插入图片描述

• Aggregation

在这里插入图片描述

有n句utterance，Q就有有n个切片。对应n个utterance-response对的匹配矩阵, 每一片的尺寸都是(n_u_i, n_r)对应匹配矩阵中每个矩阵的尺寸 最大池的3D卷积的操作是典型的2D卷积的扩展，如图其过滤器和步幅是3D立方体，对于每个切片再进行匹配得分的计算：

在这里插入图片描述

释然函数：

在这里插入图片描述