多轮检索式对话——【CIKM 2019】IMN

《Multi-Representation Fusion Network for Multi-Turn Response Selection in Retrieval-Based Chatbots》

本文模型整体框架如下：

在这里插入图片描述

• Word Representation Layer，解决OOV问题采用的3种向量：
  • 预训练词向量
  • 训练集词向量
  • 基于CNN的字向量
• Sentence Encoding Layer 受ELMo网络的影响，作者使用了多层BiLSTM表示多个utterance，作者将这个网络模块命名为attentive hierarchical recurrent encoder（AHRE）。将每一层BiLSTM隐含状态根据一定权重累加：

在这里插入图片描述

• Matching Layer
  • 将context中的n个utterance各自的表征进行concatenation：

  

  在这里插入图片描述

  • 计算每一个utterance与候选response的匹配度：

  

  在这里插入图片描述

  • 利用匹配度信息进行utterance与response的交互并各自重构对方的表征，从而融合相互之间的匹配信息：

  

  在这里插入图片描述

  

  在这里插入图片描述

  • 将匹配信息和交互信息进行融合：

  

  在这里插入图片描述

  

  在这里插入图片描述

  • 将综合信息拆分成各个句子的粒度：

  

  在这里插入图片描述

• Aggregation Layer
  • 将匹配之后的信息通过BiLSTM进一步捕捉词粒度的时序关系：

  

  在这里插入图片描述

  • 做pooling，取隐状态各位的max 拼接上 最后一个隐状态：

  

  在这里插入图片描述

  • 通过BiLSTM进一步捕捉utterance粒度的时序关系：

  

  在这里插入图片描述

  • 再做pooling：

  

  在这里插入图片描述

  • 拼接 c和r，最后用MLP进行分类：

  

  在这里插入图片描述