使聊天机器人的对话更有营养
本文结构：
- 模型效果
- 模型
- 模块细节
今天的论文是 《Topic Aware Neural Response Generation》
https://arxiv.org/pdf/1606.08340.pdf
这篇论文的目的是让聊天机器人的回复更有营养，例如下面这种场景，要尽量避免‘我也是’‘明白了’‘不知道’这种没有信息量的回复，而是可以给出一些建议和方案等：
模型
思路是输入句子后，先预测 topics，再根据 topics 生成回复。
文章中通过建立 topic aware sequence-to-sequence (TA-Seq2Seq) 模型来实现这个过程。
TA-Seq2Seq 建立于 sequence-to-sequence 基础上，再加上一个联合注意力机制。
关于 seq2seq 的模型细节可以看这两篇文章：
简单回顾，
1. seq2seq
是个 encoder-decoder 结构，两部分都是 RNN 模型，RNN 可以选择 LSTM 或者 GRU；
输入句子 X = (x1, x2, . . . , xT ) ，
输出句子 Y = (y1 , y2 , . . . , yT｀ )
目标是要最大化条件概率：
其中 c 为 encoder 的 RNN 模型得到的 context vector。
2. 注意力机制
简单讲，就是一般的 seq2seq 中，回复句子的所有单词都是由同样的语境生成，而加入注意力机制后，回复中的每个单词是由输入句子的不同部分生成的。
即 Y 中的每个单词 yi 由语境向量 ci 影响，其中 ci 是隐向量的加权平均:
模块细节
接下来根据前面的 TA-Seq2Seq 模型结构图看一下细节。
TA-Seq2Seq 的 encoder 和 decoder：
1. 在 encoding 中，
- message encoder 通过一个双向的 GRU 模型，将输入 X 表示成隐向量 ht。
- 再用提前训练好的 Twitter LDA 模型获得 topic words 的向量表示：
Twitter LDA 模型的参数根据 collapsed Gibbs 采样算法求得，
Twitter LDA 会给输入 X 分配主题 z，选择概率最高的前 100 个单词，并且移除 “谢谢” “你” 等普遍的词，最终得到 X 的主题词 K。
这里 K 的向量表达由每个主题词 w 的分布计算得到：
其中 Cwz 为 w 被分配到主题 z 的次数。
2. 在 decoding 中，
每个单词都通过一个联合注意力机制，由输入句子和主题共同影响生成，这样生成的句子不仅和输入有关，而且和相关主题有关。
decoding 时，每一步时隐向量 h 被转化为 ci：
主题向量 k 也被线性组合为 oi，每个 kj 对应的系数为：
其中 hT 是输入句子的最终隐藏层状态，η0 是一个多层感知器，这么做可以削弱与主题无关的词的影响，加强相关词的影响度，即 oi 与输入的内容更相关，减少了很多噪音。
然后由 ci 和 oi 联合影响着生成句子的概率，
即每个单词的生成概率定义为：
p(yi) = pV (yi) + pK (yi),
其中 V 是回复词汇表，f 是一个 GRU 模型， Z 是正规化因子，并且：
这里的 σ(·) 为 tanh，w 为单词的 one-hot 表达，其余的 W 和 b 为参数。
这个生成概率定义的作用是，
对于非主题词，pV (yi) 就和 seq2seq ＋ joint attention mechanism 类似，
但对于主题词，就有额外的一项 pK(yi) 可以增加主题词在回复中出现的概率。
这种联合影响还有一个好处，
一般的 seq2seq 生成回复中第一个词只由 c0 决定，这里是由 c0 和 o0 共同作用，使得回复的第一个词更加贴切主题，第一个词准了对后面生成词的影响也很重要。