问尝试实现“智能撰写”功能

EN

在同一个博客里，

在这种混合方法中，我们通过平均每个字段中的嵌入词来编码主题和先前的电子邮件。然后，我们加入这些平均嵌入，并在每一个解码步骤将它们提供给目标序列RNN-LM。

他们的混合方法的BoW部分是通过平均主题中的嵌入词和之前的电子邮件来获得电子邮件会话的一般上下文。在RNN的每一步中传递一般上下文的向量化表示，这将考虑到语序，有助于获得更适合会话主题的预测。

注意，在每一步中，RNN都得到3种类型的输入-

1. 嵌入前一个单词-用于即时上下文。
2. 状态向量-用于本地化上下文
3. 主题和以前的电子邮件平均嵌入-用于更广泛的会话级别的上下文

希望现在更清楚的是，该模型结合了RNN和BoW部分的使用顺序，将输出限定为会话的主题。

对于下一个阶段的预测，使用RNNs来根据您自己的数据来训练一个模型将比使用预先训练的模型更有益处。下一个词的预测反之亦然。这可能会有帮助：这里https://towardsdatascience.com/gmail-style-smart-compose-using-char-n-gram-language-models-a73c09550447](https://towardsdatascience.com/gmail-style-smart-compose-using-char-n-gram-language-models-a73c09550447])

若要了解用于培训的X和Y是什么，请阅读关于教师强制技术：教师强制技术https://machinelearningmastery.com/teacher-forcing-for-recurrent-neural-networks/](https://machinelearningmastery.com/teacher-forcing-for-recurrent-neural-networks/])

我还建议您使用多个模型来获得所需的结果，包括下一个单词预测模型、下一个短语预测模型和可能的单词/短语完成模型。这些模型的结合可以取得很好的效果。

对于下一个词的预测，有各种各样的模型，具有较高的精度(低的困惑性)，可以在自然形式中使用。同时参考拥抱面变形器https://github.com/huggingface/transformers](https://github.com/huggingface/transformers])，，可能会有很大的帮助。