神经机器翻译的训练改进和解码提速
导读:当前机器翻译模型通常采用自注意力机制进行编码,训练时直接将Ground Truth词语用作上文,并行生成所有的目标词语,极大的提升了训练速度。但测试的时候却面临以下难题:
首先,模型得不到Ground Truth,从而只能用自己生成的词作为上文,使得训练和测试的分布不一致,影响了翻译质量;
其次,由于每个目标词语的生成依赖于其之前生成的词,所以目标词语只能顺序生成,不能并行,从而影响了解码速度。
本次分享将针对以上问题,介绍他们的解决方法。
具体分享内容如下:
改进训练和测试的分布不一致问...