Transformer模型解码器的输入,在进行神经网络训练时,为了保证神经网络不会提前看到未来信息,其模型提出了序列mask的概念
在机器翻译实例上,我们在训练神经网络时,其输入模型的输入是一个单词,一个单词输入给神经网络的,比如我们要输入 人工智能四个单词,那第一次输入神经网络的是人,然后神经网络预测出工,然后把工传递给输入,第二次输入人工,神经网络预测出智,然后同样的道理,神经网络输入人工智,然后神经网络预测出能,这样,人工智能就被预测出来了
以上的操作可以查看动画教程,轻松了解其模型的实现过程#动图详解Transformer
领取专属 10元无门槛券
私享最新 技术干货