首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Transformer模型的右移输入

Transformer模型解码器的输入,在进行神经网络训练时,为了保证神经网络不会提前看到未来信息,其模型提出了序列mask的概念

在机器翻译实例上,我们在训练神经网络时,其输入模型的输入是一个单词,一个单词输入给神经网络的,比如我们要输入 人工智能四个单词,那第一次输入神经网络的是人,然后神经网络预测出工,然后把工传递给输入,第二次输入人工,神经网络预测出智,然后同样的道理,神经网络输入人工智,然后神经网络预测出能,这样,人工智能就被预测出来了

以上的操作可以查看动画教程,轻松了解其模型的实现过程#动图详解Transformer

  • 发表于:
  • 原文链接https://page.om.qq.com/page/ORFFwbTwh7dZosF4mL8dqzIg0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券