RNN 面临的较大问题是无法解决长跨度依赖问题,即后面节点相对于跨度很大的前面时间节点的信息感知能力太弱。如下图中的两句话:左上角的句子中 sky 可以由较短跨度的词预测出来,而右下角句子中的 French 与较长跨度之前的 France 有关系,即长跨度依赖,比较难预测。
图片来源:https://www.jianshu.com/p/9dc9f41f0b29
长跨度依赖的根本问题在于,多阶段的反向传播后会导致梯度消失、梯度爆炸。可以使用梯度截断去解决梯度爆炸问题,但无法轻易解决梯度消失问题。
本文分享自 作者个人站点/博客 前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!