学习
实践
活动
工具
TVP
写文章

3 张PPT理解如何训练 RNN

题图:tirza-van-dijk-563345-unsplash

昨天推送了 3 种重要的语言模型,感兴趣读者可参考:从 n-gram 到 RNN 做的那些优化改进。RNN 是一种重要的语言模型 ( language model),它的输入不受输入单词个数限制,可以是任意长度,隐含层节点间的权重 w 都相等。RNN作为一种神经网络模型,它的训练技术依然沿用反向传播方法。下面,通过斯坦福的PPT,详细阐述整个训练求解权重参数 w 的过程。

损失函数选用交叉熵,机器学习的很多算法模型也都会选用交叉熵。显然,损失函数大小不想受训练语料库的单词数影响,因此计算所有训练单词的交叉熵再求平均即可。

t 时步,yj为正确单词,yj^为预测单词,V为单词总数, T为训练样本总数,如下图所示,输入单词 the 正确的输出应该为 students,对应 J1 的损失。

依次求出 y2, ..., yn ,得到所有的损失平均值。

通过反向传播调整参数取值,如下所示,这是一种时间的反向传播算法,t 时步的损失梯度为前 t 个时步的损失梯度和。

到此,调整权重的公式已经得出,RNN模型的理论部分总结到这里。

接下来,问大家一个问题,LM为什么要单独作为一堂课来讲解呢?LM 是其他 NLP系统的子集。语音识别,机器翻译,总结系统都用到,具体如下:

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180501G0C27E00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注腾讯云开发者

领取腾讯云代金券