损失函数选用交叉熵,机器学习的很多算法模型也都会选用交叉熵。显然,损失函数大小不想受训练语料库的单词数影响,因此计算所有训练单词的交叉熵再求平均即可。
t 时步,yj为正确单词,yj^为预测单词,V为单词总数, T为训练样本总数,如下图所示,输入单词 the 正确的输出应该为 students,对应 J1 的损失。
依次求出 y2, ..., yn ,得到所有的损失平均值。
通过反向传播调整参数取值,如下所示,这是一种时间的反向传播算法,t 时步的损失梯度为前 t 个时步的损失梯度和。
到此,调整权重的公式已经得出,RNN模型的理论部分总结到这里。
接下来,问大家一个问题,LM为什么要单独作为一堂课来讲解呢?LM 是其他 NLP系统的子集。语音识别,机器翻译,总结系统都用到,具体如下:
本文分享自 程序员郭震zhenguo 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!