[DeeplearningAI笔记]序列模型1.3-1.4循环神经网络原理与反向传播公式

5.1 循环序列模型

“吴恩达老师课程原地址[1]

1.3 循环神经网络模型

为什么不使用标准的神经网络

• 假如将九个单词组成的序列作为输入，通过普通的神经网网络输出输出序列，
  • 例如普通神经网络可以学习到 Harry 这个单词出现在

  x^{<1>}

  的位置，但是如果 Harry 这个单词出现在

  x^{<4>}

  的位置，普通的神经网络不能识别的出来。

  • 也许每个语句都有最大长度，能够通过 Padding 的方式填充数据，但总体来说不是一个好的表达方式。
  1. 在不同的例子中输入数据和输出数据具有不同的长度，即每个数据不会有一样的长度
  2. 不共享从文本的不同位置上学到的特征
  3. 输入量巨大，如果词典中最大的单词量是 1W 的话，则单词的 one-hot 表示向量将是一个 1W 维的数据。而一个训练语句中的单词数为

  T_{x}

  ,则输入数据的维度为

  T_{x} * 1W

  此数据维度是十分巨大的。

  

循环神经网络模型

简化循环神经网络数学公式

• 将 W_{aa}和W_{ax}合并成一个大的矩阵W_{a}，将a^{}和X^{}合并成[a^{},X^{}] 具体如下图所示:

1.4 通过时间的反向传播 Backpropagation through time

参考资料

[1]

吴恩达老师课程原地址: https://mooc.study.163.com/smartSpec/detail/1001319001.ht