Geoffrey Hinton | 深度学习之父的神经网络第三课！

自 2012 年开课，NNML 就一跃成为深度学习开发者的殿堂级慕课。时隔五年，仍然是内容最“干”、最值得学习的深度学习课程。

如果说吴恩达的《Machine Learning》是最佳入门课程，描述 NNML 则只需两个字： “必修”——对于有志于真正掌握深度学习的人而言。

它很难，但也因此没有做任何“dumb down”——为照顾小白而牺牲“厚度”，把原本并不单纯的原理硬以简单的类比表述出来，是几乎所有深度学习课程不得不做的妥协。

但这门课没有。

Lecure 3

线性/逻辑神经网络和反向传播

内容目录

Lecure 3 3.1 线性神经元的权值收敛 上面几节课详细讲解了感知器，这次介绍线性神经元，跟感知器思想类似，但又不同：线性神经元训练时会趋近于目标值。接下来Hinton会用猜测餐馆菜价的例子，解释权重收敛的过程。 3.2 线性神经元误差曲面分析 权重更新离不开误差计算，这节课着重分析下线性神经元的误差曲面，以及怎么用梯度下降算法和学习率寻找权值的收敛方向 3.3 逻辑神经元的学习规则 线性神经元简单但能力有限，实际中用的多是非线性神经元，比如logit神经元，也称sigmoid函数，具体有哪些神奇之处？ 3.4 反向传播算法解析（一） 多层非线性神经网络功能强大，但是由于结构复杂，难以训练。幸运的是，鼎鼎大名的BP（反向传播）算法解决了训练难题，直接掀起了AI的第二次热潮。 3.5 反向传播算法解析（二） 上次讲了BP算法的基本原理，误差反向传播，动态更新权值，但是仍然有些疑点：比如，以什么样的频率更新？怎么防止过拟合？