《神经网络》中文字幕版 | （3. 线性/逻辑神经网络和反向传播）

《Neutral Network for Machine Learning》（机器学习中的神经网络）系列课程，是深度学习大神 Geoffrey Hinton 毕生所学之作，也是他目前唯一一门的公开课。

Hinton 何许人？之前介绍过，他是深度学习的开山祖师，三大巨头（另2位巨头是 Yann LeCun 和 Yoshua Bengio，其中 Yann LeCun 是Facebook的人工智能研究总监，CNN（卷积神经网络）之父，同时也是 Hinton 的学生！）。

金庸小说里常见的桥段是，主角偶然的机会，得到了某位武学大师的秘籍，功力大（kai）增（gua）而成就伟业，张无忌的九阳神功、令狐冲的独孤九剑、虚竹的天山六阳掌、郭靖的降龙十八掌等等......

也许你很高傲，但面对这位祖师的毕生所学之作，我也要恭喜点进来的你，因为这份视频教程推出了中文字幕（翻译的是雷锋网旗下的公众号AI研习社，公众号：okweiwu，二维码见文末），更重要的是，这份中文字幕版，得到了 Hinton 神的亲自授权！

往期课程：

• 1.1 为什么要学习机器学习 & 1.2 神经网络机制中的脑科学原理
• 1.3 简单的神经元模型 & 1.4 ANN的MNIST学习范例
• 1.5 这是一份开光的课程
• 2.1 RNN & 2.2 感知机
• 2.3 感知器的几何空间 & 2.4 感知器的原理透析
• 2.5 感知器的局限性

本文推送的是《Neutral Network for Machine Learning》这个系列的：

• 3 线性/逻辑神经网络和反向传播

它包括如下内容：

3.1 线性神经元的权值收敛 上面几节课详细讲解了感知器，这次介绍线性神经元，跟感知器思想类似，但又不同：线性神经元训练时会趋近于目标值。接下来Hinton会用猜测餐馆菜价的例子，解释权重收敛的过程。 3.2 线性神经元误差曲面分析 权重更新离不开误差计算，这节课着重分析下线性神经元的误差曲面，以及怎么用梯度下降算法和学习率寻找权值的收敛方向 3.3 逻辑神经元的学习规则 线性神经元简单但能力有限，实际中用的多是非线性神经元，比如logit神经元，也称sigmoid函数，具体有哪些神奇之处？ 3.4 反向传播算法解析（一） 多层非线性神经网络功能强大，但是由于结构复杂，难以训练。幸运的是，鼎鼎大名的BP（反向传播）算法解决了训练难题，直接掀起了AI的第二次热潮。 3.5 反向传播算法解析（二） 上次讲了BP算法的基本原理，误差反向传播，动态更新权值，但是仍然有些疑点：比如，以什么样的频率更新？怎么防止过拟合？

- END -