模型优化：如何加快学习！深度学习之父的神经网络第六课（中文字幕）

自 2012 年开课，NNML 就一跃成为深度学习开发者的殿堂级慕课。时隔五年，仍然是内容最“干”、最值得学习的深度学习课程。

如果说吴恩达的《Machine Learning》是最佳入门课程，描述 NNML 则只需两个字： “必修”——对于有志于真正掌握深度学习的人而言。

它很难，但也因此没有做任何“dumb down”——为照顾小白而牺牲“厚度”，把原本并不单纯的原理硬以简单的类比表述出来，是几乎所有深度学习课程不得不做的妥协。

但这门课没有。

Lecure 6

模型优化：如何加快学习！

内容简介

第六节介绍了随机梯度下降法（SGD），并且介绍了加快学习速度的动量方法（the momentum method）、针对网络中每一个连接的自适应学习步长（adaptive learning rates for each connection）和RMSProp算法。这几个算法的难度很大，需要反复推理思考，并在实践中摸索以加深理解。