自 2012 年开课,NNML 就一跃成为深度学习开发者的殿堂级慕课。时隔五年,仍然是内容最“干”、最值得学习的深度学习课程。
如果说吴恩达的《Machine Learning》是最佳入门课程,描述 NNML 则只需两个字: “必修”——对于有志于真正掌握深度学习的人而言。
它很难,但也因此没有做任何“dumb down”——为照顾小白而牺牲“厚度”,把原本并不单纯的原理硬以简单的类比表述出来,是几乎所有深度学习课程不得不做的妥协。
但这门课没有。
首先讲解了何谓 hessian 矩阵,强调了调整到 optimal point 方法的重要性。接下来 Hinton 讲解了一个 RNN 运用 HF 方法在 language model 上的一个例子,并介绍了 multiplicative connection 和 Echo State Network(ESN)。