5分钟爱上深度学习

上周六，北大肖教授完美讲授了深度学习，如果说第一次授课是带球突破过人，这次则是把球踢入大门，深入浅出，让我们感受到了深度学习的美妙之处，有多精彩，待我细细道来。

一、学习学习再学习，有趣有料有深度

充满智慧的人类教给了计算机学习的方法，计算机使用此方法进行学习，从勉强能用，到超越常人，最后超越专家，君不见，语音图像识别与自动翻译非常好用，阿尔法狗轻松击败围棋顶级专家，这背后都有深度学习的支撑。

简单介绍一下，深度学习就是通过隐藏层，让计算机通过较简单的概念构建复杂的概念，大家可以通过下图1感受一下深度学习的分层，示例只是为了便于理解，实际上每个隐藏层的抽象对人来说是黑盒子，在深度学习的过程中，每一层的模型也是在动态优化的。

图1

中间增加隐藏层的好处，可以通过图2体会一下，在没有做坐标系转换前，不能用一条直线对图中的两类数据进行分类，但转换为极坐标后，就可以很简单地用直线对两种数据进行分类，这种转换就是建立了一个隐藏层。

人在思考的时候，很多时候也是凭着直觉，潜意识有大量的计算，是我们感知不到的，这就类似深度学习中的隐藏层，人类本身学习系统的有效性是在生物进化中不断提升的，而深度学习则是在不断地小步试错中不断优化的，关于小步试错，可参见我上一篇文章《从机器学习领悟到的三点人生智慧》。

图2

二、局部最优就是全局最优，一切都是最好的安排

深度学习如此美妙，为何没有早日遇见她，这就要八一八深度学习的历史，一个简单的后向传播（BP）算法就让深度学习发展停滞了近二十年，刚才介绍过，机器学习要小步试错，但试错不能乱来，以下围棋为例，如果你用穷举法，围棋的走法几乎和宇宙的原子数量一样多，所以试错是要有方向的，要沿着边际效用最佳的方向走，专业术语叫梯度下降，通过求导的方式来实现，没有隐藏层时，求导很好计算，增加了隐藏层后，求导如何向后传递就成了难题，图3是一种解决方案，也称为深度学习著名的后向传播算法，是深度学习之父HINTON发现的，现在你看它很简单，可当时能想到它也是很牛逼的，就像爱因斯坦的相对论和牛顿的三定律，现在看起来都是这么简单和显而易见，但你不能否认它的伟大。

图3

困扰深度学习的另一个就是局部最优问题，如图4，你想找到离理想目标差距最小的右侧蓝色的最低点，但有时就会卡在左侧极小点。有时，你想想人生又何尝不是如此，你在你身边不断地找最佳工作，最佳伴侣，但真的是全局最佳的吗？ 我们发明了很多美丽的语句来赞美爱情：遇见你是这一辈子的惊喜；如果可以和你在一起，我宁愿让天上所有的星星都陨落，因为你眼睛，是我生命里最亮的光芒。然而，真相是什么？

真相是，你永远也不知到你找到的是不是全局最优，你也无法推导局部最优与全局最优对比差距有多大。所幸，随着数据量的增大，局部最优已经不是问题，可以取得很好的效果，人们猜可能有如下原因，维度多了后，局部最优和全局最优的差异没那么大了，每次训练抽样不同的样本数据，卡在某个比较浅的局部最优点中很容易被其他的样本拉出来了，等等，技术细节不在此赘述。我们要相信一切都是最好的安排。

图4

深度学习等待了五十年，终于在2012年开始爆发，2016年阿尔法狗战胜李世石震惊世界，珍惜这段与深度学习的缘分，珍惜这次北大在职研究生最后一届的学习机会，学习就是对学习最好的奖励，，没有人能阻止我学习深度学习的脚步。