Why is Deep Learning taking off?

为什么深度学习能够如此有效？我们在水平轴上画一个形状，在此绘制出所有任务的数据量，而在垂直轴上，画出机器学习算法的性能。比如说垃圾邮件过滤或者广告点击预测准确率，或者是神经网络在自动驾驶汽车时判断位置的准确性，根据图像可以发现，如果你把一个传统机器学习算法的性能画出来，可能会得到一个弯曲的线，就像图中这样，它的性能一开始在增加更多数据时会上升，但是一段变化后它的性能就会达到瓶颈。过去十年的社会里，我们遇到的很多问题只有相对较少的数据量，因此这种传统机器学习算法效果还不错

随着数字化社会的来临，现在的数据量都非常巨大，仅仅在过去的20年里对于很多应用，我们便收集到了大量的数据。神经网络展现出的是，如果你训练一个小型的神经网络，那么这个性能可能会像下图黄色曲线表示那样；如果你训练一个稍微大一点的神经网络，比如说一个中等规模的神经网络（下图蓝色曲线），它在某些数据上面的性能也会更好一些；如果你训练一个非常大的神经网络，它就会变成下图绿色曲线那样，并且保持变得越来越好。因此可以注意到两点：如果你想要获得较高的性能体现，那么你有两个条件要完成，第一个是你需要训练一个规模足够大的神经网络，以发挥数据规模量巨大的优点，另外你需要能画到轴的这个位置$x$，所以你需要很多的数据

事实上如今在神经网络上获得更好性能的最可靠方法，往往是要么训练一个更大的神经网络，要么投入更多的数据，但这只能在一定程度上起作用，因为最终你耗尽了数据，或者最终你的网络规模太大以至于要用太久的时间去训练。为了使这个图更加从技术上讲更精确一点，$x$轴下面加上一个标签（$label$）量，使用小写的字母$m$表示训练集的规模

在这个小的训练集中，各种算法的优先级事实上定义的也不是很明确，最终的性能更多的是取决于你特征选择方面的能力以及算法处理方面的一些细节，只是在某些大数据规模非常庞大的训练集，也就是在右边这个$m$非常大时，我们才能看到由神经网络带来的优势