为什么深度学习神经网络在今天特别有用呢?原来有这3个原因

深度学习神经网络用的大多还是20年前的梯度下降学习算法,那么为什么这么复杂的深度学习模型在今天特别有用呢?

第一个原因,是我们有了大量的训练数据。没有大数据的话,这个东西是不会有那么多用处的。

第二个原因,这么大的模型,我们一定要有很强的计算设备才能算出来。今天我们恰恰也有了,无论是GPU还是CPU集群,还包括今天有这么多人去研究机器学习的平台,做机器学习技术的底层支撑。如果我们只做简单模型的话,可能这些计算设备和技巧上的努力就不是那么重要了。

第三个原因,就是人们尝试出了大量的“窍门”。大家如果用过深度神经网络就会知道,某个人说,我在某模型上加了一层网络,性能更好;可能另个人会告诉你,在他的任务上把这层网络减掉才更好。很多都是这样。而更关键的,什么时候有效什么地方无效,却不知道。所以正统机器学习领域来看这些东西不能称为“方法”,因为道理不清楚,只能称为“窍门”。

深度学习里有大量的“窍门”,所以目前的状况就有点像老中医一样,虽然能治病,但是什么东西是有用的、什么是无用的、什么是起负作用的都不太清楚,笼统地混到一起。在这里,理论研究远远没有跟上。因为应用尝试比较容易,现在有很多深度学习架构让大家很方便,新手学个十天半月就能上手调试不同的模型做应用了,性能提高了就能很快发表文章。但是理论研究的门槛很高,先要训练好几年才能开始做事情。这就造成很多应用方面的尝试报道说这样好、那样好,但是能做理论的人很少,来不及去研究,而且因为很少有共性的东西,不同的人哪怕用的都是卷积神经网络,其实模型完全不同,做理论的也不知道从哪里去下手才不会浪费时间。这些问题要解决,需要有更多的人沉下心来研究基础问题,基础问题弄明白了,可以更显著地促进应用。

所以深度学习的成功有三个重要条件:大数据、强力计算设备、大量工程研究人员进行尝试。这些条件在20多年前不具备,而现在就具备了。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181210A1FACT00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注腾讯云开发者

领取腾讯云代金券