深度机器学习模型为社么要这么深,先看看这3个问题

第一个问题:我们今天用到的深度学习模型有多深?

举例回答这个问题比较容易:2015年微软研究院在ImageNet竞赛夺冠的模型中使用了152层网络。现在有的网络甚至达到了上千层,包含几十亿甚至上百亿个参数,是非常庞大的模型。

第二个问题:为什么要做到这么深呢?

其实在机器学习理论里面,我们很早就知道,大致来说,如果你能够提升一个模型的复杂度,那么就可以提升其学习能力。比如说对神经网络这样的模型,我们怎么样提升它的复杂度呢?很明显有两个办法个办法,是把网络加宽;另外一个办法,是把它加深。但是如果从提升复杂度的角度来说,加深会更有用。因为加宽的话其实是增加了基函数的个数;加深的话,不只增加了函数个数,还增加了函数嵌套的层数,从泛函表达上它的能力会更好。所以“加深”对增强模型的复杂度和学习能力更有用。

第三个问题:既然你们早就知道“加深”能够提升学习能力,为什么不早一点去做?

这里很重要的一点是,提升模型的学习能力未必一定是好事!机器学习的目的,是希望从训练样本中学习出能用于未来新数据的“一般规律”;但有时会把训练样本的一些自身“特性”学出来,误以为是一般规律,这就会出错,这种现象称为“过拟合”(overfitting)。过拟合是怎么发生的呢?理论告诉我们,主要是因为模型过于复杂。这就好比我们在解决一个问题的时候,把这个问题想得过于复杂了,反倒会犯错误,这就是过拟合。所以以往大家都不希望用太复杂的模型。机器学习领域设计了很多技术来缓解过拟合,例如决策树剪枝、神经网络提早停止、支持向量机正则化等等。但实际上最简单有效的是什么?就是使用更多的数据。比方说你给我1000个数据,我可能学出来的是特性,不是一般规律;但是从1000万个数据里面学出来的,很可能就是一般规律了。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181209A0HSB700?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券