人工智能进步来自计算力？周志华：不同意；陈怡然笑谈“分饼”

作者：陈怡然

【新智元导读】有关深度学习炼金术的争论火了。但在国内还有个更加劲爆的——针对“人工智能的进步是由计算能力提升导致的”这个说法，南大教授周志华在微信朋友圈指出，这种观点绝对错误。周志华认为，如果算法没有突破，哪怕研发出量子计算机都没用。计算所包云岗研究员则表示，算法和算力两者相辅相成，缺一不可。还是杜克大学陈怡然教授说得好，“作为一个搞计算平台的研究者，深度学习这个credit少分一些，也无所谓，毕竟饼你还是狠狠吃了一口的”。

最近关于深度学习的辩论有点多。NIPS“Test of Time Award”论文作者Ali与LeCun掀起的深度学习炼金术之争已经在世界范围内引发广泛讨论。国内，南京大学教授周志华与中科院计算所研究院包云岗，也就深度学习进步中算法和算力两者的贡献展开了深度探讨。

尤其是后者，周志华老师指出，认为人工智能进步是计算能力带来的，这个观点是绝对错误的！周老师将IBM深蓝和AlphaGo做对比，深蓝下国际象棋每秒需要评估6亿个位置，而AlphaGo面对更加复杂的围棋，每秒也仅需评估2万个位置，“从6亿到2万，这是机器学习算法带来的提高，更不用说是计算过程的目标方向已经有了根本的改变”。

对此，包云岗研究员回应，算法起到了至关重要的作者，而计算力的进步也不可或缺。包云岗用“登月”来类比两者相辅相成的关系。“AI进步中算法的作用是导航+一级火箭，计算能力的作用相当于二级+三级火箭”，对于登月缺一不可。包云岗研究员还表示，周老师提供的数据，从IBM评估6亿个位置到AlphaGo评估2万个，“20年算法效率提高了3万倍”，客观展示了算法的进步。

对此，周志华老师表示，不是说计算能力的提升不重要，而是说人工智能技术取得的进展，绝对不是单纯由于“计算能力的提升造成的”。周老师做了进一步阐释：方向性的转变，不是能靠计算能力的提升实现的。如果算法没有取得突破，仍然依靠专家规则，哪怕是研发出量子计算机来加速也没有用。

此外，关于6亿和2万的位置评估，两者取得的结果并不一致。因此，不能简单地拿6亿除以2万来计算加速比。周老师说，算法的改变可能改变求解过程的性质，今天人工智能取得的进步恰恰是通过这一点，而且这是仅通过计算能力的提升无法实现的。

下面是杜克大学陈怡然教授在12月8日写的文章，讨论了他对两个争论的看法。我们获得授权后转载如下。了解更多可以点击“阅读原文”。

陈怡然：做计算平台的学者，深度学习credit少分一些也无所谓，因为饼你已经狠狠吃了一口的

“明天飞卡塔尔，所以今晚早早回了酒店，并没有参加NIPS晚上的各种program。坐在餐厅吃饭等牛排的这点时间，敲些有关最近深度学习两个争论的字。”

第一个是NIPS 2017上获得时间检验文章大奖的Ali和LeCun关于深度学习（可解释性）理论研究的争论。起因是Ali在获奖感言上用“炼金术”来比喻深度学习理论解释不足的现状。LeCun对此非常不满意，直言历史上很多有用的发明（比如飞机）均是工程突破先于理论发展。随后Ali做了解释性的回应。然后LeCun一直的盟友Bengio也跳出来对LeCun表示支持。

第二个争论是南大周志华老师在朋友圈和微博发表感想，说有人讲深度学习的爆发主要是计算能力的提升，他对此表示不同意，认为主要是算法和模型发展的贡献。中科院计算所的包云岗研究员回应说，模型发展和计算能力提升是相辅相成的关系，后者的贡献还是应该肯定。之后周老师回复说这些年模型效率提高了大约三万倍，然后包老师说计算能力这些年也提高了大约一万倍以上。

1 ——

我仔细读了Ali一开始的获奖感言和他和LeCun的之间的争论，发现他俩说的并不矛盾，甚至都不是一回事：Ali的意思是我们现在对深度学习模型缺乏明确的理论解释，这部分需要加强。否则如果未来有可以解释的理论模型出现，而且能够达到现有深度学习模型的效果，大家肯定会弃深度学习而转投其他模型，就好像之前发生过的一样。“炼金术”只是他为了活跃气氛打得一个比喻。而LeCun的意思是没有明确的解释并不影响深度学习去解决问题，理论发展可以滞后。稍有逻辑的人都知道，两人说的并不矛盾。

我和几位老师私下里聊了一下，都觉得LeCun的反应有些过激，尤其是他反对的恰好并不（至少并不完全）是Ali的意思。实际上，深度学习现在的几大宗师经常会对深度学习的各种批评，哪怕只是不正面（都不能说是负面）的学术看法有这样的激烈反应。这除了他们自己多年前的有关深度学习被打压的负面记忆之外，恐怕更多的还是商业利益驱使：哪个投资者会投资一个未来不确定的技术呢？打个比方，如果我现在告诉你我发明了一种中药，实验效果显著，但机理不明确。现在只能用五行相克来解释，你作为投资者敢不敢投？无论是LeCun领导的Facebook AI Research还是Bengio的Element AI，都亟需向老板或投资者证明这样的担心纯属多余。

我个人也觉得这样的担心纯属多余：虽然现有深度学习的理论发展相比于应用进展缓慢，但仍旧在严格的科学框架里面，和炼金术完全不同（即使是中医，现代的理论解释也逐渐向西医所依赖的生物化学基础靠拢）。换句话说，如果还没解释清楚，是我们的技术发展的阶段限制，并不是路走偏了，或者说在现代科学理论框架下也没有更好的路可走。今年NIPS大会深度学习研究的一个热点就是可解释性。但是，我也同意Ali的观点，如果有其他方法可以达到深度学习模型的效果而具有更好的可解释性，那么很多研究人员将会再度弃深度学习而去，尽管现在这样的方法还不存在。

2 ——

第二个争论由来也很久了。之前很多文章说到，深度学习这波高潮的标志性起点是2006年Hinton那篇Science文章。在这篇文章里Hinton第一次明确提到，计算能力是其研究能成功的三大条件之一：“provided that computers were fast enough, data sets were big enough,and the initial weights were close enough to a good solution”。2014年IBM TrueNoth芯片的发布会我受邀请在现场，当时刚刚加入斯坦福不到两年的李飞飞在她的邀请报告中明确提到，CNN等深度学习模型的架构和1989年被发明时并无显著区别，之所以能广泛应用的主要原因是两个主要条件的变化：大数据的出现和运算力的提升（大约提高了一百万倍）。

现在深度学习领域主要包括三部分的科研人员：第一部分是传统上做深度学习算法的那部分学者。其中很多人经历了深度学习的黑暗时期，对一切关于深度学习研究的批评都高度敏感。这部分学者数量并不多。第二部分是做应用的学者，比如计算机视觉和模式识别。传统上这部分研究所应用的方法其实并不是深度学习，但深度学习出来后对这些方向所研究的问题非常有效，所以大部分学者转向深度学习研究。第三部分是做计算优化和平台的学者，比如模型优化、高性能计算和芯片。这部分研究的热点其实一直都在变，深度学习只是最近的一个热点而已。

我个人觉得计算能力的提高对于深度学习的发展还是有很大贡献的。但这个贡献确实至少在一开始是非常被动的。实际上即使是现在大家都公认GPU对于深度学习的大规模应用起到了非常重要的作用，但nVIDIA这些公司在战略层次意识到这一点也是非常晚的事情（大家可以查查nVIDIA的发展重点从游戏转向深度学习是哪年的事情）。反过来说，如果将来有一天深度学习不火了，饱和了，LeCun和Bengio会继续suffer，但做计算平台的这些学者只会换到另一个应用去继续为其做研究，不会和这条船一起沉下去。所以我觉得，作为一个搞计算平台的研究者，深度学习这个credit少分一些，也无所谓，毕竟饼你还是狠狠吃了一口的。

——

顺便说，IEEE把对神经网络的研究经常分类到计算智能（Computational Intelligence），但深度学习领域的很多研究人员并不买账。ACM甚至都没有专门对应的SIG，这个很有意思，回头有机会八卦一下。

作者介绍：陈怡然，杜克大学电子与计算机工程系副教授，杜克进化智能研究中心主任，存储、类脑计算与深度学习专家，IEEE Fellow。

文章来源：陈老师有话说 作者：陈怡然