田渊栋：快速迭代的人工智能
【新智元导读】Facebook 人工智能研究所成员田渊栋认为，arXiv 的出现加速了同行评议，程序和框架的开源也加剧了技术迭代的过程。但这样过于灵活自主的评议和迭代，让人工智能研究者的思维方式也发生了转变，让计算机参与推理和判断逐渐成为主流。今后，能从万千文章中看出大势远景，巧妙定题，以最小代价获取最大收益的，才能是直接推动领域发展的一流高手，但要做到这一点，还需静心积累经验。
本来我们这领域步调就快，因为杂志论文的内容滞后，大家都看会议论文，一年两三个顶会，半年一年的研究周期。但因为是双盲评审，就算有别人和自己做得相近，投稿时也是两不知晓，大不了同时中稿同时发文。Arxiv的出现，允许任何人将自己的工作发表在网上，让同行们即时看到，让这一领域的竞争变本加厉。一个例行的功课是每周甚至每天都要刷一下Arxiv看看有没有好文章，更重要的是看看有没有工作和自己目前正在做的重合。每当有一个新想法新思路，必须得马上做完，只要拖一两个月就不再是你的了，因为别人已经捷足先登，直接放篇文章出来把你一闷棍打死，叫也叫不出来。之前的计算机围棋已经血淋淋地展示了这一点，一切在几个月内发生，我们让其它做围棋的同行们郁闷，然后AlphaGo又让我们郁闷，昨天还是众星捧月，今日便少人问津，虽说是世态炎凉，却正是人之常情。
程序和框架的开源也加剧了这一过程，本来重现别人的方法不仅痛苦更是耗时，但现在都是拿来即用，各项成本为零。而想要保持领先优势，隐藏自己的小技巧小把戏那是没有意义的，一年发表的文章多如过江之鲫，谁不开源或者晚开源，谁就被遗忘在历史的角落里了。去年NIPS大家都在谈论ResNet，我们组在ResNet出来的24小时之内写完了程序并且已经开始了在ImageNet上的训练，并且很快确认了它的效果。TensorFlow刚刚开源，组里的骨干就忙到凌晨三点半完成了评测。大凡说自己的工作厉害却不发布程序的，除非像AlphaGo那样动用大量硬件资源的系统，不然自会有人评判，而且速度飞快。有一次有一篇Arxiv报告了CIFAR更好的结果，马上在reddit上被人质疑，然后公开代码，被人发现在测试集上训练的低级错误，只得黯然撤稿。
接锺而来的是开会的味道也发生了变化。开会的原意，是去领略最新进展的，现在去开会则是怀旧，满眼都是半年一年前的老文章，有一种穿越回去的即视感和莫名喜感。海报上写着“我们是最牛的”，观众在一旁看着，笑而不语。大家谈论的往往不是目力所及的演讲或是海报，而是刚刚在Arxiv上冒出来的新作，这个“刚刚”，可能指上周，可能指昨天，也可能指几小时之前，方才还为小小的成果而沾沾自喜，转眼间就如一桶冰水当头浇下，魂不守舍，夜不能寐，食不知味。相比其它方向动辄半年一年的审稿周期，迭代之快，更新之速，史无前例。我有时候在想，以后除了饿醒胖醒春梦醒，还要加个Arxiv醒，梦见自己的神思路被别人做了，或是梦见投稿前几天遭遇当头棒喝，大汗淋漓之下猛然醒来，而后抹一把脸谢天谢地。
在这样的压力下，人的思维方式也发生了改变。目前为止，我们还没有对深度学习有深层次的本质理解，大量的研究思路都是简单粗暴的，在计算资源极大丰富的今天，对于它们质量的主观判断，经常远不及写代码上机实验来得快与准。很多想法不论对错，不论它看起来有多离谱荒谬，先试一下再说，往往蒙得比想得快，动手比动脑快。和我们每天刷手机类似，思维方式的这种转变是好是坏，目前还无从评判。这样的做法，完全可以归入浮躁和急功近利之流，与传统学术做法背道而驰——但与口舌之争相比，这样的方案还在不断地出成果，还在推动着技术的进步，做成更好的系统。我们一边抱怨谷歌机器太多调参太猛，免不了批判如此风气，另一边还在准备着大量GPU雄心勃勃地上战场。不管怎样，可以预计的是，凭一人一纸一笔去战胜难题，令人敬仰却鲜有效率；而让计算机参与推理过程和判断，终会成为每个人生来的必修课。
从这个趋势上来看，能快速利用各种工具达成目标的，能快速阅读及写出代码的，有强大工程能力的，在就业市场上都有巨大优势；若是再有基础扎实，能快速读懂文章，从中获取新知识并举一反三，经验丰富，看文能抓住要点痛点下手，从纷繁想法中修剪思路，那就是老手了；再上一层，有战略眼光，能从万千文章中看出大势远景，巧妙定题，以最小代价获取最大收益，那就是一流高手，能站在前沿火线，直接推动领域的发展。然而要做到这一步，需要在这样的快速迭代中静下心来积累经验，日久方能见效。
人工智能火爆的背后，是多少天才你来我往的战斗，在这个高维空间里攻城拔寨，刺刀见红。虽然累点苦点，却正是这个领域的诱人之处和希望所在。与苦与累相比更可怕的，是舒适安逸时却因技能陈旧而被解职，徘徊天地间，无处可去。我无法想像那种绝望感，所以还是紧追时代的脚步吧，至少我们还能看见技术发展的轨迹，为它出一份力。在这个领域里，只要工具运用得当，思路巧妙，每个人都有成为超人的潜质，一个好算法好框架可服务千万人，且24小时工作，不会出错，不会疲劳，这在以前完全不可想像。正所谓：
灵工巧技汇涓流，奔腾到今浩无垠；
谁料硅砂一捧土，更胜周郎百万兵。