田渊栋:快速迭代的人工智能

【新智元导读】Facebook 人工智能研究所成员田渊栋认为,arXiv 的出现加速了同行评议,程序和框架的开源也加剧了技术迭代的过程。但这样过于灵活自主的评议和迭代,让人工智能研究者的思维方式也发生了转变,让计算机参与推理和判断逐渐成为主流。今后,能从万千文章中看出大势远景,巧妙定题,以最小代价获取最大收益的,才能是直接推动领域发展的一流高手,但要做到这一点,还需静心积累经验。

本来我们这领域步调就快,因为杂志论文的内容滞后,大家都看会议论文,一年两三个顶会,半年一年的研究周期。但因为是双盲评审,就算有别人和自己做得相近,投稿时也是两不知晓,大不了同时中稿同时发文。Arxiv的出现,允许任何人将自己的工作发表在网上,让同行们即时看到,让这一领域的竞争变本加厉。一个例行的功课是每周甚至每天都要刷一下Arxiv看看有没有好文章,更重要的是看看有没有工作和自己目前正在做的重合。每当有一个新想法新思路,必须得马上做完,只要拖一两个月就不再是你的了,因为别人已经捷足先登,直接放篇文章出来把你一闷棍打死,叫也叫不出来。之前的计算机围棋已经血淋淋地展示了这一点,一切在几个月内发生,我们让其它做围棋的同行们郁闷,然后AlphaGo又让我们郁闷,昨天还是众星捧月,今日便少人问津,虽说是世态炎凉,却正是人之常情。

程序和框架的开源也加剧了这一过程,本来重现别人的方法不仅痛苦更是耗时,但现在都是拿来即用,各项成本为零。而想要保持领先优势,隐藏自己的小技巧小把戏那是没有意义的,一年发表的文章多如过江之鲫,谁不开源或者晚开源,谁就被遗忘在历史的角落里了。去年NIPS大家都在谈论ResNet,我们组在ResNet出来的24小时之内写完了程序并且已经开始了在ImageNet上的训练,并且很快确认了它的效果。TensorFlow刚刚开源,组里的骨干就忙到凌晨三点半完成了评测。大凡说自己的工作厉害却不发布程序的,除非像AlphaGo那样动用大量硬件资源的系统,不然自会有人评判,而且速度飞快。有一次有一篇Arxiv报告了CIFAR更好的结果,马上在reddit上被人质疑,然后公开代码,被人发现在测试集上训练的低级错误,只得黯然撤稿。

接锺而来的是开会的味道也发生了变化。开会的原意,是去领略最新进展的,现在去开会则是怀旧,满眼都是半年一年前的老文章,有一种穿越回去的即视感和莫名喜感。海报上写着“我们是最牛的”,观众在一旁看着,笑而不语。大家谈论的往往不是目力所及的演讲或是海报,而是刚刚在Arxiv上冒出来的新作,这个“刚刚”,可能指上周,可能指昨天,也可能指几小时之前,方才还为小小的成果而沾沾自喜,转眼间就如一桶冰水当头浇下,魂不守舍,夜不能寐,食不知味。相比其它方向动辄半年一年的审稿周期,迭代之快,更新之速,史无前例。我有时候在想,以后除了饿醒胖醒春梦醒,还要加个Arxiv醒,梦见自己的神思路被别人做了,或是梦见投稿前几天遭遇当头棒喝,大汗淋漓之下猛然醒来,而后抹一把脸谢天谢地。

在这样的压力下,人的思维方式也发生了改变。目前为止,我们还没有对深度学习有深层次的本质理解,大量的研究思路都是简单粗暴的,在计算资源极大丰富的今天,对于它们质量的主观判断,经常远不及写代码上机实验来得快与准。很多想法不论对错,不论它看起来有多离谱荒谬,先试一下再说,往往蒙得比想得快,动手比动脑快。和我们每天刷手机类似,思维方式的这种转变是好是坏,目前还无从评判。这样的做法,完全可以归入浮躁和急功近利之流,与传统学术做法背道而驰——但与口舌之争相比,这样的方案还在不断地出成果,还在推动着技术的进步,做成更好的系统。我们一边抱怨谷歌机器太多调参太猛,免不了批判如此风气,另一边还在准备着大量GPU雄心勃勃地上战场。不管怎样,可以预计的是,凭一人一纸一笔去战胜难题,令人敬仰却鲜有效率;而让计算机参与推理过程和判断,终会成为每个人生来的必修课。

从这个趋势上来看,能快速利用各种工具达成目标的,能快速阅读及写出代码的,有强大工程能力的,在就业市场上都有巨大优势;若是再有基础扎实,能快速读懂文章,从中获取新知识并举一反三,经验丰富,看文能抓住要点痛点下手,从纷繁想法中修剪思路,那就是老手了;再上一层,有战略眼光,能从万千文章中看出大势远景,巧妙定题,以最小代价获取最大收益,那就是一流高手,能站在前沿火线,直接推动领域的发展。然而要做到这一步,需要在这样的快速迭代中静下心来积累经验,日久方能见效。

人工智能火爆的背后,是多少天才你来我往的战斗,在这个高维空间里攻城拔寨,刺刀见红。虽然累点苦点,却正是这个领域的诱人之处和希望所在。与苦与累相比更可怕的,是舒适安逸时却因技能陈旧而被解职,徘徊天地间,无处可去。我无法想像那种绝望感,所以还是紧追时代的脚步吧,至少我们还能看见技术发展的轨迹,为它出一份力。在这个领域里,只要工具运用得当,思路巧妙,每个人都有成为超人的潜质,一个好算法好框架可服务千万人,且24小时工作,不会出错,不会疲劳,这在以前完全不可想像。正所谓:

灵工巧技汇涓流,奔腾到今浩无垠;

谁料硅砂一捧土,更胜周郎百万兵。

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2016-06-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CSDN技术头条

来自大数据的反思:需要你读懂的10个小故事

自2011年以来,大数据旋风以“迅雷不及掩耳之势”席卷中国。毋庸置疑,大数据已然成为继云计算、物联网之后新一轮的技术变革热潮,不仅是信息领域,经济、政治、社会等...

2189
来自专栏顶级程序员

传奇数学家斯梅尔

源 / 《数学文化》 当代富有色彩的著名数学家,首推长期工作在美国加州伯克利大学的史蒂芬 • 斯梅尔(Stephen Smale)教授。国内一般学术刊物介绍科学...

37413
来自专栏华章科技

来自大数据的反思:需要你读懂的10个小故事

中国工程院李国杰院士更是把大数据提升到战略的高度,他表示【1】,数据是与物质、能源一样重要的战略资源。从数据中发现价值的技术正是最有活力的软技术,在数据技术与产...

1262
来自专栏大数据文摘

10个小故事,思考大数据

4018
来自专栏华章科技

上清华到底有多难?清华大学保送生的数学试题了解一下

导读:前两天,数据叔刷到一张图,据称是2013年的清华保送生考试题。数据叔也懒得考证这张图的真假,但还是怀着一颗不知深浅的好奇心想挑战一下这几道题。然后……

2664
来自专栏华章科技

中国学生基础比欧美学生好?那是多少年来可怕的自我麻醉!

导读:“中国学生基础好?这都是多少年来可怕的自我麻醉!我不认为中国学生的基础知识学得有多好!”

964
来自专栏量子位

Hinton传奇:退学当木匠,辞职反军方,终成一代AI教父

李林 若朴 编译自 Telegraph 原文作者 Joe Shute 量子位 报道 | 公众号 QbitAI 英国《每日电讯报》打算用三篇报道,来描绘人工智能在...

2895
来自专栏机器人网

格斗机器人斗起来酷似变形金刚大战?并不是遥控车对撞?

格斗机器人常被一些人误解为遥控车对撞,但实际并不是这样。制作一个可以用于战斗的机器人是非常不容易的,如果要让它具备战胜对手的实力,就需要它的建造者花费很多的时间...

2903
来自专栏ATYUN订阅号

【科技】兽语八级—使用机器学习解读鸡的“语言”

鸡是一种很“唠叨”的动物,凯文·米切尔(Kevin Mitchell)会理解鸡在唠叨些什么。米切尔负责监管华盛顿州和俄勒冈州威尔科克斯农场(Wilcox Far...

3409
来自专栏玉树芝兰

创新可以教吗?

学院让青年教师参加“创新教练训练营”。我散会后直接找领导说了我的疑惑——在我看来,创新是没办法教的。

1002

扫码关注云+社区

领取腾讯云代金券