Ian Goodfellow回忆GAN诞生故事:几杯啤酒喝出“20年来最酷的深度学习想法”

大数据文摘作品,转载要求见文末

编译 | 姜范波 笪洁琼 张伯楠 寒小阳

RICHARD Feynma去世那天,他的教室黑板上写着:“我不能创造的,便是我不明白的”。

当Ian Goodfellow解释他在谷歌大脑所做的研究时,他引用了原子物理学家、加州理工学院教授兼畅销书作家的这句格言。但是,Goodfellow不是指自己,也不是Google内的任何其他人。他谈论的,是机器:“AI不能创造的,便是它不明白的(What an AI cannot create, it does not understand)”。

Ian Goodfellow在推特上转发这篇文章:

关于GAN的诞生往事

Goodfellow是世界上最重要的AI研究人员之一,在Elon Musk和Sam Altman建立的谷歌大脑竞逐对手OpenAI短暂工作后,他返回谷歌,建立了一个新的研究小组,探索“生成模型”——一个可以创造现实世界的照片,声音和其他表征的系统。 Goodfellow引用Feynman的名言,将这一努力描述成通往各种人工智能的重要途径。

他解释说:“如果AI能学习如何想象现实的图像和逼真的声音——这将鼓励AI了解世界的实际结构。它可以帮助AI理解它看到的图像或它听到的声音。”

几杯啤酒后诞生的

“20年来最酷的深度学习思想” GAN

2014年,当时还在蒙特利尔大学读博士的Goodfellow,在一家酒吧微醺后,想到了一种称为“生成对抗网络(generative adversarial networks)”或GAN的AI技术。尽管这个想法来自几罐啤酒,其仍不失为一个非常优雅的设计:一个AI尝试创造它认为真实的图像,而第二个AI分析结果,并尝试确定图像是真实还是假的。 Goodfellow说:“你可以把它们当作艺术家和艺术评论家,生成模型想要愚弄艺术评论家 ——让艺术批评家把它所产生的图像当成真的”。因为第二个AI努力地识别造出来的假图像,所以第一个AI得以学会模仿真实世界。这种方式,是一个单独的AI无法完成的,。在这个过程中,这两个神经网络可以将AI推向某一天,电脑宣布独立于他们的人类老师。

监管Facebook人工智能研究的Yann LeCun将GAN称为“过去20年来最酷的深度学习思想”。深度学习是一种AI,它正在改变所有互联网最大的公司的方向,包括谷歌,微软,和亚马逊,以及Facebook。 Goodfellow的想法还在不断发展,但它们已经快速传遍AI社区。许多研究人员,包括LeCun,相信他们可以导致“无监督学习”,这是AI研究领域的巨大愿望:机器学习无需人类的直接帮助。

做正确的事

Goodfellow得到这个灵感时,是位于蒙特利尔酒吧名为Les 3 Brasseurs,或“三个酿酒师”的酒吧。他的朋友Razvan Pascanu,现在是Google的另一个AI实验室DeepMind的研究员,彼时刚完成了他的博士学习,很多朋友聚集一堂送别他。其中一个正在描述一个新的研究项目,试图用数学方法确定进入照片的所有内容。这个想法是将这些统计信息输入一台机器,以便它可以自己创建照片。半醉中,Goodfellow说这是永远不会有效的 —— 要考虑的统计量太多,没有人能全部记录下来。就在这一刻,他想到了一个更好的方法:神经网络可以教会机器如何建立逼真的照片。

神经网络是一种比较复杂的数学思维,它通过识别照片中的人脸和口语理解分析大量数据来进行学习任务。

在酒吧里,Goodfellow决定使用现实的照片来构建神经网络学习,然后可以与其他进行对比,来试图辨别照片是否为假,实际上,这一切是依据它们第一次的感觉来判断。

他表示通过这种方式,它最终可以成为第一个使用神经网络生成并与真实事物无法分辨的虚假图像。

争议随之而来,Goodfellow的朋友们坚持认为这种方法行不通。所以当他晚上到家的时候,他开始进行这项试验。“当我回家的时候我有点喝醉了,我的女朋友也已经熟睡了。”

我坐着那儿思考:酒吧里我的朋友们他们都想错了!他回忆着说,当时我连夜在笔记本电脑里完成了GANs的代码。

按照他的说法,程序代码第一次测试就正常运行了。“这是真的,真的很幸运,”他说道,“如果不是因为第一次代码就成功,我可能已经放弃这个想法了。”

他和其他的一些研究人员在那年晚些时候发表了一篇论文,阐述了这个想法。在那之后的三年,已经有数百篇论文来探讨这一概念。

更智能的AI

也许不再需要人类

在第一篇论文中表示,这两种神经网络可以产生一种能够生成手写数字的现实图像的系统。

如今,研究人员正将这个想法在从猫到火山再到整个星系的各种照片上应用。

它甚至可以帮助进行天文学试验和模拟粒子物理学试验。但这仍然是一件非常困难的事情,它不仅需要训练一个神经网络,还需要两个神经网络同时运行。

在谷歌,他成立了一个专注于GANS和相关研究的新团队,Goodfellow希望能优化这一过程,他表示道:“最重要的是,作为一名机器学习研究者,我得不断对它们进行有效的训练。”

最终的结果:神经网络系统不仅能够更好地生成图像与声音,还能识别它们,这是一种能够在人类的辅助下获得更多的信息的系统。系统模型会尝试学习并理解世界的构造。Goodfellow表示道:可以帮助系统在没有明确背景信息的情况下尽可能多的学习。

GANs甚至可能达到一项迄今未能实现的目标,即在无人监管的情况下自主学习。目前,神经网络可以通过分析上百万幅猫的图片学会对其进行识别,在此过程中,人类必须仔细对这些图片进行分析并进行标注。目前,人类仍在机器学习中不可或缺,而随之带来的个人偏见和对大量人类劳动的需求,常常正是AI训练的问题所在。诸如LeCun等AI研究学者正着力推动可显著加速AI发展进化,无须大量人类参与的学习系统研究。

然而这仅仅是开始。GANs将带来许多其他可能。David Kale,南加州大学的AI研究学者,相信这个创意可以帮助他和他的同事在不侵犯患者隐私的情况下来建立一个健康护理AI。机器学习系统可以基于假想数据替代真实数据进行训练。“比起把病人病历大规模上传到网络供人使用,为什么不创造一个向研究者开放的完全虚拟数据库以训练GANs呢?”Kale说,“如果基于该数据库的训练模型和原始数据训练结果毫无差异,我们又何乐而不为呢?”

Ian Goodfellow 的 LinkedIn 个人资料

在三月改为「Google Brain research scientist」

尽管很多研究者已在探索GANs背后的奥秘,据称Goodfellow仍决心专门在谷歌建立其研究团队。Goodfellow曾离开谷歌前往OpenAI,承诺要向全世界范围开源分享研究成果的实验室的研究者之一。然而不到一年,他发现所有合作伙伴都聚集在谷歌,并于今年三月份重新回归谷歌大脑。“一整天都不得不面对视频会议的经历一点也不愉快,”他说,“这不是完成工作的好方式”。

分享非常重要,然而近距离合作同样如此——无论你是一名AI,还是神经网络的研究学者。

一人一笔 | 数据团队建设“全景报告”

清华数据科学研究院联合大数据文摘,发起一次数据团队全行业调研。本次调研将对国内外数据团队发展现状进行盘点和趋势预测,同时探索数据团队应如何建设。我们将结合一系列专访与调查问卷内容,在7月初发布《数据团队建设全景报告》。

如果你是数据团队的一员、和数据团队一起工作,或者希望了解其他数据团队的发展现状和未来。

那么恳请你花费5分钟时间,点击“阅读原文”填写问卷,帮助我们完成这次调研。

来源:

https://www.wired.com/2017/04/googles-dueling-neural-networks-spar-get-smarter-no-humans-required/

关于转载如需转载,请在开篇显著位置注明作者和出处(转自:大数据文摘 | bigdatadigest),并在文章结尾放置大数据文摘醒目二维码。无原创标识文章请按照转载要求编辑,可直接转载,转载后请将转载链接发送给我们;有原创标识文章,请发送【文章名称-待授权公众号名称及ID】给我们申请白名单授权。未经许可的转载以及改编者,我们将依法追究其法律责任。联系邮箱:zz@bigdatadigest.cn。

原文发布于微信公众号 - 大数据文摘(BigDataDigest)

原文发表时间:2017-04-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CDA数据分析师

如何成为大神级数据科学家 | Kaggle Grandmaster是怎样炼成的

Vladimir I. Iglovikov 是一名 Kaggle 顶级大师(Grandmaster),曾获得过 Carvana 图像遮蔽挑战的冠军,以及 Dst...

2322
来自专栏CSDN技术头条

入行 AI,如何选个脚踏实地的岗位?

AI原本是一个专业领域,没什么特别的。作为码农一枚,笔者的工作内容正好在这个领域。

1303
来自专栏机器之心

Kaggle Grandmaster是怎样炼成的

最近,Vladimir 分享了自己成为 Kaggle 高手的经验。目前,Kaggle 注册用户数量已超 100 万,其中只有 124 人拥有 Grandmast...

1153
来自专栏企鹅号快讯

拿下吴文俊奖,今日头条李磊谈AI如何实现内容创作

机器之心发布 机器之心编辑部 近日,第七届吴文俊人工智能科学技术奖颁奖盛典在苏州举行。今日头条与北京大学共同完成的「互联网信息摘要与机器写稿关键技术及应用」项目...

2486
来自专栏AI科技评论

李飞飞北京演讲:AI会改变世界,改变AI的又会是谁?

AI科技评论按:2017年1月15日,李飞飞教授出席未来论坛2017年会暨首届未来科学颁奖典礼,发表名为《视觉智能的探索》 (The Quest for ...

3276
来自专栏AI科技大本营的专栏

人工智能是不可怕,但你也得会用啊!

随着人工智能与机器人技术的发展,几乎所有的行业都开始采用人工智能来取代人类劳动力。 如同圈地运动和农业机械化把劳动力赶出土地的过程一样,眼下这场人工智能革命也正...

3335
来自专栏AI研习社

为什么现在人工智能掀起热潮?

20世纪50年代,John McCarthy开创了Artificial Intelligence(简称AI)这个词,一下子就和Marvin Minsky一起,成...

1163
来自专栏腾讯高校合作

【犀牛鸟·视野】现场报道 | SIGGRAPH Asia 2017 (DAY 2):“图像和显示”session探究

今天是SIGGRAPH Asia 2017的第二天,与昨天稍显冷清的会场相比,今天可谓是百花齐放,热闹非凡,这主要是因为有两大重头戏上演,即各式各样的展台(Ex...

3587
来自专栏专知

搞机器学习,不认识他们怎么行?

【导读】本文是机器学习爱好者Aditya Ananthram撰写的关于机器学习领域中几个大牛的介绍文章,对于今天AI的火热程度而言他们功不可没,因为如果没有这些...

3876
来自专栏企鹅号快讯

今日头条李磊:机器写作与 AI 辅助创作

近日,第七届吴文俊人工智能科学技术奖颁奖盛典在苏州举行。今日头条与北京大学共同完成的「互联网信息摘要与机器写稿关键技术及应用」项目荣获吴文俊人工智能技术发明奖。...

44010

扫码关注云+社区

领取腾讯云代金券