8张图看苹果公开的第一篇 AI 论文

【新智元导读】 苹果终于发表了AI方面的第一篇论文。12月22日,苹果题为《Learning from Simulated and Unsupervised Images through Adversarial Training》 的论文在Arxiv上发表,论文介绍了使用模拟+无监督的方法,在对抗训练中进行学习的技术。本文带来HN上诸位专家的评论,他们的基本评价是:这可是苹果发表的论文!很高兴他们开始对研究社区有所回报了。

本月早些时候,苹果这家向来保守的公司告诉人工智能研究社区,他们快要发布自己的AI论文。还不到一个月,它已经兑现了诺言。

苹果于12月22发表了它第一篇 AI 论文(论文于11月15提交)。 论文描述了一种技术,使用计算机生成的图片而不是现实世界的图片来提高训练算法识别图像的能力。

在机器学习研究中,用计算机生成的图片(例如电子游戏中的)训练神经网络比现实世界的图片更高效。因为生成图片数据都是有标签和注释的,而真实图片的数据需要耗费人力标注计算机所看的东西,告诉它这是一棵树,一只狗,一辆自行车。但是生成图片的方法也有问题,因为这让算法所学到的东西并不总是能无缝转移到真实场景。生成图片的数据“常常不那么真实,导致神经网络只学习生成图片的细节,却无法在真实图片上很好的迁移。”苹果的论文如是说。

论文推荐了苹果研究员所谓的模拟+无监督学习(Simulated+Unsupervised learning),当仿真图片的现实问题出现的时候用来提高生成图片数据的训练效果。苹果研究员用一种调整过的新的机器学习技术——对抗生成网络 GAN(Generative Adversarial Networks),这一技术通过两种神经网络相互对抗用于生成看上去现实的图片。

斯坦福专家 Rkaplan

苹果的论文在技术社区引起热议,Rkaplan(斯坦福专家)指出这篇论文最重要的几个意义在于:

1. 有标记数据非常昂贵。历史上,通过合成的数据学习的尝试已经失败,因为ConvNets在检测合成数据里的非常小的虚影方面非常厉害,而且在训练期间使用这些虚影进行分类。在使用真实数据测试时,由于真实数据中没有这些虚影,因此模型失败。苹果提出的这项技术,只通过合成数据的标记来训练,然后用真实数据进行测试,而且结果比目前最先进的技术还好(尽管使用的数据集是非常小的 Eye Gaze数据集),显然很重要。

2. 他们展现了一个有用的新主意提高GAN的训练,用以前的“假”图片,而不仅仅是最新生成的假图片。问任何训练过GAN的人:训练效果真的很不稳定,每个神经网络不仅仅想战胜对手。他们通过修改很多以前的假输出,很好的提升了生成器鲁棒性。这让我想起Deepmind 在强化学习上的经验重现。

这可是苹果发表的论文!很高兴他们开始对研究社区有所回报了。

Brandonb (行业专家,曾在Google研究语音)发表评论:

这是苹果第一次发表AI研究论文。Russ Salakhutdinov 加入之后,他承诺苹果会开始在大会在发表AI论文。他们真的做的很棒。

我也做AI(用HealthKit 数据,不是苹果的),我浏览了这篇论文,尽管它不是很突破性的。但是它是一个很好的信号。他们提出的想法是GAN的很好调整和运用。GAN在2014年还是1990年出现(每个人有不一样的答案),但是你可能在NIPS看到超多类似的论文。

也就是说,苹果用最新的技术,提交到同行评议大会,这些大会公开发表知名的研究结果,没有一个不是要好几年的。这就是真正的研究。

对他们而言是一份荣耀。我真的很好奇他们在核心产品比如 Health 和 Siri 方面会发表什么论文—他们可能对产品研究产生巨大的共享。

Kalid(著名网站betterexplained创始人)

我发现论文写得很不错。它遵循了吴恩达深度学习课程的“圣约”,上完他的课可以把论文写得更艺术品似的(术语,公式,惯例)。

“视觉图灵测试”(visual Turing test)非常有意思(人类是否可以区分真实和仿真的图片)。这个样本规模(p-value,对于他们的问题)是相当小的(10个参与者,每个100张图片)。

我很好奇是否有志愿者(就像HealthKit)帮助自动化类型的评估。你可能需要Recaptcha-style服务表示你的仿真足够真实。

论文的第一作者是苹果研究员Ashish Shrivastava,从LinkedIn可以看到他是马里兰大学帕克学院(University of Maryland,College Park)计算机视觉的博士。论文其它合作者是包括苹果的Tomas Pfister,Oncel Tuzel,Wenda Wang,Russ Webb和Josh Susskind,他们联合创立了AI公司Emotient。这个公司年初被苹果收购,是做面部表情识别的。

苹果的第一篇AI论文标志着苹果的一大步。好多年来,人工智能研究社区批评苹果的保密。它的保密性甚至损害了对AI人才的招聘。更多地向社区开放,对苹果推进AI软件的进步和在技术领域的传播非常重要。AI软件在苹果运作中数据中心的、最新iPhone服务中变得特别关键。

8张图看苹果公开的第一篇 AI 论文

图1:模拟+无监督(S + U)学习。任务是学习一个模型,能够改进合成图像的真实性同时保留标注信息,合成图像来自使用未标记的真实数据的模拟器。

图2. SimGAN概览。我们使用一个refiner神经网络R来最小化局部对抗损失和一个“自正则化”项(selfregularization term)的组合,以改进模拟器的输出。这个对抗损失会欺骗判别器网络D,D用于区分图像是真实图像还是改进后的图像。自正则化项能够将合成图像和改进后的图像之间的差异最小化。该方法同时保留了标注信息(例如,眼睛凝视的方向),是得改进后的图像可以用于训练机器学习模型。refiner网络R和判别器网络D交替更新。

图3.局部对抗损失( local adversarial loss)图示。判别器网络输出w×h的概率图,对抗损失函数是局部patch上的交叉熵损失(cross-entropy losses )的和。

图4:使用改进后图像训练模型的图示

图5. 使用UnityEyes数据集的SimGAN的输出示例。(左)来自MPIIGaze的真实图像。我们的网络在训练时不使用来自MPIIGaze数据集的任何标注信息。(右)UnityEye数据集的精细化结果。图像中的皮肤纹理和虹膜区域得到改进,质量上更像真实图像而不是合成图像。

图6:带有两个n×n卷积层的ResNet模块,每个模块具有f个特征图。

图7:使用局部对抗损失的重要性

图8:使用NYU手势数据集的精细化测试示例。(左)真实图像,(右)合成图像

编译来源

福布斯:http://www.forbes.com/sites/aarontilley/2016/12/26/apple-publishes-its-first-artificial-intelligence-paper/#110c06b24cfe

论文链接:Learning from Simulated and Unsupervised Images through Adversarial Training https://arxiv.org/abs/1612.07828

责编:XJ

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2016-12-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

机器学习和统计模型的差异

在各种各样的数据科学论坛上这样一个问题经常被问到——机器学习和统计模型的差别是什么? 这确实是一个难以回答的问题。考虑到机器学习和统计模型解决问题的相似性,两者...

3276
来自专栏大数据文摘

我从吴恩达深度学习课程中学到的21个心得:加拿大银行首席分析师“学霸“笔记分享

1733
来自专栏量子位

OpenAI新研究:通过非监督学习提升NLP任务表现

今天,OpenAI在其官方博客上发布了一篇题为《用非监督学习来提升语言理解》的文章,介绍了他们最近的一项研究:Improving Language Unders...

1061
来自专栏悦思悦读

让AI自动翻译“媲美人类”的“对偶学习”是怎么回事?

突破 性进展 ---- 2018年3月14日,微软研究院宣布,他们研发的中英机器翻译系统在newstest2017测试集上,达到了可与人类翻译媲美的水平。 ne...

5049
来自专栏机器之心

资源 | 最入门级别的机器学习图书:Chris Bishop发布在线新书

选自MBML book 参与:蒋思源 PRML 大神、微软剑桥研究院院长 Chris Bishop 与 John Winn 的机器学习新书 Model Base...

2946
来自专栏量子位

机器学习5年大跃进,可能是个错觉

回想2012年,Hinton带着学生们以ImageNet上16.4%的错误率震惊计算机视觉研究界,似乎已经是远古时期的历史。

981
来自专栏新智元

【普华永道全息图解】机器学习演化史,方法、应用场景与发展趋势

【新智元导读】普华永道最近推出了一系列机器学习信息图示,很好地将机器学习的发展历史、关键方法以及未来会如何影响社会生活展现了出来。基础概念部分包括机器学习各大学...

4019
来自专栏专知

图深度学习(GraphDL),下一个人工智能算法热点?一文了解最新GDL相关文章

【导读】最近,DeepMind、Google大脑、MIT等各大研究机构相继发表了一系列的关于图深度学习的论文,包括关系性RNN、关系性深度强化学习、图卷积神经网...

6595
来自专栏AI科技评论

Uber 论文5连发宣告神经演化新时代,深度强化学习训练胜过 SGD 和策略梯度

AI 科技评论按:一直低调的 Uber AI 研究院近日连发 5 篇论文,介绍了他们在基因算法(genetic algorithm)、突变方法(mutation...

3686
来自专栏原创

AI技术说:人工智能相关概念与发展简史

作为近几年的一大热词,人工智能一直是科技圈不可忽视的一大风口。随着智能硬件的迭代,智能家居产品逐步走进千家万户,语音识别、图像识别等AI相关技术也经历了阶梯式发...

4806

扫码关注云+社区

领取腾讯云代金券