重磅丨谷歌大脑的 2016 实现了哪八个小目标?Jeff Dean 亲自撰文回顾

AI 科技评论按:提起 Google Brain(谷歌大脑)团队,它在 2016 年因为推出了基于神经网络的机器翻译功能火了一把。AI 科技评论也在近日参加了硅谷人工智能前沿论坛 AI Frontier,会上谷歌大脑团队负责人 Jeff Dean 解析了谷歌大脑及 Tensorflow 的相关研究进展。

而在今天,Jeff Dean 代表整个团队撰文回顾了谷歌大脑的 2016 年,并发表于 Google Research Blog 上,让我们和 AI 科技评论一起了解,这个为世界带来科技惊喜的团队究竟如何看待自己的 2016 年吧。

谷歌大脑团队的宏愿一如既往:团队致力于通过多领域的纯研究及应用性研究,创造更多的智能软件及智能系统,以此提升人们的生活水平。

“虽然这一蓝图是我们仰望星空的长期愿景,但我们也需要脚踏实地,回顾一下我们过去一年完成的小目标,并与你们一同分享那些会为 2017 年新成就奠基的点点滴滴。”

一、科研刊发,硕果累累

在国际顶级的期刊及学术会议(如 ICML、NIPS 及 ICLR)上提交论文是科研水平的质量保证,谷歌大脑团队同样寄望于此。过去一年间,团队共有 27 篇论文实现了这个小目标,领域涉猎广泛,包括:(雷锋网附上了所对应论文/文章的链接,方便读者查阅)

  • 程序合成:《Neural Programmer: Inducing Latent Programs with Gradient Descent》; 链接: http://jamanetwork.com/journals/jama/article-abstract/2588763
  • 神经网络间的知识迁移:《Net2Net: Accelerating Learning via Knowledge Transfer》; 链接: https://arxiv.org/abs/1511.05641
  • 机器学习的分发式训练:《Revisiting Distributed Synchronous SGD》; 链接: https://openreview.net/pdf?id=D1VDZ5kMAu5jEJ1zfEWL
  • 语言的生成式模型:《Generating Sentences from a Continuous Space》; 链接: https://openreview.net/forum?id=D1VVBv7BKS5jEJ1zfxJg
  • 机器人的无监督学习:《Unsupervised Learning for Physical Interaction through Video Prediction》; 链接: http://papers.nips.cc/paper/6161-unsupervised-learning-for-physical-interaction-through-video-prediction
  • 定理的自动证明:《DeepMath - Deep Sequence Models for Premise Selection》; 链接: http://papers.nips.cc/paper/6280-deepmath-deep-sequence-models-for-premise-selection
  • 神经网络理论理解:《Toward Deeper Understanding of Neural Networks: The Power of Initialization and a Dual View on Expressivity》; 链接: http://papers.nips.cc/paper/6427-toward-deeper-understanding-of-neural-networks-the-power-of-initialization-and-a-dual-view-on-expressivity
  • 改进强化学习的算法:《Continuous Deep Q-Learning with Model-based Acceleration》 链接: http://jmlr.org/proceedings/papers/v48/gu16.html;

……

谷歌大脑还在许多其它优秀期刊及学术会议上提交了论文,包括:

  • 自然语言处理(ACL 及 CoNNL);
  • 语音识别(ICASSP);
  • 视觉领域(CVPR);
  • 机器人(ISER);
  • 计算机系统(OSDI)等。

团队目前已经向机器学习研究的顶尖学术会议 ICLR 2017 提交了 34 篇论文。AI 科技评论附上了提交论文的清单,如果感兴趣的用户可以点击查看。

链接:https://research.google.com/pubs/BrainTeam.html

二、自然语言理解

谷歌大脑研究的重点方向之一在于如何让计算机更好地理解人类语言。

  • 2014 年年底,三位谷歌大脑团队的成员发布了一篇名为《利用神经网络实现序列到序列的学习》的论文,提出了此方法可应用于机器翻译。
  • 2015 年,团队证明了此方法同样能够应用于生成图像标题、分析句子成分及解决计算化的几何问题当中。
  • 2016 年,谷歌大脑团队与谷歌翻译团队进行密切合作,将谷歌翻译算法以一种完全端到端的学习系统所取代。该系统缩小了原有系统与人类高质量翻译之间的差距,而这一数字达到了 85%。
  • 在数周后,谷歌大脑团队又发布了「zero-shot」翻译系统,即使是系统之前从没学习过的样本对,机器也能够顺利翻译出来。目前,这一系统已经顺利上线谷歌翻译,而它所处理的语言对数量也在不断增加。

「zero-shot」链接:

https://research.googleblog.com/2016/11/zero-shot-translation-with-googles.html

Jeff Dean 还特别专门提及了 AI 科技评论于本文开始时提及的文章,这篇发布于《纽约时报》,原名为《超级 AI 正在觉醒》的文章详细描述了谷歌翻译是如何一步步进阶深度学习的。

《超级 AI 正在觉醒》链接:

https://www.nytimes.com/2016/12/14/magazine/the-great-ai-awakening.html?_r=0

三、教机器人学会学习

Jeff Dean 也回顾了谷歌大脑在机器人领域取得的成果,他表示,传统机器人的控制算法是通过精心设计并进行人工编程而实现的,因此,如何将新的能力「传授」给原有的机器人也成为一个挑战。谷歌大脑团队相信,机器人如果能掌握机器学习能力,那么让它自动掌握这些新的技能也绝非难事。

在 2016 年,谷歌大脑团队与 Google X 团队合作实现了机械臂的手眼协调功能,并经过 80 万次的抓取实验,让它们在不断的学习过程中汲取自学经验,雷锋网此前也做过报道和覆盖。

链接:https://arxiv.org/abs/1603.02199

“随后,我们探索了三种机器人学习新技能的三种可能方式,包括强化学习、通过机器与物体的交互,以及人类的操作示范等。谷歌大脑团队将在这些工作的基础上继续前行,以实现让机器人在复杂的现实环境中习得新技能,并成功运用的目标。”

三种机器人学习新技能链接:

https://research.googleblog.com/2016/10/how-robots-can-acquire-new-skills-from.html

值得一提的是,为了让其它机器人研究者也能尝试在该领域探索,谷歌大脑团队共享了数个机器人数据库。

链接:https://sites.google.com/site/brainrobotdata/home

四、医学影像领域:提升诊断效率

机器学习有着巨大潜力,包括应用于医学诊断领域。谷歌大脑同样注意到了这一进步,并在今年 6 月的美国医学学会刊物上(Journal of the American Medical Association)发布了一篇名为《深度学习算法的应用及有效性:因糖尿病引致的视网膜病变》的论文,详细了目前机器学习系统在疾病诊断上的新成果。「如果没能筛查出早期的视网膜病变,将会有四亿人面临失明风险。通过这项技术,我们希望能够帮助更多人口在眼科医生稀缺的情况下获得适当的检查。」AI 科技评论了解到,谷歌 DeepMind 目前已经与英国国家医疗服务体系(NHS)进行了二度合作,将和 Moorfields 眼科医院一同开发识别视觉疾病的机器学习系统。

论文链接:http://jamanetwork.com/journals/jama/article-abstract/2588763

除此之外,谷歌大脑团队也致力于拓展医学影像的其它领域,并相信机器学习能够在接下来一年内又好又快地提升医患的就医体验。

五、创作,从音乐到艺术

不论是印刷出版、电影或是电吉他,人们利用科技定义媒体内容的创造与分享。在 2016 年,谷歌大脑成立了一个名为 Magenta 的项目,以探索艺术与机器智能的灵感火花,并利用机器学习丰富人类的创造力。

Magenta 项目链接:https://research.googleblog.com/2016/02/exploring-intersection-of-art-and.html

先是用机器学习建立起音乐与图像生成之间的联系,再是文本生成与虚拟现实,Magenta 正在成为内容创作的最佳生成模型。

谷歌大脑团队通过举办研讨会及展览会的方式,对音乐创作及艺术风格迁移等主题进行探讨。而这些探索也同样获得了学界的认可, demo 在年底的 NIPS 2016 上获得了最佳奖项的首肯。

Demo 链接:

https://magenta.tensorflow.org/2016/12/16/nips-demo/

六、安全公平,AI 有责

「当我们开发出强大且完善的 AI 系统,并广泛应用于这个世界之时,谷歌大脑团队同样也心系安全与公平。我们同样希望拥有能帮助人类更好理解机器生产的工具。」

在 AI 安全领域,谷歌大脑通过与斯坦福、伯克利及 OpenAI 等机构的合作,发布了名为《AI 安全的具体问题》的白皮书,提及了人工智能领域可能设计的具体安全问题,而谷歌大脑团队也致力于在训练数据的隐私问题、涉及不同项目的隐私界定,以及知识迁移技术方面提出可行的保护方案。

《AI 安全的具体问题》链接:

https://arxiv.org/abs/1606.06565

而在另一篇名为《监督学习中的机会公平性》的文章中,谷歌大脑也以 FICO 评分系统为例,尝试通过调整训练的预测因子,以避免结果出现不必要的歧视。

《监督学习中的机会公平性》链接:

https://arxiv.org/abs/1610.02413

如果你对此感兴趣,欢迎通过他们的可视化项目了解。

七、TensorFlow 初长成

TensorFlow 于 2015 年 11 月开源,当时作为一个希望机器学习社区都能从中受益的开源平台而存在。一年来,TensorFlow 已经成为了 GitHub 上最受欢迎的机器学习项目,拥有超过 570 贡献者的上万次提交。而得益于社区的贡献,TensorFlow 目前仅在 GitHub 上就有多于 5000 个与 TensorFlow 相关的项目了。

谷歌大脑团队表示,TensorFlow 目前已经得到了许多研究团队与大型企业的认可(如 DeepMind),此外在寻找海牛或帮助日本农夫选黄瓜等特别的小项目中也取得了喜人的进展。

而谷歌为 TensorFlow 所做的还不止这些:

  • TensorFlow 目前已经在性能上已经有了大量改进,增加了分布式训练的支持;
  • 兼容 iOS、树莓派和 Windows,此外还与大数据框架进行了整合;
  • 拓展了可视化系统 TensorBoard,能够用于可视化计算图表及 embedding;
  • 开放了 Go、Rust 及 Haskell 的接口;
  • 发布了最优秀的图像分类模型;
  • 回答了 GitHub、StackOverflow 等论坛及 TensorFlow 邮件里收到的上千个问题;
  • TensorFlow Serving 得以简化 TensorFlow 模型在生产应用的难度;
  • 获得了 Google Cloud Machine Learning 的托管服务。
  • 在庆祝 TensorFlow 成立一周年之际,谷歌大脑还在 OSDI 上提交了一篇名为《TensorFlow:大范围机器学习系统》的论文。
  • 通过与编译器团队的合作,谷歌大脑也在致力开发用于 TensorFlow 的后端编译器 XLA,并已经在其中添加了一个 alpha 版本。

八、初探机器学习社区

谷歌大脑同样也在努力教育指导人们如何使用机器学习,并开展相关研究。

2016 年 1 月,谷歌大脑团队的一名研究负责人 Vincent Vanhoucke 在优达学城上开设了一门免费的深度学习在线课程。此外,团队还组织了 TensorFlow Playground,这个交互式系统能够通过可视化的方式,帮助人们更好地理解简单的神经网络学习是如何完成任务的。

在去年 6 月,首届 Google Brain Resident 项目在 2200 名申请者中筛选出了 27 名学员,并在过去的 7 个月时间内开展了大量原创研究,并完成了 21 篇论文。

8 月份,许多谷歌大脑的成员都参与了 Reddit 的 MachineLearning 小组上的 AMA 问答,为网友们解答了机器学习社区及对团队的种种疑问。

在 2016 年,我们接纳了 46 名实习生(大部分是博士生),他们与团队成员一同开展了研究。

九、让机器学习无处不在

除了上述公开活动外,谷歌大脑也在谷歌内部开展工作,以期将机器学习专业及精神渗透到其它产品团队中。谷歌大脑团队希望公司能做为一个整体,接纳并利用新生的机器学习研究成果。比如与平台团队紧密合作,为在 Google I/O 大会上提及的机器学习加速器 ASIC(张量处理单元 TPU)提出了个性化且高水平的目标。这种定制芯片能够在数量级上提升机器学习的性能,并广泛应用于谷歌产品中,包括 RankBrain、神经机器翻译系统,还有在 3 月份击败李世石的 AlphaGo。

总而言之,对于谷歌大脑团队及谷歌上上下下所有同事与合作伙伴而言,2016 是令人为之欢欣鼓舞的一年,而团队也同样期待机器学习研究能在 2017 年更上一层楼。

via google blog,AI 科技评论编译

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-01-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏华章科技

深度学习:远非人工智能的全部和未来

现在每一个人都在学习,或者正打算学习深度学习(DL),它是目前人工智能诸多流派中唯一兴起的一个。各个年龄阶段的数十万人学习着免费和收费的深度学习课程。太多的创业...

753
来自专栏智能算法

人工智能迎来春天 在“深度学习”帮助下欲当“学霸”

人类对人工智能寄予厚望,赋予其无尽的遐想,更是许多科幻大片的主题。但人工智能的发展一直不如人意,直至一种名为深度学习的强大技术横空出世,这一情况才发生了根本性...

2677
来自专栏AI科技评论

深度 | IBM语音识别能力逼近人类水平,获深度学习巨头Yoshua Bengio盛赞

你知道吗?人类每听20个词,其实就有一两个成为“漏网之鱼”。而在一段五分钟的对话中,这一数字达到了80。但对于我们而言,少听一两个词并不会影响我们对语意的理解,...

2466
来自专栏AI科技评论

【重磅】谷歌公布TPU细节之后,AI业界怎么看?

AI科技评论按:我们对于谷歌的TPU并不陌生,正是它支撑了AlphaGo强大快速的运算力,但谷歌一直未曾披露其细节,使得TPU一直保有神秘感。 美国当地时间4月...

2667
来自专栏AzMark

To be a better man !

935
来自专栏大数据文摘

语言处理想突破,三座大山必须过

如果是人类来回答这个问题,即使在情景不明确的情况下也能在快速澄清后给出回答,但对机器来说,除非依赖大量人为制定的规则,回答这样的问题难度堪比“哥德巴赫猜想”。

221
来自专栏人工智能头条

颜水成:深度学习、Baby Learning与人工智能

963
来自专栏新智元

宇宙智能演化将进入后生物时代,人类不再是衡量智能的标准

【新智元导读】本文探讨了智能演化以及未来超级智能及其认知、形态的可能,以及超级智能 AI 与人类的关系。作者认为,从生物智能到“后生物”智能可能是宇宙中的一种基...

34210
来自专栏机器之心

深度学习:远非人工智能的全部和未来

选自Linkedin 作者:Fabio Ciucci 机器之心编译 参与:黄小天、路雪 人工智能的这一波热潮毫无疑问是由深度学习引发的,自吴恩达等人 2011 ...

2538
来自专栏机器人网

AlphaGo之父:没有AI,人类理解世界如何突破?

谷歌旗下人工智能研究部门DeepMind联合创始人兼CEO德米斯·哈萨比斯(Demis Hassabis)近日在英国《金融时报》上撰文,全面阐述了人工智能如何帮...

2576

扫描关注云+社区