让一部分行业先用起AI，感受新的“电力”带来的变革

2017 NIPS 干货分享

扩博智能

朱枫

继今年ICCV和CVPR之后，扩博智能也派出机器学习和视觉的团队成员参加了在美国加州长滩召开的第31届NIPS (Neural Information Processing Systems)大会。作为机器学习领域顶级会议，今年的NIPS是其历史上参会人数最多的一年，参会人数达到了8000人的规模。不仅会议门票在两周之内抢购一空，而且第一天会场门口就排起长长的注册队伍。

历届NIPS注册人数对比

注册当天的长队

会议热点回顾

本届NIPS一共收到3240篇投稿，678篇被接收为大会论文。所有被接收的论文都在12月4号至6号的Poster环节向参会者展示和讨论。这其中有Hinton最近发表的一篇著名论文“Dynamic Routing Between Capsules”。这篇论文的poster也引起了参会者们强烈的兴趣和关注。

论文:

https://arxiv.org/abs/1710.09829

视频：

https://www.youtube.com/watch?v=gq-7HgzfDBM

Hinton的poster前挤满了热情的听众

大会的第一天有9场Tutorial。其中听众人数最多的一场是“Deep Learning: Practice and Trends”。这场Tutorial由来自UBC和 Google DeepMind 的三位学者主持， 系统的介绍了深度学习当前流行的工具和方法，以及今后的研究方向和趋势。

PPT:

https://docs.google.com/presentation/d/e/2PACX-1vQMZsWfjjLLz_wi8iaMxHKawuTkdqeA3Gw00wy5dBHLhAkuLEvhB7k-4LcO5RQEVFzZXfS6ByABaRr4/pub?slide=id.g2a19ddb012_0_11

视频：

https://www.youtube.com/watch?v=YJnddoa8sHk

Deep Learning: Practice and Trends”会场

除了从Poster择优选出的Oral和Spotlight宣讲场次，会议还安排了7场 Invited Talk，邀请了在自己研究领域里卓有成就的专家做纲要性的总结报告。最受关注的热点报告是加州大学伯克利分校教授Pieter Abbeel的“Deep Learning for Robotics”和 牛津大学统计学教授 Yee Whye Teh的 “On Bayesian Deep Learning and Deep Bayesian Learning“。

Deep Learning for Robotics：https://www.youtube.com/watch?v=TyOooJC_bLY

On Bayesian Deep Learning and Deep Bayesian Learning：

https://www.youtube.com/watch?v=9saauSBgmcQ

Test of Time Award 颁给了Ali Rahimi，来表彰其十年前发表的论文 “Random Features for Large-Scale Kernel Machines”. 作者Ali Rahimi随后发表了关于“深度学习是新时代炼金术”的演讲，这场演讲得到全场听众高度认可，很多人起立长时间地鼓掌。然而，由此也引发了来自各方面的争论，包括来自深度学习三驾马车之一的Yann LeCun的质疑和批评的声音。

Ali Rahimi关于“深度学习是新时代炼金术”的演讲：https://www.youtube.com/watch?v=Qi1Yry33TQE&t=305s

Ali认为深度学习作为炼金术有其实用的一面，但同时也需更深入的理论指导和支持

CV研究热点方向和趋势

虽然NIPS更偏重发表有广泛基础意义的机器学习理论的研究，ICCV和CVPR更专注计算机视觉的应用和实践成果，但是我们依然可以看到有很多跟深度学习应用相关的最新技术和研究热点。

在12月7号的主题为“Metalearning”的Symposium上，来自DeepMind， OpenAI和其他机构的学者们从各个方面分享了有关Metalearning最新的研究结果和进展。由于现在各种深度学习，加强学习的模型变得日益复杂，逐渐超越了人类的理解范围。在这种情况下，如何能让机器自动寻找和配置最优的模型架构和参数就显得尤为迫切和重要。Metalearing就是研究“learning to learn”的问题，希望用机器学习的方法来设计机器学习的模型和优化参数。当前的研究方法包括Bayesian optimization, gradient descent, reinforcement learning 和 evolutionary computation.

Metalearning Symposium 的日程安排

在大会最后两天的Workshop中，有更多跟工业界密切相关的话题和讨论。12月8号的ML Systems Workshop(http://learningsys.org/nips17/schedule.html) 主要目的是建立起机器学习，系统设计和软件工程不同学科和领域之间的联系和协作，去开发新的工具包，寻求最优的工程实践和设计原理。参加这个workshop的有大家熟知的Tensorflow主要贡献者Jeff Dean，Caffe作者贾扬清，MXNet主要贡献者陈天奇和解浚源等。他们分别介绍了多个深度学习开源框架（TensorFlow，PyTorch，Caffe2，MXNet， CNTK等）最新的功能和以后的开发方向。

ML Systems

Links:

TensorFlow:

http://learningsys.org/nips17/assets/slides/tensorflow-nips17.pdf

PyTorchhttp://learningsys.org/nips17/assets/slides/pytorch-nips17.pdf

Caffe2http://learningsys.org/nips17/assets/slides/caffe2-nips17.pdf

MXNet:

http://learningsys.org/nips17/assets/slides/mxnet-sysml-17.pdf

12月9号，主题为“Learning with Limited Labeled Data: Weak Supervision and Beyond”的workshop(https://lld-workshop.github.io/#schedule)讨论了深度学习的实践中常见的问题—如何用只有少量人工标注的数据训练出准确度高的模型。因为在现实应用场景中，获取大量高质量的人工标注数据需要很高的成本，甚至是无法做到的事情。对于这类问题，参会者从不同领域分享了各种不同的解决思路和方法，包括 zero-shot, one-shot, transfer, and multi-task learning, data augmentation and/or the use of simulated data, incorporating domain knowledge等。这个workshop还特别邀请到了GAN的作者Ian Goodfellow，发表了题为“Overcoming Limited Data with GANs(https://lld-workshop.github.io/slides/ian_goodfellow_lld.pdf)”的主题演讲。Ian Goodfellow给出了一些基于GAN来模拟产生训练数据的方法，并展示了在一些问题上取得的进展。

Ian Goodfellow介绍应用GAN产生训练数据的一种思路

参会感悟和心得

扩博智能作为专注机器视觉垂直领域的创业公司，十分关注最新的计算机视觉和深度学习的研究进展和应用。我们坚信AI在各种领域有着广阔的应用前景。正如Andrew Ng所说的，AI是新一代的电力 (Artificial Intelligence is the New Electricity )。众所周知，从电的发现到电力的大规模应用，经历了上百年的时间，几代人的探索和努力，最终的成功依赖于电力理论和工程应用在相互促进中成熟和完善。AI也是如此，虽然理论还需进一步完善，但是它在计算机视觉方面已经展现出巨大的潜力，势必将引发颠覆性的变革。我们致力于将最新的研究成果应用到AI可以迅速转化为生产力的行业，让一部分行业先用起AI，感受新的“电力”带来的高效和便利。

本文作者朱枫(左)和团队成员在展台前尝试实时风格转换的演示