【大师观】机器学习和人工智能：2016 重大进展和 2017 主要趋势

【新智元导读】“2016年机器学习及人工智能领域的最大亮点和 2017年的重要趋势是什么？”Kdnuggets 网站汇集了十几位专家的看法，AlphaGo 无疑成为今年最夺目的亮点，但 2017 年哪些领域值得我们密切关注呢？

Yoshua Bengio，蒙特利尔大学计算机科学及应用研究学院教授

在我看来，2016年主要事件在深度强化学习、生成模型、神经网络机器翻译。首先，我们有了AlphaGo（DeepMind的神经网络通过深度强化学习，打败了国际象棋世界冠军）。整个一年，我们看到了一系列论文展示生成对抗网络(generative adversarial networks，用于生成模型的无监督学习)的成功。同样在无监督学习领域，我们看到了自相关神经网络（automation-correlation neural networks，就像 DeepMind WaveNe 的t论文）取得了意想不到的成就。最后，不久之前，我们看到了神经网络机器翻译的“加冕”（我的实验室从2014开始做其中一部分），谷歌把这个技术带到了大规模的Google翻译，获得了令人瞩目的效果（达到超优秀人类水平）。

我相信从这些迹象可以预估 2017 年情况：更多的进展出现在无监督学习（这仍然是一个巨大挑战，我们在这方面离人类能力还差得远）。在计算机理解和生成自然语言的能力方面，可能最先是聊天机器人或者其它对话系统。另一个可能的趋势是，把深度学习应用到医疗保健领域的大量研究和结果，应用到在多种类型的医疗数据，包括医疗图像、病历、基因数据，等等。计算机图形上持续有更多的应用，当然还包括自动驾驶汽车，但是我感觉总的来说社区还是低估了实现真正自动化所面临的挑战。

Pedro Domingos，华盛顿大学教授，《主算法》作者

2016年最大事件是AlphaGo赢得比赛。由于很多大公司的重大投资，我认为会在2017取得大进展的两个领域是聊天机器人和自动驾驶车。在更底层的方面，我可能看到深度学习作为一个正在成熟中的技术，会和其它ML/AI技术的混用。

Oren Etzioni，艾伦人工智能研究所CEO

AlphaGo是令人兴奋的2016年最闪耀的成就。2017年，我们会看到更多神经网络上的强化学习，更多神经网络领域的NLP和图像的研究。无论如何，像 Semantic Scholar 这样的系统，使用神经网络处理有限的标签数据所面临的挑战依然巨大，让我们来年有的忙了。现在对深度学习和更宽泛的机器学习依然算是早期。

Xavier Amatriain，Quora 工程副总裁

2016 年也许是可以载入史册的“机器学习大热”的一年。似乎所有公司都在做机器学习，如果他们没有，那么也在想着买一个初创公司以宣称他们在做。

现在确实有很多理由这么大肆宣传。你敢相信Google宣布开源TensorFlow仅仅过去一年？从发现新药物到作曲，TF已经被广泛用于多个不同项目。然而，Google不是唯一开源ML软件的公司：微软开源了CNTK，百度宣布发布PaddlePaddle，亚马逊近期宣布他们在新的AWS机器学习平台上支持MXNet。Facebook 算是支持两个深度学习框架的开发：Torch和Caffe。另一方面，Google也在支持已经大获成功的Keras。所以在最前沿，Facebook和Google打平了。

除了大肆宣传和企业对机器学习开源项目的大力支持，2016年还有大量的机器学习应用程序，这在几个月前都是无法想象的事。我对Wavenet的发声效果印象特别深刻。我过去尝试解决类似的问题，所以会由衷赞叹这样的成果。我可能还要强调一下近来在读唇语方面的成果，还有大批视频识别应用在不久的将来会非常有用（甚至可怕）。我还要提一下Google的令人印象深刻的机器翻译方面的领先程度。看到这一领域这么多的进展真的令人吃惊。

事实上，去年在机器学习语言技术方面，机器翻译不是唯一取得有趣进展的领域。我认为，近期为了产生更丰富的语音模型，结合深度时序神经网络和副信息（side-information）的方法非常有意思。在“A Neural Knowledge Language Models”一文中，Bengio的团队结合知识图谱和RNN，还有在“Contextual LSTM models for Large scale NLP Tasks”一文中，DeepMind的人把主题（topics）加到LSTM模型。在建模注意力（modeling attention）和语言模型的记忆方面，我们也看到了很多有趣的工作。例如，我所推荐的“Ask Me Anything：Dynamic Memory Networks for NLP”一文，发表在16年的ICML。

回顾 2016 年，我必须要提一下自己专业领域—推荐系统(Recommender Systems)—取得的进展。深度学习当然对这一领域有所影响。虽然我不会推荐DL作为推荐系统默认技术，但是看到它在如Youtube这样的产品中大规模实用，确实蛮意思。在和深度学习无关的领域还有一些有趣的研究。今年ACM 推荐系统部分最佳论文奖归于“Local Item-item Models For Top-N Recommendation”，它是对稀疏线性方法（Sparse Linear Methods：SLIM）的扩充，用到了无监督集群初始化。还有“Field-aware Factorization Machines for CTR Prediction”一文，描述了the Criteo CTR Prediction Kaggle Challenge 的胜出方法，这提示我们Factorization Machines算法仍然是一个很好的工具可以加到ML工具集中。

仅仅是列出过去十二个月在机器学习上有影响力的进展，我可能还要写上好几页。而且我还没有开始列出图像识别或者深度强化学习方面的重大突破，或者明显的应用例如智能驾驶或者竞技游戏，这些领域在2016都有巨大进展。我也没有谈到所有关于机器学习是否对社会有消极影响，还有算法的偏好和公正性的讨论。

那么，我们对2017有什么期待呢？这个很难说，毕竟这个领域一切发展的如此之快。我可以肯定的是，我们要努力消化我们在NIPS大会上的收获。我非常期待在我最关心的领域看到更多的机器学习进展：如个性化/推荐，自然语言处理。我相信，可能接下来几个月，我们可以看到机器学习能处理假新闻的问题。当然，我还希望看到自动驾驶汽车在路上，机器学习的东西可以投入到健康相关应用或者用到其它创建一个更智慧更公正的社会。

Yaser Abu-Mostafa，加州理工大学（联合林轩田教授和 Malik Magdon-Ismail 教授）

2016年和2017年是机器学习令人兴奋的时代。有两个趋势正加速到来。第一，那些终于证实ML是超凡强大的技术的例证。AlphaGo和非人类的加密(inhuman encryption)是最引人注目的例子。第二，ML应用的扩张。更多复杂任务，更多领域，更多人采用ML作为挖掘数据的方式。Google、Microsoft、Facebook、IBM 达成人工智能联盟是有理由的。

Ajit Jaokar，#Datascience, #IoT, #MachineLearning, #BigData

2017年对于IoT和AI都是会是重要的一年。像我最近在KDnuggets发表的，AI将成为企业的核心竞争力。IOT方面，这意味着搭建和部署跨平台（Cloud， Edge， Streaming）的模型的能力。不断学习与通过AI不断提升的前景息息相关。企业需要AI和研发运营汇集形成新的竞争力。

Neil Lawrence，谢菲尔德大学机器学习教授

我认为，事情会像我们预估的那样发展。深度学习方法并智能地部署到大规模数据集。对于较小的数据集，我认为我们会在模型更新看到有趣的方向，比如预训练深度学习模型的复用。还有一些有趣的开放性问题：怎么样做最好？更进一步的趋势是，这一领域的新闻将不断增加，包括发布在Arxiv没有经过评定的论文中一些主流文章。去年已经展现我们对进展的渴望，但是我觉得今年会看到更多。我认为学术界发布他们工作的时候的选择可能会变得更加谨慎（比如在社交媒体上）特别是当没有被评定过的时候。

Randal Olson，宾夕法尼亚大学生物医学信息研究院高级数据科学家

自动机器学习（Auto Machine learning -AutoML）系统开始变得比人类机器学习专家更有竞争力。今年早些时候，MIT一个团队创建了数据科学机器，打败了在KDD杯和IJCAI机器学习比赛中的几百个团队。近期，我们的内部 AutoML系统，TPOP，在几个 Kaggle 比赛中排到了90%。总之，我对 AutoML系统在2017年取代人类机器学习专家很有信心。

Charles Martin，数据科学家及机器学习专家

2016年是深度学习的转折点。这年我们有Google TensorFlow，还有大量不断出现的应用。结合比如Keras，Jupyter Notebooks，和使用GPU的AWS节点，数据科学组有了所需要的基础建设，以开始搭建真正创新的机器学习应用并很快开始产生收益。但是他们也许没有人才？

这不是编程的问题。这不是基础建设的竞赛。跟传统分析很不同，没有人真正理解为什么机器学习有用。不管怎么样，让我们面对事实，这就是 Google和Facebook 全力以赴的项目！也是CXO们关心的。2017 年，企业会引进单项优势机器学习技术提高底线。

Matthew Mayo，数据科学家，KDnuggets副主编

2016年的大新闻就是我们从深度学习得到的加速回报。神经网络征服国际象棋也许是最引人注目的例子，但是还有其它的例子。展望2017，我预计神经网络持续发展进步，依然产生大新闻。不论如何，自动机器学习会是相当重要的事件。也许不想外界的人想的那样像，神经网络这么诱人，自动机器学习会开始比ML、AI和数据科学走的更远。2017显然是这样的一年。

Brandon Rohrer，Facebook 数据科学家

2016 年机器读唇语比人类更精准，听写比人类更快，能生成拟人的声音。这是都是探索新奇架构和算法带来的成效。卷积神经网络在识别方面被改造，结合强化学习器和时态感知(time-aware)方法打开新应用领域。2017年，我估计更多人类衡量标准落败，特别是视觉领域很适合CNN做。我还预估（也希望！）我们的社区能进军决策系统的周边领域，非视觉特征创建和时态感知方法将变得更频繁和硕果累累。综合这些让智能机器人成为可能。如果我们足够幸运，2017 年，可以给我们带来一个可以在冲咖啡方面打败人类的机器。

Daniel Tunkelang，数据科学及工程

2016年最大的新闻就是AlphaGo打败李世石，人类的国际象棋世界冠军。这对AI社区是一个惊喜，是深度学习领域值得铭记的转折点。2016年是深度学习和AI的一年。聊天机器人，自动驾驶车和计算机问诊也解答了我们可以得到什么样的可能，通过足够GPU和适当的训练数据。2017年给我们带来成功和幻灭。技术如TensorFlow会把机器学习商业化，AI成为消费者产品必备。我们必须面对数据中的偏见。我们会成长起来，也意识到我们离通用AI和奇点还很远。

原文地址：http://www.kdnuggets.com/2016/12/machine-learning-artificial-intelligence-main-developments-2016-key-trends-2017.html