盘点| NIPS(神经信息处理系统进展大会)机器学习相关内容

作者:Victoria Krakovna 翻译:赵屹华 网站:http://www.csdn.net

今年的NIPS会议(神经信息处理系统进展大会)是当下人工智能和深度学习热情的一个聚焦点 —— 从中能够感受到机器学习领域的飞速发展,并且公开了两家新的人工智能初创公司。参会人数相比2014年的大会几乎翻倍(希望明年主办方能设置多个分场),一些受欢迎的工作坊内摩肩接踵。由于大会有将近4000人参加却只接收400篇论文,大部分人还是冲着学习和社交的目的而来。会议期间紧张的社交活动让我想起了Burning Man(美国的一个反传统狂欢节)—— 激动人心的感觉,高密度的自发的有趣交流,短期内的大量活动,当然还有持续的疲惫状态。

有趣的演讲和海报

Sergey Levine在拥挤的Deep Reinforcement Learning工作坊做的机器人演示(我们提早半个小时到达,才在地板上占据一席)。这个演讲让我感受到该领域迅猛的发展。演讲是从一段今年夏天DARPA机器人挑战赛的视频开始,机器人试图行走和开门的时候,不断地失败。Levine接着介绍了他的近期研究内容,主要是引导策略搜索(guided policy search),在轨迹优化和神经网络的监督训练之间交替进行,还有复杂任务的分解。他演示的机器人视频成功地完成了多个高度灵活的任务,比如开门,拧瓶盖,把衣服架在衣架上。令人印象深刻!

Denton和Chintala带来的是用金字塔形对抗网络生成图片的模型。用一个神经网络作为生成器来生成逼真的图像,另一个神经网络来评价 —— 前者试图生成以假乱真的图片来迷惑后者,而后者需要将合成图片与真实图片区分开来。首先从一张粗糙的图像开始,通过金字塔形的对抗网络生成后一级比前一级更细致的图像。在实验中,最终的结果有40%被误认为是真实图像,在我制作海报的时候,大约有80%的图像在我眼里就是真实的。

Salakhutdinov等人介绍的Path-SGD算法,一种尺度不变的随机梯度下降算法。标准的SGD使用L2正则项来衡量参数空间的距离,权重的缩放会对优化效果产生巨大影响。相对于把最大的权重值作为单位长度,Path-SGD方法则是最小化所有经过缩放权重值的max-norm。这样得到的norm(称作“path regularizer”)被证明对权重缩放具有不变性。这个方法有原理支持,并且取得良好的实践结果。

Sukhbaatar等人介绍的端到端记忆网络 —— 记忆网络的一种扩展 —— 神经网络学习对记忆模块的读取和写入。与传统的记忆网络不同,这个端到端的版本不需要在每一层监督。这扩展了该方法的适用领域 —— 它与记忆网络在问答方面、与LSTM在语言模型方面都很有竞争力。观察这个模型完成基本的归纳推理任务也很有趣,比如物体的位置、颜色、大小等。

Algorithms Among Us 研讨会

本次大会的一个亮点就是Algorithms Among Us 研讨会对机器学习的社会影响,我和其它FLI成员一起参与组织的。研讨会由三个板块和一些演讲组成 —— 包括近期的人工智能影响,通用人工智能的时间表,以及效益型人工智能的重点研究计划。研讨会的组织者 (Adrian Weller, Michael Osborne and Murray Shanahan) 召集了一大波AI各个方向的大腕,包括来自微软的Cynthia Dwork,来自Facebook的Yann LeCun,来自百度的Andrew Ng和来自DeepMind的Shane Legg。

Andrew Ng对他著名的观点“担心通用人工智能就像担心火星上人口过剩”又进行了升华,改为了“半人马座阿尔法星人口过剩”(难道火星人口过剩真的会发生?)他的主要观点是即使超级预言家无法预知五年后的任何事情,所以任何长期的预测也都是无用的。这似乎像是人们普遍信念“我们一无所知,所以我们很安全”的一个实例。正如Murray所说,今后五年的完全不确定性也正意味着无法猜测未来20年实现通用人工智能的景象。令人鼓舞的是Ng赞同长期人工智能安全性的研究,他说这尽管不是他的兴趣点,但应该有其它人去做。

在谈到通用AI之路上剩余的里程碑时,Yann LeCun给了一个贴切的比喻,就像在迷雾中翻山越岭旅行 —— 你能看到一部分,雾中还隐藏着未知事物。他还认为高级AI是不可能像人类一样,告诫不要将它拟人化。

在重点研究计划版块,Shane Legg给了一些具体的建议 —— 目标系统的稳定性、可中断性、沙箱/容器化,以及各种思维实验的形式化(例如超智 Superintelligence)。他指出AI安全既被夸大了,又得不到足够重视 —— 而先进AI的风险不是如媒体所述的迫在眉睫,更多的思考和资源需要被投入到具有挑战性的研究问题中。

讨论会上提出的一个问题是关于AI系统可解释性的重要性,它也是我当前研究项目的主题。AI系统在有效性和可解释性的权衡之间存在一些分歧。LeCun认为解释性的主要优势是提高鲁棒性,提高迁移学习水平应该就能实现,而不需要降低有效性。Percy Liang则认为需要透明性来给其它人解释机器学习系统做了什么,在许多应用中这变得日趋重要。LeCun还指出机器学习系统通常被认为是透明的,如决策树,而事实未必如此。人们对可解释性的含义也存在歧义 —— Cynthia Dwork觉得,我们需要在作出任何结论前对问题有一个明确的定义。看来,在定义可解释性和在不牺牲效能的前提下实现可解释性,都还有很多工作要做。

总之,该研讨会超级有趣,提供了大量的精神粮食(FLI成员Ariel做了一个更详细的总结)。感谢Adrian、Michael和Murray的辛勤工作。

AI初创公司

两家新的AI初创公司在NIPS大会上宣告成立是一件令人兴奋的事情 —— 由Ilya Sutskever领导和Musk, Altman等人支持的OpenAI,以及由 Zoubin Ghahramani和Gary Marcus领导的Geometric Intelligence。

OpenAI是一家非营利性企业,肩负着推进AI研究大众化和保持其对人类有益的使命,有高达10亿美元的承诺资金。他们相信在非盈利的、不受经济利益影响的环境下发展AI技术更安全,而不是被营利性公司所垄断。开源共享研究项目的想法在中短期内无疑是好的,但长期来看接近通用AI时会引起一些担忧。一位OpenAI的研究员在采访中表示,“我们没有义务分享一切 —— 在这种情况下公司的名字有误导性”,而且项目是否开源事实上也是具体案例具体分析。

OpenAI在最初几年内计划把重点放在深度学习领域,Geometric Intelligence的发展方式有所不同,他们想用更少的数据来更有效地学习。Gary Marcus认为们需要更多地学习人类大脑是如何获得知识的,从而开发先进AI系统(灵感来自于观察他孩子认知世界的过程)。我期待着来自这些新公司和其他研究小组采取的各种方法和成果。

原文发布于微信公众号 - 大数据文摘(BigDataDigest)

原文发表时间:2015-12-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量子位

GAN诞生记:最火的AI模型,来自一群博士的酒后争吵

唐旭 李林 编译自 《连线》 量子位 出品 | 公众号 QbitAI 费曼去世时,他教室里的黑板写着:“我无法理解自己创造不出来的事物。” 这句名言被Ian G...

28140
来自专栏数据派THU

清华大学张长水教授:机器学习和图像识别(附视频、PPT下载)

本篇干货整理自清华大学自动化系教授张长水于2018年4月27日在清华大学数据科学研究院第二届“大数据在清华”高峰论坛主论坛所做的题为《机器学习和图像识别》的演讲...

50530
来自专栏量子位

吴恩达对话LeCun:神经网络跌宕四十年

最近,这位AI领域的传奇大牛,接受了另一位大牛吴恩达的视频专访。在这次对话中,LeCun回顾了卷积神经网络、反向传播的历史,以及他如何从一个默默无闻的“法国小孩...

12520
来自专栏大数据文摘

注水、占坑、瞎掰:起底机器学习学术圈的那些“伪科学”

一边是今年的NIPS迎来了创纪录的8000多篇投稿,一边是李飞飞、Keras框架的作者François Chollet等大佬摊手承认,机器学习发展已进入瓶颈期。

9200
来自专栏大数据文摘

书单推荐 | 数据挖掘和统计科学自学十大必备读物

12920
来自专栏PPV课数据科学社区

黑箱难题仍在阻碍深度学习的普及

? “机器学习基本就是线性数学,很好解释,”数据公司Teradata首席技术官斯蒂芬·布罗布斯特(Stephen Brobst)在Teradata合作伙伴大...

39640
来自专栏数据科学与人工智能

【陆勤践行】数据科学家要会多少机器学习

这个全民搞数据的年代越来越多新毕业的博士问我说,怎么样才能成为一个挣钱比较多的数据科学家?这个问题很广泛,因为要会的太多了而技术都在不断进步并且我也不能保证挣钱...

26380
来自专栏新智元

首发:人脸识别世界杯榜单出炉,微软百万名人识别竞赛冠军分享

【新智元导读】业界公认人脸识别“世界杯”的微软百万名人识别竞赛 MS-Celeb-1M 结果出炉:百万名人识别子命题,Panasonic-新加坡国立大学合作夺得...

44360
来自专栏机器之心

现场 | CVPR 2018第一天:精彩的Workshop与被中国团队进击的挑战赛

前伯克利 CS 系主任 Jitendra Malik:研究 SLAM 需要结合几何和语义

7810
来自专栏人工智能的秘密

黑箱难题阻碍了深度学习的普及与发展

当前,深度学习扛起了人工智能的大旗,让我们了解到了智能机器的能力有多大,但是有个问题就是:没有人知道它内部究竟是怎么运作的。

22850

扫码关注云+社区

领取腾讯云代金券