独家 | ICML第一天论文精选

ICML第一天的行程即将开始。这一天来自深度学习各个研究领域的专家们将对自己的论文和研究做出演讲。ICML选中的论文主要关注的类型都是基础理论类的研究,如深度学习主题的论文大多数关注于如何有效的建立学习模型和训练模型,而比较少最终应用的论文。ICML论文关注领域非常广泛。我们在周一的深度学习论文中选出了几篇我们认为可能比较有价值的文章,它们分别来自不同的主题板块,供大家参考:

深度学习模型的一次性生成(One-Shot Generalization in Deep Generative Models)

这是Google DeepMind的一篇论文,本文主要探讨如何让机器学习系统对新事物的学习速度能像人一样快,或者至少接近这个目标。我们都知道目前的神经网络要经过至少上千甚至上万或更多的样本训练之后才能“学会”一个新的概念,人们一直在试图搞清楚为什么人脑通常只要一次的训练就能学会新的概念。在这方面的研究如果得到突破,可以极大的提升机器学习的效率。

入选理由:机器在运算方面的速度无人能及,但学习能力却相当羸弱,如果能增强学习能力,对机器学习的发展必定有极大推动作用

学会使用记忆来建立网络(Learning to Generate with Memory)

这是清华大学的三名学者的研究论文。目前“记忆”还是AI的弱项,记忆单元目前已经被广泛应用于增强深度神经网络在长远来看的应对能力和预测指令的能力上,但还很少被用于生成模型的过程(通过研究现有的数据生成新的数据)。这个研究提出了一项DGM的应用,使得算法可以有通过外部存储的信息来完善自己的能力

入选理由:我们曾经提到过:记忆力的缺失或许是目前机器语音助手未能普及的最大因素。与人水平相当的记忆力是机器与人正常对话的最重要前提之一。

英语和普通话的端对端语音识别(End-to-End Speech Recognition in English and Mandarin)

这是百度给出的一篇论文,吴恩达也参与其中。展现了一种既可以用于识别英语也可以用于识别普通话的算法思路。这种算法即使在吵闹的环境下、有方言口音的语音中、或不同的语言下都能有很好的表现。百度说他们在此取得的成就主要与对超级计算机的合理应用有关。

为什么算法在Tetris中可以很容易的做出大部分决定?或许所有序贯决策问题都可以呢?(Why Most Decisions Are Easy in Tetris—And Perhaps in Other Sequential Decision Problems, As Well)

增强学习主要用于控制类的应用,如机器人自动控制等,不过它同深度学习的交叉已经越来越多。ICML中的增强学习的研究主要集中于通过训练算法来玩游戏或建立竞争性的模型来研究其中的规律。

Tetris即俄罗斯方块,研究者发现,只要人们可以在不知道相应的行为会带来多少回报的时候也能很轻易的做出关于一件事的最优决定,那这件事就很容易被计算机解决。他们想到了一种将这种特性应用到算法里,可使算法的学习更具效率和速度的方法。

入选理由:玩游戏是检验算法效果的一个非常有效的方式,此文针对此推出了一种新的算法学习模式,很有新意。

Minecraft中记忆、感知和行为的控制(Control of Memory, Active Perception, and Action in Minecraft)

这个团队设计了一种新的玩Minecraft的RL任务。特点也是将“记忆数据”加入了算法中。记忆力的完善应该是未来AI的发展趋势,也是AI提升空间最大的地方。

入选理由:Minecraft是一款开放性游戏,让AI将这个游戏玩得有意义比让AI玩俄罗斯方块要难很多,而且这项研究也涉及了建立AI记忆的内容。

离散型深度特征抽取:一个理论和新的架构(Discrete Deep Feature Extraction: A Theory and New Architectures)

卷积神经网络的时间持续性特征抽取第一次成为数学理论是在2012年,而这篇论文考虑了一个对离散型变量进行特征抽取的方式,并且尝试建立一个围绕这个特性的数学理论体系。

入选理由:并非所有变量都能转化成连续的函数,让机器学习算法学到一种有效率的提取离散型特征的方法是很有必要的。

噪音激活函数(Noisy Activation Function)

这篇论文雷锋网已经全文翻译过,在深度学习的过程中,通过向函数中加入噪音,反而使得梯度饱和的现象得到了很大的缓解。

入选理由:反常识、反直觉的思路反而取得了很好的效果。

通过木块塔的例子学习物理直觉(Learning Physical Intuition of Block Towers by Example)

这是Facebook AI研究院的作品。团队使用了一个类似于木滑车的模型,木滑车是一种能帮助婴儿获得关于物理世界的感觉的玩具。Facebook AI研究院创建了一个3D的积木模型,再使其崩塌,使算法能够预测积木崩塌的轨迹、严重程度和获得关于其物理特性的一些“直觉”。就像人类对一个物品的物理特性会有的感觉那样。

入选理由:让AI拥有对物品的“物理直觉”是很重要的,举个例子:当机器人看到泥土地面时如果能明白它处在湿润状态时自己踩上去就会陷进去,就可以避免很多麻烦。

目前针对深度学习的研究还处于比较基础的阶段,不难发现,研究者们还是在试图从各种角度模拟人类的感知和思维方式,以期做出实用的人工智能。这是合理的思路,让我们期待周一的演讲在美国纽约的正式开始。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2016-06-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

神经形态计算与神经网络硬件最全调查:从研究全貌到未来前景

选自arXiv 机器之心编译 参与:Jane W,吴攀 神经形态计算被认为是未来人工智能计算的重要方向,近日,电气和电子工程师协会(IEEE)多位研究者联合发...

3476
来自专栏AI科技大本营的专栏

CCAI 2017 | 香港科技大学计算机系主任杨强:论深度学习的迁移模型

作者 | 贾维娣 7月23日,由中国人工智能学会、阿里巴巴集团 & 蚂蚁金服主办,CSDN、中国科学院自动化研究所承办的第三届中国人工智能大会(CCAI 201...

31911
来自专栏机器人网

AI科学家李飞飞告诉我们:超越 ImageNet 的视觉智能

说起人工智能,孕育了卷积神经网络和深度学习算法的 ImageNet 挑战赛恐怕是世界上最著名的 AI 数据集。8 年来,在 ImageNet 数据集的训练下,人...

983
来自专栏AI科技评论

视频 | 测量神经网络真的难吗?Uber说未必

AI 科技评论按:本文由雷锋字幕组编译,原标题 Measuring the Intrinsic Dimension of Objective Landscape...

842
来自专栏大数据文摘

大咖 | GAN之父Ian Goodfellow在Quora:机器学习十问十答

1424
来自专栏杂七杂八

CS231n学习笔记--计算机视觉历史回顾与介绍2

PASCAL Visial Object Challenge为图像识别和分类提供了一整套标准化的优秀的数据集,共20类。

543
来自专栏新智元

吴恩达谈深度学习:数据科学家需要知道的

【新智元导读】数据科学家需要什么深度学习知识?吴恩达 (Andrew Ng)用机器看图说话,机器问答等实例告诉大家。本文是吴恩达在2015年12月在Extrac...

3007
来自专栏量子位

谷歌大脑AutoML最新进展:不断进化的阿米巴网络

才把神经系统从最原始的雏形——阿米巴(Amoeba)变形虫分化出可对外界环境刺激做出响应的内浆,进化到现在的高度复杂的人脑。

1045
来自专栏算法channel

北大才女总结:机器学习的概念、历史和未来

提起机器学习,我们不得不给机器学习下一个准确的定义。在直观的层面,如果说计算机科学是研究关于算法的科学,那么机器学习就是研究关于“学习算法”的科学,或者说,不同...

910
来自专栏新智元

【创造人类水平AI】Bengio 纵览深度学习前沿:从 GAN 到极深网络

【新智元导读】深度学习大牛 Yoshua Bengio 日前在 Beneficial AI 大会上发表题为《创造人类水平AI》的演讲,总结深度学习技术发展及问题...

3298

扫描关注云+社区