独家 | ICML第一天论文精选

ICML第一天的行程即将开始。这一天来自深度学习各个研究领域的专家们将对自己的论文和研究做出演讲。ICML选中的论文主要关注的类型都是基础理论类的研究,如深度学习主题的论文大多数关注于如何有效的建立学习模型和训练模型,而比较少最终应用的论文。ICML论文关注领域非常广泛。我们在周一的深度学习论文中选出了几篇我们认为可能比较有价值的文章,它们分别来自不同的主题板块,供大家参考:

深度学习模型的一次性生成(One-Shot Generalization in Deep Generative Models)

这是Google DeepMind的一篇论文,本文主要探讨如何让机器学习系统对新事物的学习速度能像人一样快,或者至少接近这个目标。我们都知道目前的神经网络要经过至少上千甚至上万或更多的样本训练之后才能“学会”一个新的概念,人们一直在试图搞清楚为什么人脑通常只要一次的训练就能学会新的概念。在这方面的研究如果得到突破,可以极大的提升机器学习的效率。

入选理由:机器在运算方面的速度无人能及,但学习能力却相当羸弱,如果能增强学习能力,对机器学习的发展必定有极大推动作用

学会使用记忆来建立网络(Learning to Generate with Memory)

这是清华大学的三名学者的研究论文。目前“记忆”还是AI的弱项,记忆单元目前已经被广泛应用于增强深度神经网络在长远来看的应对能力和预测指令的能力上,但还很少被用于生成模型的过程(通过研究现有的数据生成新的数据)。这个研究提出了一项DGM的应用,使得算法可以有通过外部存储的信息来完善自己的能力

入选理由:我们曾经提到过:记忆力的缺失或许是目前机器语音助手未能普及的最大因素。与人水平相当的记忆力是机器与人正常对话的最重要前提之一。

英语和普通话的端对端语音识别(End-to-End Speech Recognition in English and Mandarin)

这是百度给出的一篇论文,吴恩达也参与其中。展现了一种既可以用于识别英语也可以用于识别普通话的算法思路。这种算法即使在吵闹的环境下、有方言口音的语音中、或不同的语言下都能有很好的表现。百度说他们在此取得的成就主要与对超级计算机的合理应用有关。

为什么算法在Tetris中可以很容易的做出大部分决定?或许所有序贯决策问题都可以呢?(Why Most Decisions Are Easy in Tetris—And Perhaps in Other Sequential Decision Problems, As Well)

增强学习主要用于控制类的应用,如机器人自动控制等,不过它同深度学习的交叉已经越来越多。ICML中的增强学习的研究主要集中于通过训练算法来玩游戏或建立竞争性的模型来研究其中的规律。

Tetris即俄罗斯方块,研究者发现,只要人们可以在不知道相应的行为会带来多少回报的时候也能很轻易的做出关于一件事的最优决定,那这件事就很容易被计算机解决。他们想到了一种将这种特性应用到算法里,可使算法的学习更具效率和速度的方法。

入选理由:玩游戏是检验算法效果的一个非常有效的方式,此文针对此推出了一种新的算法学习模式,很有新意。

Minecraft中记忆、感知和行为的控制(Control of Memory, Active Perception, and Action in Minecraft)

这个团队设计了一种新的玩Minecraft的RL任务。特点也是将“记忆数据”加入了算法中。记忆力的完善应该是未来AI的发展趋势,也是AI提升空间最大的地方。

入选理由:Minecraft是一款开放性游戏,让AI将这个游戏玩得有意义比让AI玩俄罗斯方块要难很多,而且这项研究也涉及了建立AI记忆的内容。

离散型深度特征抽取:一个理论和新的架构(Discrete Deep Feature Extraction: A Theory and New Architectures)

卷积神经网络的时间持续性特征抽取第一次成为数学理论是在2012年,而这篇论文考虑了一个对离散型变量进行特征抽取的方式,并且尝试建立一个围绕这个特性的数学理论体系。

入选理由:并非所有变量都能转化成连续的函数,让机器学习算法学到一种有效率的提取离散型特征的方法是很有必要的。

噪音激活函数(Noisy Activation Function)

这篇论文雷锋网已经全文翻译过,在深度学习的过程中,通过向函数中加入噪音,反而使得梯度饱和的现象得到了很大的缓解。

入选理由:反常识、反直觉的思路反而取得了很好的效果。

通过木块塔的例子学习物理直觉(Learning Physical Intuition of Block Towers by Example)

这是Facebook AI研究院的作品。团队使用了一个类似于木滑车的模型,木滑车是一种能帮助婴儿获得关于物理世界的感觉的玩具。Facebook AI研究院创建了一个3D的积木模型,再使其崩塌,使算法能够预测积木崩塌的轨迹、严重程度和获得关于其物理特性的一些“直觉”。就像人类对一个物品的物理特性会有的感觉那样。

入选理由:让AI拥有对物品的“物理直觉”是很重要的,举个例子:当机器人看到泥土地面时如果能明白它处在湿润状态时自己踩上去就会陷进去,就可以避免很多麻烦。

目前针对深度学习的研究还处于比较基础的阶段,不难发现,研究者们还是在试图从各种角度模拟人类的感知和思维方式,以期做出实用的人工智能。这是合理的思路,让我们期待周一的演讲在美国纽约的正式开始。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2016-06-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量子位

六大你应该了解的人工智能和机器学习核心领域

到底什么是人工智能(AI)? 有些人把AI重新解释为“认知计算”或“机器智能”,而其他人错误的将AI与“机器学习”混淆起来。其实AI不是一种技术。它实际上是一个...

1855
来自专栏AI科技评论

学界 | 关于模型可解释性的深入思考:从哪里来,到哪里去?

「学习出一个通用智能行动者的潜力和局限性,算法公平方面细微的以及可以被真正规范化的挑战,以及现在的热门话题:能向人类解释、能被人类理解对模型来说意味着什么?」

803
来自专栏AI科技评论

李飞飞:在物体识别之后,计算机视觉还要多久才能理解这个世界?

AI科技评论按:9 月 26 日,机器人领域的顶级学术会议 IROS 2017 进入第二日。上午,著名华人计算机视觉专家、斯坦福副教授李飞飞,在温哥华会议中心面...

2736
来自专栏机器之心

重磅 | 自动驾驶计算机视觉研究综述:难题、数据集与前沿成果(附67页论文下载)

选自arXiv 机器之心编译 参与:李亚洲、微胖、黄小天、蒋思源 近日,德国马克斯普朗克智能系统研究所(Max Planck Institute for Int...

3177
来自专栏AI科技评论

学界 | 机器人走路未必笨拙,DeepMind新方法训练的人工智能就走得很飘逸

AI 科技评论按:无论是在树木间乱窜的猴子,还是躲避对手和进击目标的足球运动员,他们灵活敏捷的速度,都让人十分惊叹。掌握这种复杂的电机控制是物理智能研究的方向,...

3429
来自专栏新智元

【干货】生成对抗式网络创始人Quora答疑

【新智元导读】还记得不久前LeCun在Quora答题时说的,他最激动的深度学习进展是“生成对抗网络”吗?生成对抗网络的提出者Ian Goodfellow日前也在...

34912
来自专栏腾讯AI实验室的专栏

把照片唱给你听 :腾讯 AI Lab 国际领先技术邀你「趣」体验

感谢阅读腾讯AI Lab微信号第10篇文章。本文介绍了我们在图像描述生成与TTS等技术跨界的前沿研究进展,并邀请大家测试一个趣味Demo。我们还会分享在多媒体内...

50812
来自专栏计算机视觉战队

从零基础成为深度学习高手——Ⅰ

本文共9876字,阅读约需14分钟,有兴趣的朋友请耐心阅读,谢谢! 近期许良在公司内部做了一个关于人工智能/深度学习相关的主题分享讲座,为了准备这个演讲,花了1...

3308
来自专栏机器之心

DeepMind AlphaGo Zero引爆业内,创造者现身Reddit问答

27510
来自专栏AI科技评论

机器翻译新突破,微软中英新闻翻译达人类水平

翻译没有唯一标准答案,它更像是一种艺术。 AI科技评论消息:14 日晚,微软亚洲研究院与雷德蒙研究院的研究人员宣布,其研发的机器翻译系统在通用新闻报道测试集 n...

3536

扫码关注云+社区