独家 | ICML第一天论文精选

ICML第一天的行程即将开始。这一天来自深度学习各个研究领域的专家们将对自己的论文和研究做出演讲。ICML选中的论文主要关注的类型都是基础理论类的研究,如深度学习主题的论文大多数关注于如何有效的建立学习模型和训练模型,而比较少最终应用的论文。ICML论文关注领域非常广泛。我们在周一的深度学习论文中选出了几篇我们认为可能比较有价值的文章,它们分别来自不同的主题板块,供大家参考:

深度学习模型的一次性生成(One-Shot Generalization in Deep Generative Models)

这是Google DeepMind的一篇论文,本文主要探讨如何让机器学习系统对新事物的学习速度能像人一样快,或者至少接近这个目标。我们都知道目前的神经网络要经过至少上千甚至上万或更多的样本训练之后才能“学会”一个新的概念,人们一直在试图搞清楚为什么人脑通常只要一次的训练就能学会新的概念。在这方面的研究如果得到突破,可以极大的提升机器学习的效率。

入选理由:机器在运算方面的速度无人能及,但学习能力却相当羸弱,如果能增强学习能力,对机器学习的发展必定有极大推动作用

学会使用记忆来建立网络(Learning to Generate with Memory)

这是清华大学的三名学者的研究论文。目前“记忆”还是AI的弱项,记忆单元目前已经被广泛应用于增强深度神经网络在长远来看的应对能力和预测指令的能力上,但还很少被用于生成模型的过程(通过研究现有的数据生成新的数据)。这个研究提出了一项DGM的应用,使得算法可以有通过外部存储的信息来完善自己的能力

入选理由:我们曾经提到过:记忆力的缺失或许是目前机器语音助手未能普及的最大因素。与人水平相当的记忆力是机器与人正常对话的最重要前提之一。

英语和普通话的端对端语音识别(End-to-End Speech Recognition in English and Mandarin)

这是百度给出的一篇论文,吴恩达也参与其中。展现了一种既可以用于识别英语也可以用于识别普通话的算法思路。这种算法即使在吵闹的环境下、有方言口音的语音中、或不同的语言下都能有很好的表现。百度说他们在此取得的成就主要与对超级计算机的合理应用有关。

为什么算法在Tetris中可以很容易的做出大部分决定?或许所有序贯决策问题都可以呢?(Why Most Decisions Are Easy in Tetris—And Perhaps in Other Sequential Decision Problems, As Well)

增强学习主要用于控制类的应用,如机器人自动控制等,不过它同深度学习的交叉已经越来越多。ICML中的增强学习的研究主要集中于通过训练算法来玩游戏或建立竞争性的模型来研究其中的规律。

Tetris即俄罗斯方块,研究者发现,只要人们可以在不知道相应的行为会带来多少回报的时候也能很轻易的做出关于一件事的最优决定,那这件事就很容易被计算机解决。他们想到了一种将这种特性应用到算法里,可使算法的学习更具效率和速度的方法。

入选理由:玩游戏是检验算法效果的一个非常有效的方式,此文针对此推出了一种新的算法学习模式,很有新意。

Minecraft中记忆、感知和行为的控制(Control of Memory, Active Perception, and Action in Minecraft)

这个团队设计了一种新的玩Minecraft的RL任务。特点也是将“记忆数据”加入了算法中。记忆力的完善应该是未来AI的发展趋势,也是AI提升空间最大的地方。

入选理由:Minecraft是一款开放性游戏,让AI将这个游戏玩得有意义比让AI玩俄罗斯方块要难很多,而且这项研究也涉及了建立AI记忆的内容。

离散型深度特征抽取:一个理论和新的架构(Discrete Deep Feature Extraction: A Theory and New Architectures)

卷积神经网络的时间持续性特征抽取第一次成为数学理论是在2012年,而这篇论文考虑了一个对离散型变量进行特征抽取的方式,并且尝试建立一个围绕这个特性的数学理论体系。

入选理由:并非所有变量都能转化成连续的函数,让机器学习算法学到一种有效率的提取离散型特征的方法是很有必要的。

噪音激活函数(Noisy Activation Function)

这篇论文雷锋网已经全文翻译过,在深度学习的过程中,通过向函数中加入噪音,反而使得梯度饱和的现象得到了很大的缓解。

入选理由:反常识、反直觉的思路反而取得了很好的效果。

通过木块塔的例子学习物理直觉(Learning Physical Intuition of Block Towers by Example)

这是Facebook AI研究院的作品。团队使用了一个类似于木滑车的模型,木滑车是一种能帮助婴儿获得关于物理世界的感觉的玩具。Facebook AI研究院创建了一个3D的积木模型,再使其崩塌,使算法能够预测积木崩塌的轨迹、严重程度和获得关于其物理特性的一些“直觉”。就像人类对一个物品的物理特性会有的感觉那样。

入选理由:让AI拥有对物品的“物理直觉”是很重要的,举个例子:当机器人看到泥土地面时如果能明白它处在湿润状态时自己踩上去就会陷进去,就可以避免很多麻烦。

目前针对深度学习的研究还处于比较基础的阶段,不难发现,研究者们还是在试图从各种角度模拟人类的感知和思维方式,以期做出实用的人工智能。这是合理的思路,让我们期待周一的演讲在美国纽约的正式开始。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2016-06-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

博客 | TensorFlow系列专题(一):机器学习基础

1956年的8月,美国达特茅斯学院(Dartmouth College)举行了一次研讨会,这次会议由约翰麦卡锡等人发起,会议上约翰麦卡锡首次提出了“人工智能”这...

672
来自专栏机器人网

机器人视觉与计算机视觉:有什么不同?

机器人视觉、计算机视觉、图像处理、机器视觉和图形识别,这几者之间到底有神马区别呢? 要弄清楚他们哪一个是哪一个,有时候也真的是容易混淆的。接下来看看这些术语的...

3034
来自专栏null的专栏

[置顶] 《Python机器学习算法》的写作历程

前言 首先,感谢各位支持我博客的同学,你们的支持是我一直努力的动力,正是因为你们的支持,才有了《Python机器学习算法》一书的面世: ? 目前,该书已经可以在...

4045
来自专栏磐创AI技术团队的专栏

TensorFlow系列专题(一):机器学习基础

1956年的8月,美国达特茅斯学院(Dartmouth College)举行了一次研讨会,这次会议由约翰麦卡锡等人发起,会议上约翰麦卡锡首次提出了“人工智能”这...

734
来自专栏AI科技评论

学界 | DeepMind新研究:使用强化对抗学习合成图像程序

AI 科技评论按:近日,DeepMind 发表的一篇博客中提到了一种新的人工智能体,它可以推断数字,角色和肖像的构造方式。更为关键的是,它们是自己学会做这件事,...

3426
来自专栏机器之心

解读 | UC Berkeley 教育学家与心理学家联合提出关于人类好奇心的推理分析

机器之心原创 作者:Jashua Chou 参与:Qintong Wu、Nurhachu Null 好奇心,作为这篇论文的主题,是相当有趣的。它与内在动机的相关...

2616
来自专栏企鹅号快讯

人工智能、机器学习、深度学习、数据挖掘、数据分析都是什么意思

在开始学习python大数据之前,我们先要搞清楚人工智能、机器学习、深度学习、数据挖掘、数据分析都是什么意思。 会用30多堂课的内容带大家学习python、数据...

4099
来自专栏新智元

深度学习巅峰之年:技术、开源、兼并和硬件发展全回顾(附论文合集)

【新智元导读】本文是对2016年深度学习领域的进展的综述和回顾,介绍了2016年该领域的一些重要研究成果,包括无监督学习、增强学习、生成对抗网络等,以及产业中的...

4036
来自专栏AI研习社

DeepMind 新研究:使用强化对抗学习合成图像程序

AI 研习社:近日,DeepMind 发表的一篇博客中提到了一种新的人工智能体,它可以推断数字,角色和肖像的构造方式。更为关键的是,它们是自己学会做这件事,而不...

811
来自专栏AI科技评论

腾讯 AI Lab 主任张潼博士:机器学习里的优化问题

AI 科技评论按:日前,在由上海财经大学交叉科学研究院(RIIS)主办,杉数科技有限公司协办的「现代运筹学发展讨论会」上,腾讯 AI Lab(腾讯人工智能实验室...

3649

扫码关注云+社区