独家 | ICML第一天论文精选

ICML第一天的行程即将开始。这一天来自深度学习各个研究领域的专家们将对自己的论文和研究做出演讲。ICML选中的论文主要关注的类型都是基础理论类的研究,如深度学习主题的论文大多数关注于如何有效的建立学习模型和训练模型,而比较少最终应用的论文。ICML论文关注领域非常广泛。我们在周一的深度学习论文中选出了几篇我们认为可能比较有价值的文章,它们分别来自不同的主题板块,供大家参考:

深度学习模型的一次性生成(One-Shot Generalization in Deep Generative Models)

这是Google DeepMind的一篇论文,本文主要探讨如何让机器学习系统对新事物的学习速度能像人一样快,或者至少接近这个目标。我们都知道目前的神经网络要经过至少上千甚至上万或更多的样本训练之后才能“学会”一个新的概念,人们一直在试图搞清楚为什么人脑通常只要一次的训练就能学会新的概念。在这方面的研究如果得到突破,可以极大的提升机器学习的效率。

入选理由:机器在运算方面的速度无人能及,但学习能力却相当羸弱,如果能增强学习能力,对机器学习的发展必定有极大推动作用

学会使用记忆来建立网络(Learning to Generate with Memory)

这是清华大学的三名学者的研究论文。目前“记忆”还是AI的弱项,记忆单元目前已经被广泛应用于增强深度神经网络在长远来看的应对能力和预测指令的能力上,但还很少被用于生成模型的过程(通过研究现有的数据生成新的数据)。这个研究提出了一项DGM的应用,使得算法可以有通过外部存储的信息来完善自己的能力

入选理由:我们曾经提到过:记忆力的缺失或许是目前机器语音助手未能普及的最大因素。与人水平相当的记忆力是机器与人正常对话的最重要前提之一。

英语和普通话的端对端语音识别(End-to-End Speech Recognition in English and Mandarin)

这是百度给出的一篇论文,吴恩达也参与其中。展现了一种既可以用于识别英语也可以用于识别普通话的算法思路。这种算法即使在吵闹的环境下、有方言口音的语音中、或不同的语言下都能有很好的表现。百度说他们在此取得的成就主要与对超级计算机的合理应用有关。

为什么算法在Tetris中可以很容易的做出大部分决定?或许所有序贯决策问题都可以呢?(Why Most Decisions Are Easy in Tetris—And Perhaps in Other Sequential Decision Problems, As Well)

增强学习主要用于控制类的应用,如机器人自动控制等,不过它同深度学习的交叉已经越来越多。ICML中的增强学习的研究主要集中于通过训练算法来玩游戏或建立竞争性的模型来研究其中的规律。

Tetris即俄罗斯方块,研究者发现,只要人们可以在不知道相应的行为会带来多少回报的时候也能很轻易的做出关于一件事的最优决定,那这件事就很容易被计算机解决。他们想到了一种将这种特性应用到算法里,可使算法的学习更具效率和速度的方法。

入选理由:玩游戏是检验算法效果的一个非常有效的方式,此文针对此推出了一种新的算法学习模式,很有新意。

Minecraft中记忆、感知和行为的控制(Control of Memory, Active Perception, and Action in Minecraft)

这个团队设计了一种新的玩Minecraft的RL任务。特点也是将“记忆数据”加入了算法中。记忆力的完善应该是未来AI的发展趋势,也是AI提升空间最大的地方。

入选理由:Minecraft是一款开放性游戏,让AI将这个游戏玩得有意义比让AI玩俄罗斯方块要难很多,而且这项研究也涉及了建立AI记忆的内容。

离散型深度特征抽取:一个理论和新的架构(Discrete Deep Feature Extraction: A Theory and New Architectures)

卷积神经网络的时间持续性特征抽取第一次成为数学理论是在2012年,而这篇论文考虑了一个对离散型变量进行特征抽取的方式,并且尝试建立一个围绕这个特性的数学理论体系。

入选理由:并非所有变量都能转化成连续的函数,让机器学习算法学到一种有效率的提取离散型特征的方法是很有必要的。

噪音激活函数(Noisy Activation Function)

这篇论文雷锋网已经全文翻译过,在深度学习的过程中,通过向函数中加入噪音,反而使得梯度饱和的现象得到了很大的缓解。

入选理由:反常识、反直觉的思路反而取得了很好的效果。

通过木块塔的例子学习物理直觉(Learning Physical Intuition of Block Towers by Example)

这是Facebook AI研究院的作品。团队使用了一个类似于木滑车的模型,木滑车是一种能帮助婴儿获得关于物理世界的感觉的玩具。Facebook AI研究院创建了一个3D的积木模型,再使其崩塌,使算法能够预测积木崩塌的轨迹、严重程度和获得关于其物理特性的一些“直觉”。就像人类对一个物品的物理特性会有的感觉那样。

入选理由:让AI拥有对物品的“物理直觉”是很重要的,举个例子:当机器人看到泥土地面时如果能明白它处在湿润状态时自己踩上去就会陷进去,就可以避免很多麻烦。

目前针对深度学习的研究还处于比较基础的阶段,不难发现,研究者们还是在试图从各种角度模拟人类的感知和思维方式,以期做出实用的人工智能。这是合理的思路,让我们期待周一的演讲在美国纽约的正式开始。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2016-06-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Pulsar-V

C#下各种获取时间的姿势

直接贴代码吧 DateTime dt = DateTime.Now; Label1.Text = dt.ToString();//2005-11-5 13:21...

3206
来自专栏calmound

JDBC

import static org.junit.Assert.*; import java.sql.Connection; import java.sql.D...

2644
来自专栏海说

Java应用中常见的JDBC连接字符串(SQLite、MySQL、Oracle、Sybase、SQLServer、DB2)

Java应用中常见的JDBC连接字符串 Java应用中连接数据库是不可或缺的,于是便整理一些可能用到的JDBC的jar包及其相匹配的URL,以备日后查阅。 1)...

2720
来自专栏DT乱“码”

连接数据库操作

package com.chendongj.dbUtil; import java.sql.Connection; import java.sql.Drive...

2009
来自专栏c#开发者

C# : row-clickable GridView and get and set gridview rows using JavaScript

Complete C# code: ---------------- using System; using System.ComponentModel; ...

2996
来自专栏阿炬.NET

c# datetime 格式化

2846
来自专栏xingoo, 一个梦想做发明家的程序员

windows程序设计-第四章 system1.c

/*---------------------------------------------------- SYSMETS1.C -- System M...

23610
来自专栏跟着阿笨一起玩NET

GB2312转换成UTF-8与utf_8转换成GB2312

1831
来自专栏听雨堂

想修改CSS

      下载了一个“通用”的CSS文件,本来想偷懒的,结果发现有问题,就是它用的颜色是变量定义的,无法识别。我又找不到在哪里可以定义。 BODY{     ...

20410
来自专栏Pulsar-V

C# 数据类型之String转byte[]

string类型转成byte[]: byte[] byteArray = System.Text.Encoding.Default.GetBytes ( str...

2825

扫码关注云+社区