ICML 2016精选论文 | AI科技评论周刊

上一周,ICML 2016在纽约画上了完美的句号。这个会议(International Conference on Machine Learning)已经逐渐发展为了由国际机器学习学会(IMLS)主办的世界最顶级的机器学习领域会议之一。来自世界各地的机器学习领域的专家们都以论文投稿的方式向大会递交了自己最新的研究成果,其中包括一篇来自百度硅谷实验室的语音识别的论文。

大会主要采用演讲和PPT展示的形式,辅以一定程度上的交流讨论会来进行。整个会议议程已经于24日全部结束,最终评出了三篇最佳论文奖和一篇最具时间价值奖,其中Google的DeepMind独揽了其中的两个奖项,过去的一周里我们选取了大会中一些我们认为比较有意义的论文并进行过翻译,在这里给大家回顾一下。

谷歌ICML获奖论文 看像素递归神经网络如何帮图片“极致”建模 ?

这篇论文获得了最佳论文奖。目前图像识别领域的深度学习通常聚焦于某个特定领域的识别应用,因为概括出一个相对通用的模型不管对算法设计者建立规则和机器概括和学习图像中的规则都是很难的。因此谷歌的这篇通过二维循环特性来进行有效的通用图像识别建模的论文获得今年ICML2016的最佳论文奖也不奇怪了。Google在论文中对自己的方法给出了详细的推导和应用过程,这项进步意味着目前的深度学习算法能得到的训练图片的量得到了很大的扩展,甚至可以将任意图片交给其用来训练。

算法采集的样本

利用CNN来学习任意图结构

这篇论文的选题同谷歌的那篇类似,也是研究一种通用化的图像识别算法。由NEC欧洲海德堡实验室的Mathias Niepert、Mohamed Ahmed、Konstantin Kutzkov完成。但是在结果上表现的没有Google的算法好,因此没能获奖。

新的算法在不同图形感受域上的每秒处理速率

百度ICML论文:端对端中英文语音识别

这篇论文来自百度硅谷实验室,吴恩达也参与了论文的研究和撰写,在这篇论文中,百度使用神经网络代替了传统的语音识别的分析结构,使得算法的适应性得到了提高,表现的结果是算法可以同时识别普通话和英语两种语言。并且可以“兼容”多种方言。百度表示,除了算法的设计,这项研究的进展还要归功于对HPC(超级计算机)的恰当应用,这极大的增加了百度对算法迭代的速度。推进了研究的进程。

百度的算法和人类在单词错误率(WER)上的表现比较

这违反直觉的“升噪”方法,反而能很好的解决激活函数梯度弥散的问题

这篇论文的最大亮点在于突破了传统的思维方式,独辟蹊径的改善了梯度弥散的问题。梯度弥散指的是在神经网络层数过多的时候,算法后向传播的途中卷积核的输入落入了函数的饱和区,因此得到的梯度很小,最终可能导致在算法正常发挥的情况下结果偏离正确值。通常来说,一般人的思路是尽可能增加每层的函数和初始值的精确性,但这篇论文反其道而行之,向函数中注入适当的噪音,反而起到了很好的抑制梯度弥散的作用。

参照模型(Zaremba & Sutskever,2014)的训练曲线,及其“学习执行”任务中的噪音变量问题。噪音网络可以更快地汇聚,并达到更高的精度,显示了噪音激活可以帮助更好地优化此类难以优化的任务。

阿尔法狗CTO讲座: AI如何用新型强化学习玩转围棋扑克游戏

DeepMind的科学家、围棋团队主程序员David Silver分享了它在增强学习方面应用的论文。如果说深度学习是教机器“认知”,增强学习就是教会机器人“行动”。通过不断的训练、试错来教会机器人或算法在各种情况下做出相应认知的一门科学。因此“下棋”其实也属于增强学习的一种应用。在某种程度上来说。这篇以棋牌类游戏应用为主题的论文其实就是一篇AlphaGo的解密。你们难道不好奇吗~

算法在德州扑克中与 SmooCT 对战的表现。每次评估的标准误差小于 10 mbb/h

关注这些最前沿的学术会议能让我们对AI最新的应用的可能性有足够的了解,也是了解国内和国际科研实力对比的一个极好的途径,我们会继续保持关注大型的学术会议,为大家第一时间献上其最新的亮点。

图片来自unist.ac.kr

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2016-06-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯高校合作

犀牛鸟·学问 | ECCV 2018论文宣讲研讨会回顾(二)

1162
来自专栏专知

悉尼大学欧阳万里等人30页最新目标检测综述

【导读】最近,中国国防科技大学、芬兰奥卢大学、澳大利亚悉尼大学、中国香港中文大学和加拿大滑铁卢大学等人推出一篇最新目标检测综述,详细阐述了当前目标检测最新成就和...

1843
来自专栏机器之心

学界 | 启发式搜索:华为提出通用人工智能工程方法

选自arXiv 作者:Zengkun Li 机器之心编译 参与:刘晓坤、李泽南 鉴于当前认知神经科学和人工智能工程所遇到的困难,华为 2012 实验室的研究人员...

2755
来自专栏AI研习社

CVPR 2017精彩论文解读:综合使用多形态核磁共振数据的3D生物医学图像分割方法 | 分享总结

论文的故事还在继续 相对于 CVPR 2017收录的共783篇论文,即便雷锋网(公众号:雷锋网) AI 科技评论近期挑选报道的获奖论文、业界大公司论文等等是...

3496
来自专栏新智元

吴恩达谈深度学习:数据科学家需要知道的

【新智元导读】数据科学家需要什么深度学习知识?吴恩达 (Andrew Ng)用机器看图说话,机器问答等实例告诉大家。本文是吴恩达在2015年12月在Extrac...

3047
来自专栏新智元

【重磅】Bengio最新演讲:Representations中的深度监督学习(49ppt下载)

【新智元导读】7月4日,Yoshua Bengio参加 Idiap 举办的深度学习研讨会,发表题为《Representations中的深度监督学习》的演讲。他首...

3685
来自专栏企鹅号快讯

模式识别面临的挑战

2017年11月25日,由模式识别国家重点实验室、中国自动化学会模式识别与机器智能专委会、中国人工智能学会模式识别专委会联合主办的模式识别与人工智能学科前沿研讨...

1877
来自专栏量子位

牛津教授吐槽DeepMind心智神经网络,还推荐了这些多智能体学习论文

在Machine Theory of Mind中,DeepMind提出了“机器心智理论网络”ToMnet,让AI智能体能理解自己和周围智能体的情绪、意图、欲望等...

862
来自专栏CDA数据分析师

不可错过的优质深度学习课程

原作者   David Venturi 编译 CDA 编译团队 本文为  CDA 数据分析师原创翻译作品,转载需授权 几乎每天都可以看到深度学习改变日常生活的新...

21110
来自专栏人工智能

每个人都应该知道的十个机器学习常识

当别人在高谈阔论机器学习时,你却插不上嘴,这是一种怎样的体验?不懂机器学习没有关系,但你一定要知道下面的十个机器学习基本常识。曾经在Endeca、谷歌和Link...

1765

扫码关注云+社区