干货 | NIPS 2017录用论文先睹为快!GAIR大讲堂NIPS清华专场精彩回顾

AI科技评论按:作为机器学习和计算神经科学的国际顶级学术会议NIPS,随着近些年人工智能的发展,也变得越来越火爆。从大会官方公布的一些数据就可以看出:NIPS 2017共收到3240篇论文投稿,有678篇论文被选中作为大会论文,比例20.9%,其中有40篇被选中进行口头报告(oral),112篇选为spotlight进行展示。毫不意外这些数字又创了大会历史新高。就在论文收录结果公布仅仅10天之后,官方数据显示注册名额已满!那么对于广大还没来得及注册或者没有机会去到前方会场的同学们来说,如何才能更进一步的了解本次NIPS的论文情况呢?

由雷锋网主办,清华数据派THU承办的第五期“GAIR大讲堂”在上周六邀请了5位NIPS 2017论文入选者,他们来到清华大学,为大家做了本次NIPS 入选论文的介绍分享。五位嘉宾中年龄最小的还在读大四,最大的博士还没毕业,但是各自都在学术上有了一定深度的研究。5位同学在活动现场做了细致的分享,广大同学们都表示受益匪浅,以下为本次活动的回顾总结。

嘉宾分享内容回顾

陆洲现场图

第一位分享的嘉宾是北京大学数学科学学院大四本科生陆洲,分享题目是从宽度来看神经网络的表达能力(The expressive power of neural networks : A view from the width)

他表示最近虽然有很多神经网络表达能力的相关研究工作,但多数注重于深度如何影响表达能力。

而这篇论文则从宽度入手,分别从宽度带来的相变,以及宽度与深度对效率的影响来做实验,得到了关于神经网络表达能力的新结果。

宽度与深度对效率的影响

他认为,研究深度学习表达能力,有助于我们对于给定任务,选择较优的网络框架。也是数学上解释深度学习的必要一环。

研究成果的意义


邓志杰现场图

第二位分享嘉宾是清华大学计算机系人智所博士生邓志杰,分享主题为:结构化生成对抗网络(Structured Generative Adversarial Networks)

他们团队的研究工作是基于指定语义或结构信息的条件产生式建模。现有的模型在搭建条件生成器时,往往需要大量的标注数据作为监督信号,而且不能够准确地对生成样本的语义信息加以控制。

因此他们提出结构化生成对抗网络(SGAN) 来解决半监督条件产生式建模这个问题。

SGAN 假设数据 x 基于两个独立的隐变量 y 和 z 来生成: y 编码了指定的语义信息,z 包含其他的可变因素。SGAN 的训练要解决两个对抗游戏,它们能够保证模型中各部分收敛到数据的真实联合分布p(x, y)和p(x, z)。为了确保 y 和 z 的解耦和,SGAN 搭建了两个合作游戏,它们在隐空间上最小化重建误差。

他们进行了大量的实验来评估结构化生成对抗网络。实验表明 SGAN 能够学习出一个高度可控的条件生成器,以及数据的解耦和的表示。

SGAN 在半监督分类任务的多个数据集上都取得了很好的实验结果。得益于对 y 和 z 的分开建模,SGAN 能够生成高质量并且严格遵循指定语义的样本。此外,SGAN 还能被扩展来进行一些有趣的实验,包括图像演化和图像风格迁移。


陈键飞现场图

第三位分享嘉宾是清华大学计算机系人智所博士生陈键飞,分享主题是:样本匹配差异及其在深度学习中的应用(Population Matching Discrepancy and Applications in Deep Learning)

两个概率分布之间可导的距离估计是对很多深度学习任务重要的问题。其中一种距离估计是最大平均差异(MMD)。

但是MMD有对核半径敏感、梯度弱以及用于训练目标时mini batch过大等问题。

论文中的分享围绕这一问题,介绍了他们在NIPS 2017上提出的样本匹配差异(PMD)。

他们提出了PMD作为分布之间距离的估计,并提出了用PMD作为目标函数时学习分布参数的算法。PMD定义成两分布样本构成的二分图的最小匹配,证明了PMD是Wasserstein度量的强一致估计量。

实验中将PMD用于了两个深度学习问题,包括领域自适应和训练产生式模型。结果表明PMD克服了上述MMD的不足,并在效果和收敛速度上都超过了MMD。

实验总结


汪跃现场图

第四位嘉宾是北京交通大学理学院博士生汪跃,分享主题是:马尔科夫情形下的GTD 策略评估算法有限样本误差分析 (Finite sample analysis of the GTD Policy Evaluation Algorithms in Markov Setting)

汪跃说自己虽然是数学专业,但是特别喜欢跟应用结合的相关领域。曾经做过一段时间与脑科学有关的影像遗传学方面的工作。最近感兴趣的方向主要集中在强化学习中的算法理论分析和算法设计等方面,以及优化算法相关的方向 。

策略评估是强化学习中一个重要的组成部分。策略评估的目标是估计给定策略的价值函数(从任一状态出发,依照给定的策略时,期望意义下未来的累计回报)。一个好的策略评估算法可以更准确的估计出当前策略的价值函数,并且有助于找到一个更好的策略。

当状态空间特别大或者是连续空间的时候,线性函数近似下的GTD策略评估算法非常常用。考虑到收集数据的过程非常耗费时间和代价,清楚的理解GTD算法在有限样本情况下的表现就显得非常重要。

之前的工作将GTD算法与鞍点问题建立了联系,并且在样本独立同分布和步长为定值的情况下给出了GTD算法的有限样本误差分析。但是,在实际的强化学习问题中,数据都是由马氏决策过程产生的,并不是独立同分布的。并且在实际中,步长往往也不一定是一个定值。

这篇论文中首先证明了在数据来自于马尔科夫链的情况下,鞍点问题的期望意义下和高概率意义下的有限样本误差,进而得到了更接近于实际情形下的GTD的算法的有限样本误差分析。从结果中可以看到, 在实际中的马尔科夫的情形下:

(1)GTD算法确实依然收敛; (2)收敛的速率依赖于步长的设定和马尔科夫链的混合时间这一属性; (3)通过混合时间的角度解释了经验回放这一技巧的有效性,其有效性可以理解成缩短了马尔科夫链的混合时间。

实验结果

单小涵现场图

第五位分享嘉宾是中国科学院计算技术研究所博士生单小涵,分享主题是:带有ε-近似次模阈值函数的影响力最大化问题(Influence Maximization with epsilon-Almost Submodular Threshold Function )

她分享的主要是社交网络影响力最大化算法研究。影响力最大化旨在从社交网络中选择K个种子节点,使得这k个种子节点通过传播产生的影响范围最大。这个问题已经被广泛研究,但是大多的工作专注于次模的影响力传播模型。然而许多现实的传播现象表明,在实际传播中非次模现象十分普遍。

分享开始时,她举了几个通俗的例子,介绍了目前几个用户规模较大的社交网络和三个经典的传播模型。

随后分别对三大传播模型的算法进行了介绍,而这篇论文的价值所在是作者在论文中提到了一种近次模函数,并以这类函数作为阈值,研究通用阈值模型下的影响力最大化问题。

实验结果


活动现场照片

提问环节,同学们表现踊跃积极,收获满满

内容分享结束后,几位嘉宾还同时分享了他们在顶会上发论文的心得与体会。在最后的问答环节中,现场有很多刚刚入学的研究生,就学习、未来学术研究方向以及怎样才能进到像微软亚研这样的大企业实习等方面遇到的问题请教了几位嘉宾,他们都耐心给出了解答,广大在场的同学们都收获良多。以上就是GAIR大讲堂NIPS清华专场 5位嘉宾分享的全部内容。AI科技评论为大家整理了本次活动现场PPT(可关注AI科技评论公众号,后台回复“清华PPT”即可获取下载地址和密码。)

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-09-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技大本营的专栏

CCAI 2017 | 香港科技大学计算机系主任杨强:论深度学习的迁移模型

作者 | 贾维娣 7月23日,由中国人工智能学会、阿里巴巴集团 & 蚂蚁金服主办,CSDN、中国科学院自动化研究所承办的第三届中国人工智能大会(CCAI 201...

34711
来自专栏AI科技评论

活动 | 中国自动化学会「深度与宽度强化学习」智能自动化学科前沿讲习班

中国自动化学会围绕「深度与宽度强化学习」这一主题,在中科院自动化所成功举办第 5 期智能自动化学科前沿讲习班。

1085
来自专栏CDA数据分析师

机器学习=「新瓶装旧酒」的数据统计?No!

随着深度学习的热度开始消退,这个梗最近开始在社交媒体上广为流传,引起了互联网上众人的讥笑。机器学习没什么好激动的,它只是对统计技术的一种补充——这种观点越来越普...

621
来自专栏云计算

神经网络开始放飞自我!都是因为架构搜索新算法

雷锋网:雷锋字幕组出品系列短视频《 2 分钟论文 》,带大家用碎片时间阅览前沿技术,了解 AI 领域的最新研究成果。 雷锋网本期论文:结合分层表示的高级架构搜索...

2638
来自专栏AI科技评论

干货 | 清华博士生孙奕帆:行人再识别论文介绍及最新进展

AI 科技评论按:提到计算机视觉领域的研究,大家可能最先想到的是人脸识别,其实还有一个更为实用的研究应用——行人再识别。行人再识别是利用计算机视觉技术在图像或视...

3735
来自专栏磐创AI技术团队的专栏

TensorFlow系列专题(三):深度学习简介

作为机器学习最重要的一个分支,深度学习近年来发展迅猛,在国内外都引起了广泛的关注。然而深度学习的火热也不是一时兴起的,而是经历了一段漫长的发展史。接下来我们简单...

703
来自专栏AI科技评论

ICML 2016精选论文 | AI科技评论周刊

上一周,ICML 2016在纽约画上了完美的句号。这个会议(International Conference on Machine Learning)已经逐渐发...

3296
来自专栏京东技术

JDAI-Face | 新型人脸属性识别系统技术解析

人可以轻易理解所看到的视觉信息,但将同样的能力赋予计算机,并让其代替人类来进行类脑思考,是人工智能学术界、产业界争相研究的科学课题。人脸作为最重要的生物特征,蕴...

1913
来自专栏机器之心

揭开深度学习黑箱:希伯来大学计算机科学教授提出「信息瓶颈」

选自QuantaMagazine 作者:Natalie Wolchover 机器之心编译 参与:黄小天、刘晓坤、路雪 耶路撒冷希伯来大学的计算机与神经科学家 N...

3608
来自专栏AI科技评论

大会直击|微软亚洲研究院刘铁岩:深度学习成功的秘密

9月9日,2016湖南人工智能湖南论坛在长沙举办,大会期间,来自国内外的许多顶级专家在会上给我们做了报告,下面是雷锋网根据微软亚洲研究院刘铁岩教授的现场精华整理...

3466

扫码关注云+社区