干货 | NIPS 2017录用论文先睹为快!GAIR大讲堂NIPS清华专场精彩回顾

AI科技评论按:作为机器学习和计算神经科学的国际顶级学术会议NIPS,随着近些年人工智能的发展,也变得越来越火爆。从大会官方公布的一些数据就可以看出:NIPS 2017共收到3240篇论文投稿,有678篇论文被选中作为大会论文,比例20.9%,其中有40篇被选中进行口头报告(oral),112篇选为spotlight进行展示。毫不意外这些数字又创了大会历史新高。就在论文收录结果公布仅仅10天之后,官方数据显示注册名额已满!那么对于广大还没来得及注册或者没有机会去到前方会场的同学们来说,如何才能更进一步的了解本次NIPS的论文情况呢?

由雷锋网主办,清华数据派THU承办的第五期“GAIR大讲堂”在上周六邀请了5位NIPS 2017论文入选者,他们来到清华大学,为大家做了本次NIPS 入选论文的介绍分享。五位嘉宾中年龄最小的还在读大四,最大的博士还没毕业,但是各自都在学术上有了一定深度的研究。5位同学在活动现场做了细致的分享,广大同学们都表示受益匪浅,以下为本次活动的回顾总结。

嘉宾分享内容回顾

陆洲现场图

第一位分享的嘉宾是北京大学数学科学学院大四本科生陆洲,分享题目是从宽度来看神经网络的表达能力(The expressive power of neural networks : A view from the width)

他表示最近虽然有很多神经网络表达能力的相关研究工作,但多数注重于深度如何影响表达能力。

而这篇论文则从宽度入手,分别从宽度带来的相变,以及宽度与深度对效率的影响来做实验,得到了关于神经网络表达能力的新结果。

宽度与深度对效率的影响

他认为,研究深度学习表达能力,有助于我们对于给定任务,选择较优的网络框架。也是数学上解释深度学习的必要一环。

研究成果的意义


邓志杰现场图

第二位分享嘉宾是清华大学计算机系人智所博士生邓志杰,分享主题为:结构化生成对抗网络(Structured Generative Adversarial Networks)

他们团队的研究工作是基于指定语义或结构信息的条件产生式建模。现有的模型在搭建条件生成器时,往往需要大量的标注数据作为监督信号,而且不能够准确地对生成样本的语义信息加以控制。

因此他们提出结构化生成对抗网络(SGAN) 来解决半监督条件产生式建模这个问题。

SGAN 假设数据 x 基于两个独立的隐变量 y 和 z 来生成: y 编码了指定的语义信息,z 包含其他的可变因素。SGAN 的训练要解决两个对抗游戏,它们能够保证模型中各部分收敛到数据的真实联合分布p(x, y)和p(x, z)。为了确保 y 和 z 的解耦和,SGAN 搭建了两个合作游戏,它们在隐空间上最小化重建误差。

他们进行了大量的实验来评估结构化生成对抗网络。实验表明 SGAN 能够学习出一个高度可控的条件生成器,以及数据的解耦和的表示。

SGAN 在半监督分类任务的多个数据集上都取得了很好的实验结果。得益于对 y 和 z 的分开建模,SGAN 能够生成高质量并且严格遵循指定语义的样本。此外,SGAN 还能被扩展来进行一些有趣的实验,包括图像演化和图像风格迁移。


陈键飞现场图

第三位分享嘉宾是清华大学计算机系人智所博士生陈键飞,分享主题是:样本匹配差异及其在深度学习中的应用(Population Matching Discrepancy and Applications in Deep Learning)

两个概率分布之间可导的距离估计是对很多深度学习任务重要的问题。其中一种距离估计是最大平均差异(MMD)。

但是MMD有对核半径敏感、梯度弱以及用于训练目标时mini batch过大等问题。

论文中的分享围绕这一问题,介绍了他们在NIPS 2017上提出的样本匹配差异(PMD)。

他们提出了PMD作为分布之间距离的估计,并提出了用PMD作为目标函数时学习分布参数的算法。PMD定义成两分布样本构成的二分图的最小匹配,证明了PMD是Wasserstein度量的强一致估计量。

实验中将PMD用于了两个深度学习问题,包括领域自适应和训练产生式模型。结果表明PMD克服了上述MMD的不足,并在效果和收敛速度上都超过了MMD。

实验总结


汪跃现场图

第四位嘉宾是北京交通大学理学院博士生汪跃,分享主题是:马尔科夫情形下的GTD 策略评估算法有限样本误差分析 (Finite sample analysis of the GTD Policy Evaluation Algorithms in Markov Setting)

汪跃说自己虽然是数学专业,但是特别喜欢跟应用结合的相关领域。曾经做过一段时间与脑科学有关的影像遗传学方面的工作。最近感兴趣的方向主要集中在强化学习中的算法理论分析和算法设计等方面,以及优化算法相关的方向 。

策略评估是强化学习中一个重要的组成部分。策略评估的目标是估计给定策略的价值函数(从任一状态出发,依照给定的策略时,期望意义下未来的累计回报)。一个好的策略评估算法可以更准确的估计出当前策略的价值函数,并且有助于找到一个更好的策略。

当状态空间特别大或者是连续空间的时候,线性函数近似下的GTD策略评估算法非常常用。考虑到收集数据的过程非常耗费时间和代价,清楚的理解GTD算法在有限样本情况下的表现就显得非常重要。

之前的工作将GTD算法与鞍点问题建立了联系,并且在样本独立同分布和步长为定值的情况下给出了GTD算法的有限样本误差分析。但是,在实际的强化学习问题中,数据都是由马氏决策过程产生的,并不是独立同分布的。并且在实际中,步长往往也不一定是一个定值。

这篇论文中首先证明了在数据来自于马尔科夫链的情况下,鞍点问题的期望意义下和高概率意义下的有限样本误差,进而得到了更接近于实际情形下的GTD的算法的有限样本误差分析。从结果中可以看到, 在实际中的马尔科夫的情形下:

(1)GTD算法确实依然收敛; (2)收敛的速率依赖于步长的设定和马尔科夫链的混合时间这一属性; (3)通过混合时间的角度解释了经验回放这一技巧的有效性,其有效性可以理解成缩短了马尔科夫链的混合时间。

实验结果

单小涵现场图

第五位分享嘉宾是中国科学院计算技术研究所博士生单小涵,分享主题是:带有ε-近似次模阈值函数的影响力最大化问题(Influence Maximization with epsilon-Almost Submodular Threshold Function )

她分享的主要是社交网络影响力最大化算法研究。影响力最大化旨在从社交网络中选择K个种子节点,使得这k个种子节点通过传播产生的影响范围最大。这个问题已经被广泛研究,但是大多的工作专注于次模的影响力传播模型。然而许多现实的传播现象表明,在实际传播中非次模现象十分普遍。

分享开始时,她举了几个通俗的例子,介绍了目前几个用户规模较大的社交网络和三个经典的传播模型。

随后分别对三大传播模型的算法进行了介绍,而这篇论文的价值所在是作者在论文中提到了一种近次模函数,并以这类函数作为阈值,研究通用阈值模型下的影响力最大化问题。

实验结果


活动现场照片

提问环节,同学们表现踊跃积极,收获满满

内容分享结束后,几位嘉宾还同时分享了他们在顶会上发论文的心得与体会。在最后的问答环节中,现场有很多刚刚入学的研究生,就学习、未来学术研究方向以及怎样才能进到像微软亚研这样的大企业实习等方面遇到的问题请教了几位嘉宾,他们都耐心给出了解答,广大在场的同学们都收获良多。以上就是GAIR大讲堂NIPS清华专场 5位嘉宾分享的全部内容。AI科技评论为大家整理了本次活动现场PPT(可关注AI科技评论公众号,后台回复“清华PPT”即可获取下载地址和密码。)

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-09-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

数据挖掘竞赛的套路就在这里了,看完本文全明白!

前言 刚好在暑假通过参加 Kaggle 的 Zillow Prize 比赛来让我在数据挖掘和机器学习中完成了菜逼到 Level 1 的转变,借这个平台总结一...

4268
来自专栏新智元

天津大学、东京大学等研究:用深度强化学习检测模型缺陷

1627
来自专栏后端技术探索

白话AI

过去我们用通过编写设定程序来直接让计算机完成某些特定任务,现在,我们还可以训练计算机,就像我们训练宠物一样。这就是用大白话来解释机器学习。当然了,对于一些相对简...

586
来自专栏AI研习社

数据挖掘竞赛的套路就在这里了,看完本文全明白!

刚好在暑假通过参加 Kaggle 的 Zillow Prize 比赛来让我在数据挖掘和机器学习中完成了菜逼到 Level 1 的转变,借这个平台总结一下比赛的...

3556
来自专栏大数据文摘

从基线模型开始:别担心,模型最开始都让人不忍直视

1025
来自专栏EAWorld

拥抱人工智能,从机器学习开始

自“阿尔法狗”(AlphaGo)完胜人类围棋顶尖高手后,有关人工智能(AI)的讨论就从未停歇。工业4.0方兴未艾,人工智能引领的工业5.0时代却已悄然苏醒。人工...

923
来自专栏机器学习算法与Python学习

长文 | 一文读懂什么是机器学习

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第一 【Python】:排名第三 【算法】:排名第四 在进入正题前,我想大家心中可能会有一...

3445
来自专栏钱塘大数据

【干货】从基础概念到数学公式,学霸的机器学习笔记

导读:近日,来自SAP(全球第一大商业软件公司)的梁劲(Jim Liang)公开了自己所写的一份 520 页的学习教程(英文版),详细、明了地介绍了机器学习中的...

1142
来自专栏IT派

如何在机器学习竞赛中更胜一筹?

机器学习很复杂。你可能会遇到一个令你无从下手的数据集,特别是当你处于机器学习的初期。 在这篇文章中,你将学到一些基本的关于建立机器学习模型的技巧,大多数人都从中...

3237
来自专栏机器之心

从基础概念到数学公式,这是一份520页的机器学习笔记(图文并茂)

1656

扫描关注云+社区