NIPS 2017 深度学习论文集锦（5）含部分代码

您可能感兴趣

本篇文章基于上述四篇，故论文编号沿用上四篇的编号

[81] Maximizing Subset Accuracy with Recurrent Neural Networks in Multi-label Classification

Jinseok Nam, Eneldo Loza Mencía,

Hyunwoo J. Kim, Johannes Fürnkranz

https://papers.nips.cc/paper/7125-maximizing-subset-accuracy-with-recurrent-neural-networks-in-multi-label-classification.pdf

多标签学习即为针对一个样本需要给出多个类别标签，通常利用分类器链类处理这种问题。这篇论文利用循环神经网络来代替分类器链，循环神经网络这种算法一般用于序列到序列的预测。循环神经网络相对分类器链的优势在于预测的类别子集小很多。另外，参数共享也可以更好的利用之前的决策。

网络结构如下

其中PCC全称为probabilistic classifier chain，MLC全称为multi-label

classification

数据集

http://www.daviddlewis.com/resources/testcollections/reuters21578/

http://bioasq.org

数据集汇总信息如下

实验结果如下

[82] AdaGAN: Boosting Generative Models

Ilya O. Tolstikhin, Sylvain Gelly, Olivier

Bousquet, Carl-Johann SIMON-

GABRIEL, Bernhard Schölkopf

https://papers.nips.cc/paper/7126-adagan-boosting-generative-models.pdf

GAN在训练生成式模型中比较有效，本文提出一种迭代过程，即AdaGAN，每一次迭代都会对样本重新加权。这种算法源于boosting和GAN，可以在一定程度上解决丢失模式的问题。

算法流程如下

代码地址

https://github.com/tolstikhin/adag

[83] Semi-supervised Learning with GANs: Manifold Invariance with Improved Inference

Abhishek Kumar, Prasanna Sattigeri, Tom Fletcher

https://papers.nips.cc/paper/7137-semi-supervised-learning-with-gans-manifold-invariance-with-improved-inference.pdf

GAN比较适用于半监督学习算法。大部分基于GAN的算法利用判别器从假样本中判别真实样本，同时预测其类别。GAN的生成器可以较好地学习流形结构，本文将所学流形结构融入到分类器中。

各算法效果对比如下

[84] Approximation and Convergence Properties of Generative Adversarial

Learning

Shuang Liu, Olivier Bousquet, Kamalika Chaudhuri

https://papers.nips.cc/paper/7138-approximation-and-convergence-properties-of-generative-adversarial-learning.pdf

GAN能够对数据分布进行近似，它能够联合优化生成器和判别器构成的目标函数。但是，判别器对近似效果的影响还没有很好地解决，何种情形下使得目标函数收敛到全局最小时目标分布也收敛也没有很好地解决。本文主要讨论GAN的近似性和收敛性分析。

[85] From Bayesian Sparsity to Gated Recurrent Nets

Hao He, Bo Xin, Satoshi Ikehata, David Wipf

https://papers.nips.cc/paper/7139-from-bayesian-sparsity-to-gated-recurrent-nets.pdf

本文利用贝叶斯算法来实现稀疏性，并将其跟门限循环神经网络结合起来。

网络结构如下

实验参数及结果如下

[86] What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?

Alex Kendall, Yarin Gal

https://papers.nips.cc/paper/7141-what-uncertainties-do-we-need-in-bayesian-deep-learning-for-computer-vision.pdf

本文研究了贝叶斯深度学习中的数据不确定性和模型不确定性。

两种不确定性示例如下

性能比较如下

[87] Gradient descent GAN optimization is locally stable

Vaishnavh Nagarajan, J. Zico Kolter

https://papers.nips.cc/paper/7142-gradient-descent-gan-optimization-is-locally-stable.pdf

这篇文章主要关于梯度下降GAN的平稳分析，针对梯度下降GAN提出了一种正则项，该正则项可以保证GAN和WGAN的局部稳定性，并且可以加速收敛过程。

效果如下

代码地址

https://github.com/locuslab/gradient_regularized_gan

[88] Toward Robustness against Label Noise in Training Deep Discriminative Neural Networks

Arash Vahdat

https://papers.nips.cc/paper/7143-toward-robustness-against-label-noise-in-training-deep-discriminative-neural-networks.pdf

这篇论文提出了基于深度卷积神经网络的新框架，可以基于带噪声标签的数据集学习数据标签并且可以对未见数据打标签。

算法流程如下

其中的式10 11 12 13具体表示如下

[89]Dualing GANs

Yujia Li, Alexander Schwing, Kuan-Chieh Wang, Richard Zemel

https://papers.nips.cc/paper/7144-dualing-gans.pdf

这篇文章为了解决GAN的不稳定性提出了对偶GANs

效果对比如下

[90] Deep Learning for Precipitation Nowcasting: A Benchmark and A New Model

Xingjian Shi, Zhihan Gao, Leonard Lausen, Hao Wang, Dit-Yan Yeung, Wai-kin Wong, Wang-chun WOO

https://papers.nips.cc/paper/7145-deep-learning-for-precipitation-nowcasting-a-benchmark-and-a-new-model.pdf

这篇文章提出了轨迹GRU，TrajGRU，用于降水短时预测。

相关网络结构ConvLSTM。

网络结构如下

TrajGRU跟普通的卷积RNN的结构对比如下

各算法效果对比如下

[91] Do Deep Neural Networks Suffer from Crowding?

Anna Volokitin, Gemma Roig, Tomaso A. Poggio

https://papers.nips.cc/paper/7146-do-deep-neural-networks-suffer-from-crowding.pdf

这篇文章讨论了如何应对聚集多个物体的情形。

三种网络结构示例如下

对应的三种pooling具体如下

代码地址

https://github.com/CBMM/eccentricity

[92] Imagination-Augmented Agents for Deep Reinforcement Learning

Sébastien Racanière et al.

https://papers.nips.cc/paper/7152-imagination-augmented-agents-for-deep-reinforcement-learning.pdf

这篇文章提出一种新的深度增强学习的框架，I2As，全称为Imagination-Augmented Agents

网络结构如下

其中Env model结构如下

各方法对比如下

[93] Improved Training of Wasserstein GANs

Ishaan Gulrajani, Faruk Ahmed, Martin Arjovsky, Vincent Dumoulin, Aaron C. Courville

https://papers.nips.cc/paper/7159-improved-training-of-wasserstein-gans.pdf

这篇文章主要在于提高训练WGAN的稳定性，并且几乎没有超参数。

算法流程如下，其核心思想在于对梯度施加惩罚。

各模型效果对比如下

代码地址

https://github.com/igul222/improved_wgan_training

[94] Collaborative Deep Learning in Fixed Topology Networks

Zhanhong Jiang, Aditya Balu, Chinmay Hegde, Soumik Sarkar

https://papers.nips.cc/paper/7172-collaborative-deep-learning-in-fixed-topology-networks.pdf

这篇文章将CDSGD和CDMSGD用于固定拓扑网络中的协同深度学习，不仅可以数据并行，而且可以分散计算。

各优化方法对比如下

算法流程（伪代码）如下

[95] Fast-Slow Recurrent Neural

Networks

Asier Mujika, Florian Meier,

Angelika Steger

https://papers.nips.cc/paper/7173-fast-slow-recurrent-neural-networks.pdf

这篇文章提出一种新的RNN，FS-RNN，该网络结合了多尺度RNN和深度转移RNN，能够比较好的处理变长的序列数据。

网络结构示例如下

各模型效果对比如下

超参数设置如下

代码地址

https://github.com/amujika/Fast-Slow-LSTM.

[96] Learning Disentangled

Representations with Semi-Supervised Deep Generative Models

Siddharth Narayanaswamy, T. Brooks Paige, Jan-Willem van de Meent, Alban Desmaison, Noah Goodman, Pushmeet Kohli, Frank Wood, Philip Torr

https://papers.nips.cc/paper/7174-learning-disentangled-representations-with-semi-supervised-deep-generative-models.pdf

这篇文章关于变分自编码的半监督深度生成模型。

网络结构如下

代码地址

https://github.com/probtorch/probtorch.

[97] Exploring Generalization in Deep Learning

Behnam Neyshabur, Srinadh

Bhojanapalli, David Mcallester,

Nati Srebro

https://papers.nips.cc/paper/7176-exploring-generalization-in-deep-learning.pdf

这篇文章主要讨论深度学习中的泛化性。

[98] Recurrent Ladder Networks

Isabeau Prémont-Schwarz, Alexander

Ilin, Tele Hao, Antti Rasmus,

Rinu Boney, Harri Valpola

https://papers.nips.cc/paper/7182-recurrent-ladder-networks.pdf

这篇文章提出一种新的RNN。

网络结构如下

各方法对比如下

[99] Predictive State Recurrent Neural Networks

Carlton Downey, Ahmed Hefny, Byron Boots, Geoffrey J. Gordon, Boyue Li

https://papers.nips.cc/paper/7186-predictive-state-recurrent-neural-networks.pdf

这篇文章将RNN和预测状态表示结合，提出一种新的RNN，用于动力系统中的滤波和预测。

网络结构如下

相关代码

https://github.com/pytorch/examples/tree/master/word_language_model

[100] SVCCA: Singular Vector Canonical Correlation Analysis for Deep Learning Dynamics and Interpretability

Maithra Raghu, Justin Gilmer, Jason Yosinski, Jascha Sohl-Dickstein

https://papers.nips.cc/paper/7188-svcca-singular-vector-canonical-correlation-analysis-for-deep-learning-dynamics-and-interpretability.pdf

这篇文章将奇异向量典型相关分析用于深度学习的解释性。

SVCCA示例如下

SVCCA流程如下

本公众号专注于机器学习（主要包含但不限于深度学习）相关知识分享，其中涉及自然语言处理以及图像处理前沿论文等，欢迎大家关注交流