NIPS 2017 深度学习论文集锦（4）

您可能感兴趣

本篇文章基于上述三篇，故论文编号沿用上三篇的编号

[61] Dynamic Routing Between Capsules

Sara Sabour, Nicholas Frosst, Geoffrey E. Hinton

https://papers.nips.cc/paper/6975-dynamic-routing-between-capsules.pdf

这篇论文主要关于Capsule，其中考虑了路由机制。

路由机制伪代码如下

网络结构如下，其中的PrimaryCaps是比较基础的Capsule，而DigitCaps是比较高层的Capsule。

从DigitCaps可以反解码出数字，图示如下

CapsNet的测试准确率如下

CapsNet对重叠的数字效果也较好，示例如下

数据集地址

http://www.cs.toronto.edu/~tijmen/affNIST/

[62] Incorporating Side Information by Adaptive Convolution

Di Kang, Debarun Dhar, Antoni Chan

https://papers.nips.cc/paper/6976-incorporating-side-information-by-adaptive-convolution.pdf

这篇文章利用side information 生成滤波流形网络，并将其融入卷积神经网络，提出了自适应卷积神经网络，该网络对人数统计，带污染的数字识别，图像去模糊效果较好。

滤波流形示例如下

融入滤波流形的自适应卷积神经网络结构示例如下

用于人群密度估计的自适应卷积神经网络示例如下

针对Figure 3，自适应卷积神经网络跟卷积神经网络的参数对比如下

自适应卷积神经网络的参数少于一般的卷积神经网络的参数。

自适应卷积神经网络用于图像重构的示例如下

各方法在人群密度统计任务中的对比如下

针对含有椒盐噪声的数字识别，各方法对比如下

各方法在图像重构中的效果对比

[63] Structured Generative Adversarial Networks

Zhijie Deng, Hao Zhang, Xiaodan Liang, Luona Yang, Shizhen Xu, Jun Zhu, Eric P. Xing

https://papers.nips.cc/paper/6979-structured-generative-adversarial-networks.pdf

这篇文章关于GAN，提出了结构化GAN，SGAN，用于半监督条件生成模型。

SGAN的结构示例如下

关于SGAN的训练，其伪代码如下

各算法效果对比如下

代码地址

https://github.com/thudzj/StructuredGAN

[64] Deep Hyperspherical Learning

Weiyang Liu, Yan-Ming Zhang, Xingguo Li, Zhiding Yu, Bo Dai, Tuo Zhao, Le Song

https://papers.nips.cc/paper/6984-deep-hyperspherical-learning.pdf

这篇文章基于卷积神经网络提出了一种球体式的卷积神经网络SphereNet，其中的卷积也是球体式卷积SphereConv。

网络的整体结构如下

不同损失函数的准确率对比如下

不同网络结构的准确率对比如下

[65] Learning Deep Structured Multi-Scale Features using Attention-Gated CRFs for Contour Prediction

Dan Xu, Wanli Ouyang, Xavier Alameda-Pineda, Elisa Ricci, Xiaogang Wang, Nicu Sebe

这篇文章提出了基于注意力的门限CRF来学习深层结构化多尺度特征。

下面是几种不同的多尺度深层特征学习及融合结构对比。

整体网络结构如下

其中AMH-Net是指Attention-guided Multi-scale Hierarchical deepNet

模型效果示例如下

各算法效果对比如下

代码地址

https://github.com/danxuhk/AttentionGatedMulti-ScaleFeatureLearning

[66] Triple Generative Adversarial Nets

Chongxuan LI, Taufik Xu, Jun Zhu, Bo Zhang

https://papers.nips.cc/paper/6997-triple-generative-adversarial-nets.pdf

这篇文章提出了一种新的GAN网络，Triple GAN，这里的triple源于生成器，判别器，分类器。

网络结构示例如下

triple GAN的训练流程如下

各算法效果对比如下

代码地址

https://github.com/zhenxuan00/triple-gan

[67] Deconvolutional Paragraph

Representation Learning

Yizhe Zhang, Dinghan Shen, Guoyin

Wang,Zhe Gan, Ricardo Henao,

Lawrence Carin

https://papers.nips.cc/paper/7005-deconvolutional-paragraph-representation-learning.pdf

这篇文章提出了一种序列到序列的自编码框架，其中利用卷积和反卷积来实现。

网络结构如下，其中包含卷积层和反卷积层。

在重构酒店评论中，各算法效果对比如下

在文档分类问题中，各算法效果对比如下

[68] Reconstructing perceived faces from brain activations with deep adversarial neural decoding

Yağmur Güçlütürk, Umut Güçlü, Katja Seeliger, Sander Bosch, Rob van Lier, Marcel A. J. van Gerven

https://papers.nips.cc/paper/7012-reconstructing-perceived-faces-from-brain-activations-with-deep-adversarial-neural-decoding.pdf

这篇文章将概率推理跟卷积神经网络结合。

整体框架如下

[69] Temporal Coherency based Criteria for Predicting Video Frames using Deep Multi-stage Generative Adversarial

Networks

Prateep Bhattacharjee, Sukhendu Das

https://papers.nips.cc/paper/7014-temporal-coherency-based-criteria-for-predicting-video-frames-using-deep-multi-stage-generative-adversarial-networks.pdf

这篇文章提出了多阶段的GAN。

整体结构示例如下

归一化交叉相关评分流程如下

各算法效果对比如下

[70] Doubly Stochastic Variational

Inference for Deep Gaussian Processes

Hugh Salimbeni, Marc Deisenroth

https://papers.nips.cc/paper/7045-doubly-stochastic-variational-inference-for-deep-gaussian-processes.pdf

这篇论文讨论了深层高斯过程的随机变分推理问题。

各算法效果对比如下

代码地址

https://github.com/thangbui/deepGP_approxEP

https://github.com/ICL-SML/Doubly-Stochastic-DGP

数据集地址

http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/RectanglesData

http://www.nyc.gov/html/tlc/html/about/trip_record_data.shtml

[71] SafetyNets: Verifiable Execution of Deep Neural Networks on an Untrusted Cloud

Zahra Ghodsi, Tianyu Gu, Siddharth Garg

https://papers.nips.cc/paper/7053-safetynets-verifiable-execution-of-deep-neural-networks-on-an-untrusted-cloud.pdf

本文主要关于在客户端验证深度神经网络实现的正确性。

整体框架如下

[72] Learning to Prune Deep Neural Networks via Layer-wise Optimal Brain Surgeon

Xin Dong, Shangyu Chen, Sinno Pan

https://papers.nips.cc/paper/7071-learning-to-prune-deep-neural-networks-via-layer-wise-optimal-brain-surgeon.pdf

这篇论文给出了如何对深度神经网络进行剪枝，文中主要利用二阶梯度来实现。

剪枝流程如下

算法效果对比如下

代码地址

https://github.com/csyhhu/L-OBS

[73] Selective Classification for Deep Neural Networks

Yonatan Geifman, Ran El-Yaniv

https://papers.nips.cc/paper/7073-selective-classification-for-deep-neural-networks.pdf

这篇文章将选择性分类用于深度神经网络。

具有风险控制的选择性算法流程如下

效果示例如下

[74] DropoutNet: Addressing Cold Start in Recommender Systems

Maksims Volkovs, Guangwei Yu, Tomi Poutanen

https://papers.nips.cc/paper/7081-dropoutnet-addressing-cold-start-in-recommender-systems.pdf

这篇文章提出了一种深度神经网络DropoutNet，用于解决推荐系统中的冷启动问题。

网络结构如下

学习算法如下

算法效果如下

代码地址

https://github.com/layer6ai-labs/DropoutNet

[75] GibbsNet: Iterative Adversarial Inference for Deep Graphical Models

Alex M. Lamb, Devon Hjelm, Yaroslav Ganin, Joseph Paul Cohen, Aaron C. Courville, Yoshua Bengio

https://papers.nips.cc/paper/7094-gibbsnet-iterative-adversarial-inference-for-deep-graphical-models.pdf

本文提出了GibbsNet，该网络将迭代式对抗推理用于深度图模型中。

下面是GibbsNet的训练流程图示

[76] PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space

Charles Ruizhongtai Qi, Li Yi, Hao Su, Leonidas J. Guibas

https://papers.nips.cc/paper/7095-pointnet-deep-hierarchical-feature-learning-on-point-sets-in-a-metric-space.pdf

这篇论文提出了PointNet++，该网络基于PointNet，PointNet++可以学习点集合中的分层特征。

网络结构如下

各模型结果对比如下

[77] Regularizing Deep Neural Networks by Noise: Its Interpretation and

Optimization

Hyeonwoo Noh, Tackgeun You, Jonghwan Mun, Bohyung Han

https://papers.nips.cc/paper/7096-regularizing-deep-neural-networks-by-noise-its-interpretation-and-optimization.pdf

本文主要探讨如何利用噪声对深度神经网络进行正则，并讨论了如何解释以及优化算法。

算法框架如下

各模型效果对比如下

代码地址

https://github.com/szagoruyko/wide-residual-networks

https://github.com/VT-vision-lab/VQA_LSTM_CNN

https://github.com/karpathy/neuraltalk2 http://www.robots.ox.ac.uk/~vgg/software/two_stream_action/

[78] Triangle Generative Adversarial

Networks

Zhe Gan, Liqun Chen, Weiyao

Wang, Yuchen Pu, Yizhe Zhang, Hao Liu, Chunyuan Li, Lawrence Carin

https://papers.nips.cc/paper/7109-triangle-generative-adversarial-networks.pdf

本文提出了∆-GAN，主要用于交叉域的半监督学习，其中包含四个神经网络，两个生成器，两个判别器。

网络结构如下

训练流程如下

各模型效果对比如下

代码地址

https://github.com/LiqunChen0606/Triangle-GAN

[79] Scalable trust-region method for deep reinforcement learning using Kronecker-factored approximation Yuhuai Wu, Elman Mansimov, Roger B. Grosse, Shun Liao, Jimmy Ba

https://papers.nips.cc/paper/7112-scalable-trust-region-method-for-deep-reinforcement-learning-using-kronecker-factored-approximation.pdf

本文将克罗内克分解近似法用于寻找深度强化学习的可信域。

各算法效果对比如下

代码地址

https://github.com/openai/baselines

[80] Thinking Fast and Slow with Deep Learning and Tree Search

Thomas Anthony, Zheng Tian, David Barber

https://papers.nips.cc/paper/7120-thinking-fast-and-slow-with-deep-learning-and-tree-search.pdf

这篇文章将树搜索和深度学习结合起来。

算法流程如下