您可能感兴趣
本篇文章基于上述三篇,故论文编号沿用上三篇的编号
[61] Dynamic Routing Between Capsules
Sara Sabour, Nicholas Frosst, Geoffrey E. Hinton
https://papers.nips.cc/paper/6975-dynamic-routing-between-capsules.pdf
这篇论文主要关于Capsule,其中考虑了路由机制。
路由机制伪代码如下
网络结构如下,其中的PrimaryCaps是比较基础的Capsule,而DigitCaps是比较高层的Capsule。
从DigitCaps可以反解码出数字,图示如下
CapsNet的测试准确率如下
CapsNet对重叠的数字效果也较好,示例如下
数据集地址
http://www.cs.toronto.edu/~tijmen/affNIST/
[62] Incorporating Side Information by Adaptive Convolution
Di Kang, Debarun Dhar, Antoni Chan
https://papers.nips.cc/paper/6976-incorporating-side-information-by-adaptive-convolution.pdf
这篇文章利用side information 生成滤波流形网络,并将其融入卷积神经网络,提出了自适应卷积神经网络,该网络对人数统计,带污染的数字识别,图像去模糊效果较好。
滤波流形示例如下
融入滤波流形的自适应卷积神经网络结构示例如下
用于人群密度估计的自适应卷积神经网络示例如下
针对Figure 3,自适应卷积神经网络跟卷积神经网络的参数对比如下
自适应卷积神经网络的参数少于一般的卷积神经网络的参数。
自适应卷积神经网络用于图像重构的示例如下
各方法在人群密度统计任务中的对比如下
针对含有椒盐噪声的数字识别,各方法对比如下
各方法在图像重构中的效果对比
[63] Structured Generative Adversarial Networks
Zhijie Deng, Hao Zhang, Xiaodan Liang, Luona Yang, Shizhen Xu, Jun Zhu, Eric P. Xing
https://papers.nips.cc/paper/6979-structured-generative-adversarial-networks.pdf
这篇文章关于GAN,提出了结构化GAN,SGAN,用于半监督条件生成模型。
SGAN的结构示例如下
关于SGAN的训练,其伪代码如下
各算法效果对比如下
代码地址
https://github.com/thudzj/StructuredGAN
[64] Deep Hyperspherical Learning
Weiyang Liu, Yan-Ming Zhang, Xingguo Li, Zhiding Yu, Bo Dai, Tuo Zhao, Le Song
https://papers.nips.cc/paper/6984-deep-hyperspherical-learning.pdf
这篇文章基于卷积神经网络提出了一种球体式的卷积神经网络SphereNet,其中的卷积也是球体式卷积SphereConv。
网络的整体结构如下
不同损失函数的准确率对比如下
不同网络结构的准确率对比如下
[65] Learning Deep Structured Multi-Scale Features using Attention-Gated CRFs for Contour Prediction
Dan Xu, Wanli Ouyang, Xavier Alameda-Pineda, Elisa Ricci, Xiaogang Wang, Nicu Sebe
这篇文章提出了基于注意力的门限CRF来学习深层结构化多尺度特征。
下面是几种不同的多尺度深层特征学习及融合结构对比。
整体网络结构如下
其中AMH-Net是指Attention-guided Multi-scale Hierarchical deepNet
模型效果示例如下
各算法效果对比如下
代码地址
https://github.com/danxuhk/AttentionGatedMulti-ScaleFeatureLearning
[66] Triple Generative Adversarial Nets
Chongxuan LI, Taufik Xu, Jun Zhu, Bo Zhang
https://papers.nips.cc/paper/6997-triple-generative-adversarial-nets.pdf
这篇文章提出了一种新的GAN网络,Triple GAN,这里的triple源于生成器,判别器,分类器。
网络结构示例如下
triple GAN的训练流程如下
各算法效果对比如下
代码地址
https://github.com/zhenxuan00/triple-gan
[67] Deconvolutional Paragraph
Representation Learning
Yizhe Zhang, Dinghan Shen, Guoyin
Wang,Zhe Gan, Ricardo Henao,
Lawrence Carin
https://papers.nips.cc/paper/7005-deconvolutional-paragraph-representation-learning.pdf
这篇文章提出了一种序列到序列的自编码框架,其中利用卷积和反卷积来实现。
网络结构如下,其中包含卷积层和反卷积层。
在重构酒店评论中,各算法效果对比如下
在文档分类问题中,各算法效果对比如下
[68] Reconstructing perceived faces from brain activations with deep adversarial neural decoding
Yağmur Güçlütürk, Umut Güçlü, Katja Seeliger, Sander Bosch, Rob van Lier, Marcel A. J. van Gerven
https://papers.nips.cc/paper/7012-reconstructing-perceived-faces-from-brain-activations-with-deep-adversarial-neural-decoding.pdf
这篇文章将概率推理跟卷积神经网络结合。
整体框架如下
[69] Temporal Coherency based Criteria for Predicting Video Frames using Deep Multi-stage Generative Adversarial
Networks
Prateep Bhattacharjee, Sukhendu Das
https://papers.nips.cc/paper/7014-temporal-coherency-based-criteria-for-predicting-video-frames-using-deep-multi-stage-generative-adversarial-networks.pdf
这篇文章提出了多阶段的GAN。
整体结构示例如下
归一化交叉相关评分流程如下
各算法效果对比如下
[70] Doubly Stochastic Variational
Inference for Deep Gaussian Processes
Hugh Salimbeni, Marc Deisenroth
https://papers.nips.cc/paper/7045-doubly-stochastic-variational-inference-for-deep-gaussian-processes.pdf
这篇论文讨论了深层高斯过程的随机变分推理问题。
各算法效果对比如下
代码地址
https://github.com/thangbui/deepGP_approxEP
https://github.com/ICL-SML/Doubly-Stochastic-DGP
数据集地址
http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/RectanglesData
http://www.nyc.gov/html/tlc/html/about/trip_record_data.shtml
[71] SafetyNets: Verifiable Execution of Deep Neural Networks on an Untrusted Cloud
Zahra Ghodsi, Tianyu Gu, Siddharth Garg
https://papers.nips.cc/paper/7053-safetynets-verifiable-execution-of-deep-neural-networks-on-an-untrusted-cloud.pdf
本文主要关于在客户端验证深度神经网络实现的正确性。
整体框架如下
[72] Learning to Prune Deep Neural Networks via Layer-wise Optimal Brain Surgeon
Xin Dong, Shangyu Chen, Sinno Pan
https://papers.nips.cc/paper/7071-learning-to-prune-deep-neural-networks-via-layer-wise-optimal-brain-surgeon.pdf
这篇论文给出了如何对深度神经网络进行剪枝,文中主要利用二阶梯度来实现。
剪枝流程如下
算法效果对比如下
代码地址
https://github.com/csyhhu/L-OBS
[73] Selective Classification for Deep Neural Networks
Yonatan Geifman, Ran El-Yaniv
https://papers.nips.cc/paper/7073-selective-classification-for-deep-neural-networks.pdf
这篇文章将选择性分类用于深度神经网络。
具有风险控制的选择性算法流程如下
效果示例如下
[74] DropoutNet: Addressing Cold Start in Recommender Systems
Maksims Volkovs, Guangwei Yu, Tomi Poutanen
https://papers.nips.cc/paper/7081-dropoutnet-addressing-cold-start-in-recommender-systems.pdf
这篇文章提出了一种深度神经网络DropoutNet,用于解决推荐系统中的冷启动问题。
网络结构如下
学习算法如下
算法效果如下
代码地址
https://github.com/layer6ai-labs/DropoutNet
[75] GibbsNet: Iterative Adversarial Inference for Deep Graphical Models
Alex M. Lamb, Devon Hjelm, Yaroslav Ganin, Joseph Paul Cohen, Aaron C. Courville, Yoshua Bengio
https://papers.nips.cc/paper/7094-gibbsnet-iterative-adversarial-inference-for-deep-graphical-models.pdf
本文提出了GibbsNet,该网络将迭代式对抗推理用于深度图模型中。
下面是GibbsNet的训练流程图示
[76] PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space
Charles Ruizhongtai Qi, Li Yi, Hao Su, Leonidas J. Guibas
https://papers.nips.cc/paper/7095-pointnet-deep-hierarchical-feature-learning-on-point-sets-in-a-metric-space.pdf
这篇论文提出了PointNet++,该网络基于PointNet,PointNet++可以学习点集合中的分层特征。
网络结构如下
各模型结果对比如下
[77] Regularizing Deep Neural Networks by Noise: Its Interpretation and
Optimization
Hyeonwoo Noh, Tackgeun You, Jonghwan Mun, Bohyung Han
https://papers.nips.cc/paper/7096-regularizing-deep-neural-networks-by-noise-its-interpretation-and-optimization.pdf
本文主要探讨如何利用噪声对深度神经网络进行正则,并讨论了如何解释以及优化算法。
算法框架如下
各模型效果对比如下
代码地址
https://github.com/szagoruyko/wide-residual-networks
https://github.com/VT-vision-lab/VQA_LSTM_CNN
https://github.com/karpathy/neuraltalk2 http://www.robots.ox.ac.uk/~vgg/software/two_stream_action/
[78] Triangle Generative Adversarial
Networks
Zhe Gan, Liqun Chen, Weiyao
Wang, Yuchen Pu, Yizhe Zhang, Hao Liu, Chunyuan Li, Lawrence Carin
https://papers.nips.cc/paper/7109-triangle-generative-adversarial-networks.pdf
本文提出了∆-GAN,主要用于交叉域的半监督学习,其中包含四个神经网络,两个生成器,两个判别器。
网络结构如下
训练流程如下
各模型效果对比如下
代码地址
https://github.com/LiqunChen0606/Triangle-GAN
[79] Scalable trust-region method for deep reinforcement learning using Kronecker-factored approximation Yuhuai Wu, Elman Mansimov, Roger B. Grosse, Shun Liao, Jimmy Ba
https://papers.nips.cc/paper/7112-scalable-trust-region-method-for-deep-reinforcement-learning-using-kronecker-factored-approximation.pdf
本文将克罗内克分解近似法用于寻找深度强化学习的可信域。
各算法效果对比如下
代码地址
https://github.com/openai/baselines
[80] Thinking Fast and Slow with Deep Learning and Tree Search
Thomas Anthony, Zheng Tian, David Barber
https://papers.nips.cc/paper/7120-thinking-fast-and-slow-with-deep-learning-and-tree-search.pdf
这篇文章将树搜索和深度学习结合起来。
算法流程如下
领取专属 10元无门槛券
私享最新 技术干货