亮点:多元卷积稀疏编码、循环关系网络

[1]Deep, complex, invertible networks for inversion oftransmission effects in multimode optical fibres

Oisín Moran, Piergiorgio Caramazza, Daniele Faccio, Roderick Murray-Smith

University of Glasgow, University of Glasgow

https://papers.nips.cc/paper/7589-deep-complex-invertible-networks-for-inversion-of-transmission-effects-in-multimode-optical-fibres.pdf

这篇文章提出了一种基于复数域加权的深层网络,用于处理相干输入图像中的多模光纤畸变所带来的影响。首先利用相干光得到灰度图像的光纤响应集合,进而得到实验数据,只测量输出在长度为1m到10m之间,直径为105µm的多模光纤所对应的图像振幅。

作者们提出了一种复加权网络的酉正则化方法,该方法在光纤传输矩阵的稳健反演中能够取得挺好的效果,这与物理定律是相容的。酉约束有助于学习前向酉模型,然后解析反演该模型进而解决反演问题。该方法的效果通过融入空间光调制器诱导的相移知识很有可能得以进一步提升。

该方法的实验配置如下

反演流程如下

前向模型及反演模型的结构如下

几种情形下的模型效果对比如下

代码地址

https://github.com/rodms/opticalfibreml

[2]Multivariate Convolutional Sparse Coding forElectromagnetic Brain Signals

Tom Dupré La Tour, Thomas Moreau, Mainak Jas, Alexandre Gramfort

Université Paris-Saclay

https://papers.nips.cc/paper/7590-multivariate-convolutional-sparse-coding-for-electromagnetic-brain-signals.pdf

神经活动的频率具有特定的模式,一般可以解释为持续的节律振荡,并且这种现象与注意力、高水平视觉处理或运动控制等认知机制相关联。

虽然阿尔法波(8-12Hz)与短正弦非常相像,通过傅立叶分析或小波变换可以得到该结论。但是电磁神经信号由更加复杂的波形构成,这些复杂的波形不能由简单的线性滤波和传统的信号表示进行分析。

这篇文章中,作者们提出利用多元卷积稀疏编码(CSC)算法来学习这种记录的专用表示。这种方法应用于脑电图(EEG)或脑磁图(MEG)信号时,不仅可以学习典型的时间波形,而且可以学习对应的空间模式,如此一来,就可以在大脑中定位这些信号的来源。

这篇文章提出的算法基于交替最小化和贪婪式坐标下降算法,在长时间序列的运行时间是最优的。该方法能够揭示存在着非正弦的mu形模式,而且还能够给出这些模式与躯体感觉皮层相关的地形图。

局部贪婪式坐标下降算法如下

其中式(5)和式(6)分别为

不同情形下每一步的计算复杂度如下

代码地址

https://alphacsc.github.io/

[3]Recurrent Relational Networks

Rasmus Berg Palm, Ulrich Paquet, Ole Winther

Technical University of Denmark, DeepMind

https://papers.nips.cc/paper/7597-recurrent-relational-networks.pdf

这篇文章是关于如何解决这样一类任务,这类任务需要一系列相互依赖的关系推理,比如像物体之间的关系之类的复杂问题,或者像解中较小元素之间相互约束的难题。

作者们提出了循环关系网络,这种网络可以看做操作对象的图表示的一种通用模块。该网络能够对任何一种神经网络模型进行增广,使其能够进行多步关系推理。循环关系网络在bAbI文本问答数据集上取得了最优的效果。

从关系推理的角度来说,bAbI数据集的挑战性并不大,作者们引入了一种新的诊断数据集,Pretty-CLEVR,用于关系推理。在Pretty-CLEVR 数据集中,可以通过问题多样化来控制得到答案所需关系推理的步骤数。

另外,作者们还给出了循环关系网络如何从有监督训练数据中学着解决数独拼图游戏,这个问题具有一定的挑战性,要求至多64步关系推理。

循环关系网络结构如下

多种算法在数据集bAbI上的效果对比如下

其中SparseDifferentiable Neural Computer (SDNC)

Dense Access Memory (DAM)

Sparse Access Memory (SAM)

Differentiable Neural Computer (DNC)

NTM

LSTM

对应的论文为

Hybrid computingusing a neural network with dynamic external memory,Nature2016

代码地址

https://github.com/deepmind/dnc

EntNet对应的论文为

Tracking the worldstate with recurrent entity networks. arXiv preprint arXiv:1612.03969, 2016.

代码地址

https://github.com/jimfleming/recurrent-entity-networks

Remo对应的论文为

Finding remo (related memory object): A simple neural architecture for text based reasoning, arXiv preprint arXiv:1801.08459, 2018.

RN对应的论文为

A simple neural network module for relational reasoning. arXivpreprint arXiv:1706.01427, 2017.

代码地址

https://github.com/kimhc6028/relational-networks

MemN2对应的论文为

End-to-end memory networks.NIPS2015.

代码地址

https://github.com/carpedm20/MemN2N-tensorflow

https://github.com/domluna/memn2n

在数独拼图游戏中几种方法的效果对比如下

其中Loopy BP, modified对应的资料为

Solving Sudoku usingprobabilistic graphical models. 2014.

Loopy BP, random

Loopy BP, parallel对应的资料为

Computing in Science & Engineering, 10(2):32–40, 2008.

Deeply Learned Messages对应的论文为

Deeply learning the messagesin message passing inference.NIPS2015.

Deep Convolutional Network 对应的资料为

Can neural networks crack Sudoku?, 2016. URL https://github.com/Kyubyong/sudoku.

代码地址

https://github.com/rasmusbergpalm/recurrent-relational-networks

您可能感兴趣

  • 发表于:
  • 原文链接:https://kuaibao.qq.com/s/20190221G05TOU00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券