7 Papers & Radios | 2019 ACM博士论文奖；巴斯大学&南开几何风格迁移架构

机器之心 & ArXiv Weekly Radiostation

参与：杜伟、楚航、罗若天

本周的重要论文包括 2019 ACM 博士论文奖以及荣誉提名奖论文等。

目录：

1. On Learning Sets of Symmetric Elements
2. Tuning-free Plug-and-Play Proximal Algorithm for Inverse Imaging Problems
3. A Reinforced Generation of Adversarial Examples for Neural Machine Translation
4. Graph Structure of Neural Networks
5. Attentive Graph Neural Networks for Few-Shot Learning
6. On Monotonicity Testing and the 2-to-2 Games Conjecture
7. Geometric Style Transfer
8. ArXiv Weekly Radiostation：NLP、CV、ML 更多精选论文（附音频）

论文 1：On Learning Sets of Symmetric Elements

• 作者：Haggai Maron、Or Litany、Gal Chechik、Ethan Fetaya
• 论文链接：https://arxiv.org/pdf/2002.08599.pdf

摘要：从无序集合中学习是一种基本的学习设置，最近这引起了越来越多的关注。这一领域的研究集中于用特征向量表示集合元素的案例，很少关注集合元素本身即遵循其自身对称性的常见情况。而后者与大量应用具备相关性，如图像去噪、多视图 3D 形状识别与重建等。

在本文中，来自英伟达研究院、斯坦福大学等机构的研究者提出了一种原则性方法来学习一般对称元素的集合。研究者首先描述了线性层的空间。线性层与元素重排序和元素的内在对称性具备等变性。本研究进一步表明，由被称为 Deep Sets for Symmetric elements layers (DSS) 的层构成的网络是不变函数和等变函数的通用逼近器。

此外，DSS 层很容易实现。最后，研究者用一系列使用图像、图以及点云的实验，证明该方法比现有的集合学习架构有所改进。

ICML 2020 杰出论文奖获奖论文 1。

DSS 层包含孪生层（Siamese layer）和聚合模块。

DSS 层与其他集合学习方法在信号分类（signal classification）任务上的比较。

推荐：本文获得 ICML 2020 最佳论文奖。

论文 2：Tuning-free Plug-and-Play Proximal Algorithm for Inverse Imaging Problems

• 作者：Kaixuan Wei、Angelica Aviles-Rivero、Jingwei Liang、Ying Fu、Carola-Bibiane Schnlieb、Hua Huang
• 论文链接：https://arxiv.org/pdf/2002.09611.pdf

摘要：在本文中，来自北理工和剑桥大学的研究者提出了一种免调参的 PnP 近端算法，支持自动设置内部参数，包括惩罚参数、去噪强度以及终止时间。该方法的核心部分是开发一个用于自动搜索参数的策略网络，该网络能够通过混合无模型和基于模型的深度强化学习来高效地学习参数。

研究人员通过数值和视觉实验表明，该方法学到的策略能够为不同的状态定制不同的参数，并且比现有的手动调参更加高效。此外，本研究还探讨了插入式去噪器，它和学得策略一起可达到 SOTA 结果，在线性和非线性的示例逆成像问题中皆是如此，尤其是在压缩感知 MRI 和相位恢复问题上都取得了不错的结果。

ICML 2020 杰出论文奖杰出论文 2。

本研究中免调参即插即用（plug-and-play, PnP）框架总览。

加速因子 f 和噪声级别σ_n 不同的情况下，不同 CS-MRI 方法在 Medical7 和 MICCAI 两个数据集上的定量结果比较。

推荐：本文一作为北理工研二学生魏恺轩。

论文 3：A Reinforced Generation of Adversarial Examples for Neural Machine Translation

• 作者：Wei Zou、Shujian Huang、Jun Xie、Xinyu Dai、Jiajun Chen
• 论文链接：https://arxiv.org/pdf/1911.03677.pdf

摘要：尽管效果显著，但神经机器翻译（neural machine translation）系统往往在输入数据不适当时失效，进而损害到这些系统的置信度。所以，弄清楚神经机器翻译系统在这种情况下如何以及什么时候失效对于系统维护来说至关重要。

在本文中，来自南大计算机软件新技术国家重点实验室和腾讯的研究者没有利用有限的手工误差特征来收集和分析失效的样例，而是通过一种基于强化学习的新范式来生成对抗样本，进而解决了上述问题。就效果而言，研究者提出的新范式可以揭露 BLEU 等给定性能度量的缺陷，并且适用于任何给定的神经机器翻译架构。

研究者在 RNN-search 和 Transformer 这两个主流神经机器翻译架构上进行对抗样本的实验，结果发现该方法可以生成具有保留意义对抗样本的稳定攻击。

本研究中强化学习范式总览。

在 Transformer-word、Transformer-BPE 和 RNN-search-BPE 三个神经机器翻译框架上，各种方法在 Zh→En MI 攻击任务上的各项度量结果比较。

推荐：值得关注的是，研究者还对这种稳定攻击的偏好模式进行了定性和定量分析，结果发现该攻击具备揭露缺陷的能力。

论文 4：Graph Structure of Neural Networks

• 作者：Jiaxuan You、Jure Leskovec、Kaiming He、Saining Xie
• 论文链接：https://arxiv.org/pdf/2007.06559.pdf

摘要：神经网络通常被表示为神经元相互连接的图。尽管神经网络被广泛使用，但目前对神经网络图结构及其预测性能之间关系的理解却不深。

在本文中，包括何恺明在内、来自斯坦福大学和 FAIR 的研究者系统地探讨了神经网络图结构对其预测性能的影响。具体而言，研究者开发了一种新的基于图的神经网络表示，他们称之为相关图（relational graph），其中神经网络计算的层能够沿图结构进行多次信息交互。

相关图表示神经网络的架构图。

将 4 节点关系图转换为 4 层 65 维多层感知器（ Multilayer Perceptron）的示例。

主要结果。

推荐：本研究通过相关图来表示并理解神经网络，这是深度学习网络架构的一种新视角。

论文 5：Attentive Graph Neural Networks for Few-Shot Learning

• 作者：Hao Cheng、Joey Tianyi Zhou、Wee Peng Tay、Bihan Wen
• 论文链接：https://arxiv.org/pdf/2007.06878.pdf

摘要：图神经网络（graph neural network, GNN）已经在少样本学习任务等众多挑战性应用中显示出了优越性能。尽管 GNN 从少样本中学习和泛化的能力很强，但常常遇到过拟合和过平滑的问题，从而限制了模型的可扩展性。

在本文中，来自新加坡南洋理工大学和高性能计算研究所的研究者提出了一种新颖的注意力 GNN，它通过结合三重注意力机制（triple-attention mechanism），即节点自注意力、邻域注意力和层记忆注意力，解决了上述问题。

具体而言，研究者通过理论分析和实例说明了提出的注意力模块为何能够提升少样本学习 GNN。实验表明，通过归纳和转换设置，这种注意力 GNN 在 mini-ImageNet 和 Tiered-ImageNet 数据集上均在少样本学习方面优于当前基于 GNN 的 SOTA 方法。

本研究中用于少样本学习的注意力 GNN 框架总览。

各种方法在 mini-ImageNet 和 Tiered-ImageNet 数据集上的少样本平均分类准确率结果比较。

控制变量研究：mini-ImageNet 数据集上分类准确率与层数量的变化曲线图。

推荐：研究者计划在未来的研究工作中将注意力 GNN 应用于更多挑战性的应用中。

论文 6：On Monotonicity Testing and the 2-to-2 Games Conjecture

• 作者：Dor Minzer
• 论文链接：http://www.cs.tau.ac.il/thesis/thesis/Minzer.Dor-Thesis-PhD.pdf

摘要：这篇论文的主要贡献是设置了测试布尔函数单调性的复杂度，并在解决 UGC（Unique Games Conjecture）方面取得了重大进展。UGC 是近似算法和复杂性理论中的最核心问题之一。

在这篇论文的第一部分中，Minzer 提出一个能够检查布尔函数单调性的最优测试器，解决了该领域中的一个著名难题。在该论文的第二部分，Minzer 进行了确立该猜想的另一半路程，在此过程中他证明了用于驳斥 UGC 的最有力证据无效。即使 UGC 不能很快得到解决，Minzer 的论文在解决之前无法解决的问题方面也取得了重大进展。

本文作者 Dor Minzer 现为普林斯顿高等研究院（Institute for Advanced Study, IAS）博士后研究员。

推荐：本文荣获 2019 ACM 博士论文奖。

论文 7：Geometric Style Transfer

• 作者：Xiao-Chang Liu、Xuan-Yi Li、Ming-Ming Cheng、Peter Hall
• 论文链接：https://arxiv.org/pdf/2007.05471v1.pdf

摘要：在本文中，来自英国巴斯大学和南开大学的研究者引入一种支持几何样式迁移的神经架构。不同于该领域最近的研究主题，本研究不受语义内容的限制，因而在通用性方面独树一帜。

具体而言，这种新架构在负责迁移纹理风格的网络之前运行，所以可以将纹理迁移至扭曲图像。这种神经架构还有另一个创新之处，即研究者可以借此扩展神经风格迁移（neural style transfer, NST）输入范式。

用户可以如常地输入内容 / 风格对，也可以选择输入内容 / 纹理风格 / 几何风格三元组。这三种图像输入范式可以将分割分为两部分，并因而保证输入表现出更大的通用性。

由左至右分别为：原始内容图像、风格图像、使用 Gatys 等研究者提出方法的纹理迁移效果图、以及使用本研究提出方法的几何和纹理迁移效果图。

特征提取过程。

几何扭曲网络与纹理迁移网络并行运行。

各种方法的图像迁移效果比较。

推荐：研究者承认该算法依然存在着一些局限性。该算法是全局性的，但很多风格是却是局部性的。例如，立体派（cubism）等图像风格就超出了该算法的适用范围。

ArXiv Weekly Radiostation

机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation，在 7 Papers 的基础上，精选本周更多重要论文，包括NLP、CV、ML领域各10篇精选，并提供音频形式的论文摘要简介，详情如下：

本周 10 篇 NLP 精选论文是：

1. Towards Debiasing Sentence Representations. (from Ruslan Salakhutdinov, Louis-Philippe Morency)

2. AdapterHub: A Framework for Adapting Transformers. (from Kyunghyun Cho)

3. Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks. (from Alexander Tuzhilin)

4. SacreROUGE: An Open-Source Library for Using and Developing Summarization Evaluation Metrics. (from Dan Roth)

5. Learn to Use Future Information in Simultaneous Translation. (from Tie-Yan Liu)

6. Contextualized Code Representation Learning for Commit Message Generation. (from Yang Liu)

7. Modeling Voting for System Combination in Machine Translation. (from Yang Liu)

8. LogiQA: A Challenge Dataset for Machine Reading Comprehension with Logical Reasoning. (from Jian Liu)

9. What's in a Name? Are BERT Named Entity Representations just as Good for any other Name?. (from Sunita Sarawagi)

10. Investigating Pretrained Language Models for Graph-to-Text Generation. (from Iryna Gurevych)

本周 10 篇 CV 精选论文是：

1. D2D: Learning to find good correspondences for image matching and manipulation. (from Andrew Zisserman)

2. Towards causal benchmarking of bias in face analysis algorithms. (from Pietro Perona)

3. Scientific Discovery by Generating Counterfactuals using Image Translation. (from Greg Corrado)

4. Unseen Object Instance Segmentation for Robotic Environments. (from Dieter Fox)

5. TinyVIRAT: Low-resolution Video Action Recognition. (from Mubarak Shah)

6. Odyssey: Creation, Analysis and Detection of Trojan Models. (from Mubarak Shah)

7. A new approach to descriptors generation for image retrieval by analyzing activations of deep neural network layers. (from Jinde Cao, Leszek Rutkowski)

8. RetrieveGAN: Image Synthesis via Differentiable Patch Retrieval. (from Ming-Hsuan Yang)

9. Controllable Image Synthesis via SegVAE. (from Ming-Hsuan Yang)

10. Modeling Artistic Workflows for Image Generation and Editing. (from Ming-Hsuan Yang)

本周 10 篇 ML 精选论文是：

1. Transferable Calibration with Lower Bias and Variance in Domain Adaptation. (from Michael I. Jordan)

2. Momentum-Based Policy Gradient Methods. (from Jian Pei, Heng Huang)

3. Revisiting Data Complexity Metrics Based on Morphology for Overlap and Imbalance: Snapshot, New Overlap Number of Balls Metrics and Singular Problems Prospect. (from Francisco Herrera)

4. Conditional Image Retrieval. (from Stephanie Fu, William T. Freeman)

5. Experimental Design for Bathymetry Editing. (from Yoav Freund, David T. Sandwell)

6. Concept Learners for Generalizable Few-Shot Learning. (from Jure Leskovec)

7. Layer-Parallel Training with GPU Concurrency of Deep Residual Neural Networks Via Nonlinear Multigrid. (from Michael Jones)

8. Programming by Rewards. (from Sriram Rajamani, Johannes Gehrke)

9. Label Propagation with Augmented Anchors: A Simple Semi-Supervised Learning baseline for Unsupervised Domain Adaptation. (from Lei Zhang)

10. Boundary thickness and robustness in learning models. (from Kurt Keutzer, Kannan Ramchandran, Michael W. Mahoney)