7 Papers & Radios | 超图表示学习新框架HNHN；GNN的泛化与表示极限

机器之心 & ArXiv Weekly Radiostation

参与：杜伟、楚航、罗若天

本周的重要论文有 Bengio 等学者提出的超图表示学习新框架HNHN，以及 MIT 博士生对 GNN 泛化与表示极限的探索。

目录：

1. Implicit Neural Representations with Periodic Activation Functions
2. Counting Out Time: Class Agnostic Video Repetition Counting in the Wild
3. HNHN: Hypergraph Networks with Hyperedge Neurons
4. Attention-Guided Hierarchical Structure Aggregation for Image Matting
5. Generalization and Representational Limits of Graph Neural Networks
6. Dynamic Refinement Network for Oriented and Densely Packed Object Detection
7. Do RNN and LSTM have Long Memory?
8. ArXiv Weekly Radiostation：NLP、CV、ML 更多精选论文（附音频）

论文 1：Implicit Neural Representations with Periodic Activation Functions

• 作者：Vincent Sitzmann、Julien N. P. Martel、Alexander W. Bergman、David B. Lindell、Gordon Wetzstein
• 论文链接：https://arxiv.org/pdf/2006.09661.pdf

摘要：由神经网络参数化的隐式定义、连续可微的信号表示已经成为一种强大的范式。与常规表示相比，它具备很多优点。但是，当前用于隐式神经表示的网络架构无法对信号进行精细建模，也无法表示信号的时空导数。但实际上，对于许多被隐式定义为偏微分方程的解的物理信号而言，这是十分必要的。

近日，斯坦福大学的一项研究提出利用周期性激活函数进行隐式神经表示，即正弦表示网络（sinusoidal representation network，SIREN），并展示了它们非常适合表示复杂的自然信号及其导数。研究者分析了 SIREN 激活统计数据，提出了一种有原则的初始化方案，并展示了图像、波场、视频、声音及其导数的表示。

此外，研究者还展示了如何利用 SIREN 来解决具有挑战性的边值问题，比如特定的程函方程（Eikonal equation）、泊松方程（Poisson equation）、亥姆霍兹方程（Helmholtz equation）以及波动方程。最后，研究者将 SIREN 与超网络相结合，来学习 SIREN 函数空间的先验知识。

SIREN 与 Softplus、ReLU P.E. 和 TanH 这三种基准方法的展示效果对比。

SIREN 与 ReLU 对房间场景的再现效果对比。

在时间域中，SIREN 成功地解决了波动方程问题，而基于 Tanh 的网络架构却未能找出正确的解。两者的实现效果对比如上。

推荐：Hinton 点赞了斯坦福的该项研究。

论文 2：Counting Out Time: Class Agnostic Video Repetition Counting in the Wild

• 作者：Debidatta Dwibedi、Yusuf Aytar、Jonathan Tompson 、Pierre Sermanet 、Andrew Zisserman
• 论文链接：http://openaccess.thecvf.com/content_CVPR_2020/papers/Dwibedi_Counting_Out_Time_Class_Agnostic_Video_Repetition_Counting_in_the_CVPR_2020_paper.pdf

摘要：在本文中，谷歌研究院和 DeepMind 研究者提出的方法用来估计视频中动作重复出现的周期。该方法的关键充分利用周期预测模块（period prediction module）将时序自相似性用作中间表示，使其可以泛化至野外视频中未出现的重复。研究者利用生成自大型未标注视频集合的合成数据集来训练 RepNet 模型，具体方法是采样不同长度的视频片段并以不同的周期和计数来重复这些视频片段。

合成数据和强大但受限模型的结合使我们能够以类不可知的方式预测视频中动作重复出现的周期。实现表明，该模型在现有周期性（PERTUBE）和重复计数（QUVA）基准上的表现远远超过当前 SOTA 性能。

RepNet 架构图。网络中单个视频帧生成的特征由绿色高亮显示。

该研究的合成数据生成 pipeline 制作的视频可以包含任何视频中的重复片段。

该研究提出的 Countix 数据集。

推荐：研究者还收集了一个名为 Countix 的挑战性新数据集，大小是现有数据集的 90 倍，它可以解决真实世界视频中重复计算面临的一些难题。

论文 3：HNHN: Hypergraph Networks with Hyperedge Neurons

• 作者：Yihe Dong、Will Sawin、Yoshua Bengio
• 论文链接：https://arxiv.org/pdf/2006.12278v1.pdf

摘要：图为现实世界的很多数据集提供了自然的表示。在本文中，包括 Yoshua Bengio 等在内的三位研究者提出了一种用于超图表示学习的新框架 HNHN。具体来说，HNHN 是一种超图卷积网络，它所包含的非线性激活函数应用于超节点和超边，并且与一种能够根据数据集来灵活调整高基准超边和高度顶点重要性的标准化方案相结合。

研究者表示，与当前 SOTA 方法相比，他们提出的 HNHN 方法在现实世界数据集上的分类准确率和速度两方面都有了提升。

算法 1：用于节点预测的 HNHN 超图卷积算法。

本研究所采用的四个数据集：Cora、CiteSeer、DBLP 和 PubMed。

HNHN 框架与 HyperGCN、HyperGCN Fast 和 HGNN 在 DBLP、Cora、CiteSeer 和 PubMed 数据集上的分类准确率和 timing 结果对比。

推荐：论文一作 Yihe Dong 出生于中国，在中、美、德三个国家成长，会说中、英、德三种语言，现任职于微软从事机器学习相关研究工作。

论文 4：Attention-Guided Hierarchical Structure Aggregation for Image Matting

• 作者：Yu Qiao、Yuhao Liu、Xin Yang、Dongsheng Zhou、Mingliang Xu、Qiang Zhang、Xiaopeng Wei
• 论文链接：http://openaccess.thecvf.com/content_CVPR_2020/papers/Qiao_Attention-Guided_Hierarchical_Structure_Aggregation_for_Image_Matting_CVPR_2020_paper.pdf

摘要：在本文中，来自大连理工、大连大学和郑州大学的研究者提出了一种端到端的层级注意力 Matting 网络，简称为 HAttMatting，它可以在没有额外输入的情况下从单个 RGB 图像中预测更好的 alpha matte 结构。具体来说，研究者部署空间和通道级注意力，进而以一种新颖方式来整合外观线索和金字塔形特征。这种融合的注意力机制可以从精确边界和自适应语义中感知 Alpha Matte。研究者还引入了混合损失函数融合的结构相似性（Structural SIMilarity, SSIM）、均方误差（Mean Square Error, MSE）和对抗性损失，来指导网络进一步提升整体前景结构。

此外，研究者创建了一个包含 59600 张训练图像和 1000 张测试图像（共计 646 个不同的前景 Alpha Matte）的大规模图像 matting 数据集，从而可以进一步提升层级结构聚合模型的鲁棒性。实验表明，本研究提出的 HAttMatting 网络可以捕获复杂的前景结构，并且在单张 RGB 图像作为输入时实现了当前 SOTA 性能。

在 Composition-1k 测试集上 HAttMatting 生成的 Alpha Matte。

HAttMatting 的 pipeline。

HAttMatting 与其他方法在 Composition-1k 测试集上的视觉效果对比。

推荐：利用这种方法，抠图会变得如此简单！

论文 5：Generalization and Representational Limits of Graph Neural Networks

• 作者：Vikas K. Garg、Stefanie Jegelka、Tommi Jaakkola
• 论文链接：https://arxiv.org/pdf/2002.06157.pdf

摘要：在本文中，来自 MIT 计算机科学与人工智能实验室的研究者探讨了图神经网络（Graph Neural Network, GNN）的两个基本问题：泛化和表示。首先，他们证明了一些重要的图属性无法由完全依赖局部信息的 GNN 计算，这类 GNN 包括标准的消息传递模型，以及利用消息相对方向或本地端口排序等本地图结构来区分每个节点邻近的更强大空间变体；其次，研究者为消息传递 GNN 提供了首个数据依赖型泛化边界。分析明确说明了 GNN 的局部置换不变性。该泛化边界较现有基于 VC 维的 GNN 更紧凑，并且可与递归神经网络的 Rademacher 边界相媲美。

论文一作为 MIT 计算机科学系博士生，他的研究兴趣包括生成模型、图模型、深度学习理论等。

推荐：在 GNN 的表示极限部分，研究者分别介绍了 LU-GNN、CPNGNN 和 DimeNet 的限制。

论文 6：Dynamic Refinement Network for Oriented and Densely Packed Object Detection

• 作者：Xingjia Pan、Yuqiang Ren、Kekai Sheng、Weiming Dong、Haolei Yuan 等
• 论文链接：https://arxiv.org/pdf/2005.09973.pdf

摘要：在本文中，来自中科院自动化所、腾讯优图和快手科技的研究者在本文中提出了一种动态优化网络，该网络由两个新颖的组件组成，即特征选择模块（FSM）和动态优化 head（DRH）。其中 FSM 使神经元能够根据目标对象的形状和方向调整感受野，而 DRH 使模型能够以目标对象感知的方式动态地优化预测。为了解决相关 baseline 测试有限的可用性，本文收集了一个扩展的且带有完整注释的数据集 SKU110K-R，该数据集基于 SKU110K 数据集的定向边界框进行重新标记。

对包括 DOTA，HRSC2016，SKU110K 和自己的 SKU110K-R 数据集在内的多个公开 baseline 进行定量评估。实验结果表明，与 baseline 方法相比，本文的方法获得了一致且可观的性能提升。

分类和回归示例上的动态改进效果。

动态改进网络整体架构图。

动态改进网络（DRN）与其他方法在 DOTA 数据集上的 OBB 任务评估结果对比。

推荐：本文已被 CVPR 2020 会议接收。

论文 7：Do RNN and LSTM have Long Memory?

• 作者：Jingyu Zhao、Feiqing Huang、Jia Lv、Yanjie Duan 、Zhen Qin、Guodong Li 、 Guangjian Tian
• 论文链接：https://arxiv.org/pdf/2006.03860v2.pdf

摘要：为了克服递归神经网络（RNN）学习长期依赖遇到的困难，长短期记忆（Long Short Term Memory, LSTM）于 1997 年被提出并在后续应用方面取得了重大进展。LSTM 有其固有的优势和缺点，在本文中，来自中国香港大学和华为诺亚方舟实验室的研究者提出问题：RNN 和 LSTM 是否具备长期记忆？研究者从统计学的角度证明了 RNN 和 LSTM 不具备长期记忆。

此外，研究者还引入了一个新的长期记忆网络定义，并且该定义要求模型权重以多项式速率衰减。为了验证这一理论，他们对 RNN 和 LSTM 进行了最小程度的改变，将它们转换为长期记忆网络，并在建模不同数据集的长期依赖过程中验证了相关优越性。

平均 RMSE 和标准偏差性能对比。

100 个不同初始化的 RMSE 箱形图。

推荐：本文被 ICML 2020 接收。

ArXiv Weekly Radiostation

机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation，在 7 Papers 的基础上，精选本周更多重要论文，包括NLP、CV、ML领域各10篇精选，并提供音频形式的论文摘要简介，详情如下：

本周 10 篇 NLP 精选论文是：

1. Exploring Processing of Nested Dependencies in Neural-Network Language Models and Humans. (from Yair Lakretz, Dieuwke Hupkes, Alessandra Vergallito, Marco Marelli, Marco Baroni, Stanislas Dehaene)

2. A Simple Approach to Case-Based Reasoning in Knowledge Bases. (from Rajarshi Das, Ameya Godbole, Shehzaad Dhuliawala, Manzil Zaheer, Andrew McCallum)

3. A High-Quality Multilingual Dataset for Structured Documentation Translation. (from Kazuma Hashimoto, Raffaella Buschiazzo, James Bradbury, Teresa Marshall, Richard Socher, Caiming Xiong)

4. Unsupervised Cross-lingual Representation Learning for Speech Recognition. (from Alexis Conneau, Alexei Baevski, Ronan Collobert, Abdelrahman Mohamed, Michael Auli)

5. NLPContributions: An Annotation Scheme for Machine Reading of Scholarly Contributions in Natural Language Processing Literature. (from Jennifer D'Souza, Sören Auer)

6. Multilingual Jointly Trained Acoustic and Written Word Embeddings. (from Yushi Hu, Shane Settle, Karen Livescu)

7. Neural Topic Modeling with Continual Lifelong Learning. (from Pankaj Gupta, Yatin Chaudhary, Thomas Runkler, Hinrich Schütz)

8. Learning Source Phrase Representations for Neural Machine Translation. (from Hongfei Xu, Josef van Genabith, Deyi Xiong, Qiuhui Liu, Jingyi Zhang)

9. Classifying Referential and Non-referential It Using Gaze. (from Victoria Yaneva, Le An Ha, Richard Evans, Ruslan Mitkov)

10. Domain Adaptation for Semantic Parsing. (from Zechang Li, Yuxuan Lai, Yansong Feng, Dongyan Zhao)

本周 10 篇 CV 精选论文是：

1. Symbolic Pregression: Discovering Physical Laws from Raw Distorted Video. (from Silviu-Marian Udrescu, Max Tegmark)

2. Layout Generation and Completion with Self-attention. (from Kamal Gupta, Alessandro Achille, Justin Lazarow, Larry Davis, Vijay Mahadevan, Abhinav Shrivastava)

3. DanHAR: Dual Attention Network For Multimodal Human Activity Recognition Using Wearable Sensors. (from Wenbin Gao, Lei Zhang, Qi Teng, Hao Wu, Fuhong Min, Jun He, IEEE)

4. Melanoma Diagnosis with Spatio-Temporal Feature Learning on Sequential Dermoscopic Images. (from Zhen Yu, Jennifer Nguyen, Xiaojun Chang, John Kelly, Catriona Mclean, Lei Zhang, Victoria Mar, Zongyuan Ge)

5. DISK: Learning local features with policy gradient. (from Michał J. Tyszkiewicz, Pascal Fua, Eduard Trulls)

6. Space-Time Correspondence as a Contrastive Random Walk. (from Allan Jabri, Andrew Owens, Alexei A. Efros)

7. Iris Presentation Attack Detection: Where Are We Now?. (from Aidan Boyd, Zhaoyuan Fang, Adam Czajka, Kevin W. Bowyer)

8. Labelling unlabelled videos from scratch with multi-modal self-supervision. (from Yuki M. Asano, Mandela Patrick, Christian Rupprecht, Andrea Vedaldi)

9. Neural Architecture Design for GPU-Efficient Networks. (from Ming Lin, Hesen Chen, Xiuyu Sun, Qi Qian, Hao Li, Rong Jin)

10. Time for a Background Check! Uncovering the impact of Background Features on Deep Neural Networks. (from Vikash Sehwag, Rajvardhan Oak, Mung Chiang, Prateek Mittal)

本周 10 篇 ML 精选论文是：

1. Attentional Graph Convolutional Networks for Knowledge Concept Recommendation in MOOCs in a Heterogeneous View. (from Shen Wang, Jibing Gong, Jinlong Wang, Wenzheng Feng, Hao Peng, Jie Tang, Philip S. Yu)

2. Hierarchically Local Tasks and Deep Convolutional Networks. (from Arturo Deza, Qianli Liao, Andrzej Banburski, Tomaso Poggio)

3. Gradient descent follows the regularization path for general losses. (from Ziwei Ji, Miroslav Dudík, Robert E. Schapire, Matus Telgarsky)

4. Quantifying Differences in Reward Functions. (from Adam Gleave, Michael Dennis, Shane Legg, Stuart Russell, Jan Leike)

5. Replication-Robust Payoff-Allocation with Applications in Machine Learning Marketplaces. (from Dongge Han, Shruti Tople, Alex Rogers, Michael Wooldridge, Olga Ohrimenko, Sebastian Tschiatschek)

6. AI Feynman 2.0: Pareto-optimal symbolic regression exploiting graph modularity. (from Silviu-Marian Udrescu, Andrew Tan, Jiahai Feng, Orisvaldo Neto, Tailin Wu, Max Tegmark)

7. AI Feynman 2.0: Pareto-optimal symbolic regression exploiting graph modularity. (from Silviu-Marian Udrescu, Andrew Tan, Jiahai Feng, Orisvaldo Neto, Tailin Wu, Max Tegmark)

8. On Reward-Free Reinforcement Learning with Linear Function Approximation. (from Ruosong Wang, Simon S. Du, Lin F. Yang, Ruslan Salakhutdinov)

9. Off-Dynamics Reinforcement Learning: Training for Transfer with Domain Classifiers. (from Benjamin Eysenbach, Swapnil Asawa, Shreyas Chaudhari, Ruslan Salakhutdinov, Sergey Levine)

10. Automatic Data Augmentation for Generalization in Deep Reinforcement Learning. (from Roberta Raileanu, Max Goldstein, Denis Yarats, Ilya Kostrikov, Rob Fergus)