7 Papers & Radios | AI求解薛定谔方程；陶大程等深度学习理论进展综述

机器之心 & ArXiv Weekly Radiostation

参与：杜伟、楚航、罗若天

本周的重要论文包括人工智能计算薛定谔方程的基态解以及悉尼大学陶大程等的深度学习理论进展综述。

目录：

1. Theoretical Issues in Deep Networks 
2. Deep-Neural-Network Solution of the Electronic Schrödinger Equation
3. Graph Neural Networks: Taxonomy, Advances and Trends
4. Transferable Graph Optimizers for ML Compilers 
5. Fourier Optical Preprocessing in Lieu of Deep Learning
6. Research on Deep Sequence Model for Text Generation 
7. Recent Advances in Deep Learning Theory
8. ArXiv Weekly Radiostation：NLP、CV、ML 更多精选论文（附音频）

论文 1：Theoretical Issues in Deep Networks

• 作者：Tomaso Poggioa、Andrzej Banburskia、Qianli Liaoa
• 论文链接：https://cbmm.mit.edu/sites/default/files/publications/PNASlast.pdf

摘要：人工智能（AI）的复苏很大程度上归功于深度学习在模式识别方面的快速发展。深度神经网络架构的构建一定程度上受到了生物大脑和神经科学的启发。就像生物大脑的内部运行机制一样，深度网络在很大程度上无法得到解释，没有一个统一的理论。对此，来自麻省理工学院（MIT）的研究者提出了深度学习网络如何运行的新见解，有助于人们揭开人工智能机器学习的黑匣子。

研究者重点探究了深度网络对某些类型的多元函数的近似，这些函数避免了维数灾难现象，即维数准确率与参数量成指数关系。在应用机器学习中，数据往往是高维的。高维数据的示例包括面部识别、客户购买历史、病人健康档案以及金融市场分析等。深度网络的深度是指计算的层数——计算层数越多，网络越深。为了阐明自己的理论，三位研究者检验了深度学习的近似能力、动态优化以及样本外性能。

网络中的每个节点对应于要近似的函数的图中的节点。

左图显示了在数据集（CIFAR-10）相同、初始化不同的网络上，测试与训练交叉熵损失的对比，结果显示在训练集上产生的分类误差为零，但测试误差不同；右图显示了在相同的数据、相同的网络上测试与训练损失的对比。

推荐：研究者探讨了关于深度学习中非常基础的问题，包括网络的近似能力、优化的动态规律和强泛化能力等。

论文 2：Deep-Neural-Network Solution of the Electronic Schrödinger Equation

• 作者：Jan Hermann、Zeno Schätzle、Frank Noé
• 论文链接：https://www.nature.com/articles/s41557-020-0544-y

摘要：求解薛定谔方程可以为化学反应提供线索。化学反应的结果基本上与电子以及它们环绕原子和分子的方式有关。而控制事物反应的能量以及电子在分子中的轨道的差异决定了化学物质的形状，也由此决定了其性质。计算这一能量的方式就是求解薛定谔方程。换句话说，求解出薛定谔方程，就可以知道化学反应的结果。然而，这并非易事。此前，我们可以精确求解的原子只有氢原子——仅具备一个质子和一个电子。最近，来自柏林自由大学的科学家提出利用人工智能计算薛定谔方程的基态解。

受到「泡利不相容原理」（Pauli exclusion principle）的启发，研究者将他们的方法命名为「PauliNet」。它是一种深度学习波函数拟设，可以获得电子薛定谔方程的近乎精确解。PauliNet 具有一个作为基线的内置多参考哈特里－福克（Hartree–Fock）解，集成有效波函数的物理特性，并使用变分量子蒙特卡罗方法（variational quantum Monte Carlo, VMC）进行训练。

PauliNet 拟设架构的信息流。

使用这四种不同方法时，H_2、LiH、Be、B 和 H_10 五种系统的基态能量对比。

推荐：相关研究发表在 Nature Chemistry 上。

论文 3：Graph Neural Networks: Taxonomy, Advances and Trends

• 作者：Yu Zhou、Haixia Zheng、Xin Huang
• 论文链接：https://arxiv.org/pdf/2012.08752.pdf

摘要：基于特定任务，图神经网络为真实图向低维空间的嵌入提供了一个强大的工具包。截止目前，针对这一主题的调研也出现了一些。但是，这些调研侧重于不同的角度，如此读者无法窥见图神经网络的发展全貌。所以，太原理工大学三位研究者的这篇论文克服了这一局限，对图神经网络进行了全面的综述。

研究者首先提出了一种全新的图神经网络分类方法，然后参考了四百篇相关文献以展示图神经网络的发展全景。此外，他们总结了未来图神经网络四种不同的发展方向，以克服面临的挑战。研究者希望更多的学者可以理解和探索图神经网络并将它们应用到自己的研究领域。

谱 GCNN（Graph Convolutional Neural Network）的计算框架。

两种形式的图注意力机制。

图 LSTM 的计算框架。

推荐：图神经网络的分类、进展和趋势综述。

论文 4：Transferable Graph Optimizers for ML Compilers

• 作者：Yanqi Zhou、Sudip Roy、Amirali Abdolrashidi、Daniel Wong 等
• 论文链接：https://papers.nips.cc/paper/2020/file/9f29450d2eb58feb555078bdefe28aa5-Paper.pdf

摘要：本文中，来自谷歌、加州大学河滨分校等机构的研究者根据归纳图神经网络的可扩展序列注意力机制，提出了一种用于计算图优化（graph optimization, GO）的端到端可迁移深度强化学习方法。就效果而言，GO 在整个图上而非每个单独的节点上生成决策，搜索速度相比以往方法大大加快。此外，研究者还提出使用循环注意力层来共同优化依赖图优化任务并且与 TensorFlow 默认优化相比，在三个图优化任务上实现了 33%-60% 的速度提升。

GO 架构图。

GO 与其他模型对比。

运行时对比。

推荐：用于机器学习编译器的可迁移图优化器。

论文 5：Fourier Optical Preprocessing in Lieu of Deep Learning

• 作者：Baurzhan Muminov、Luat T. Vuong
• 论文链接：https://www.osapublishing.org/optica/fulltext.cfm?uri=optica-7-9-1079&id=437484

摘要：今年 8 月份，在一篇发表于 Optica 的论文中，加州大学河滨分校机械工程系助理教授 Luat Vuong 和博士生 Baurzhan Muminov 通过应用光学漩涡（具有深色中心点的旋绕光波），证明了混合计算机视觉系统的可行性。光学漩涡可以比喻为光绕着边缘和角落传播时产生的流体动力漩涡。

研究表明，光学预处理可以降低图像计算的功耗，而电子设备中的数字信号识别相关性，提供优化并快速计算可靠的决策阈值。借助混合计算机视觉，光学器件具有速度和低功耗计算的优势，并且比 CNN 的时间成本降低了 2 个数量级。通过图像压缩，则有可能从存储和计算复杂性两方面大幅减少电子后端硬件。Luat Vuong 表示：「本研究中的漩涡编码器表明，光学预处理可以消除对 CNN 的需求，比 CNN 更具鲁棒性，并且能够泛化逆问题的解决方法。例如当混合神经网络学习手写数字的形状时，它可以重建以前从未见过的阿拉伯或日语字符。」

该研究的成像方案。

推荐：该论文还表明，将图像缩小为更少的高强度像素能够实现极弱光线条件下的图像处理。该研究为光子学在构建通用的小脑混合神经网络和开发用于大数据分析的实时硬件方面的作用提供了新见解。

论文 6：Research on Deep Sequence Model for Text Generation

• 作者：张儒清
• 论文链接：https://www.ccf.org.cn/Focus/2020-12-03/717578.shtml

摘要：文本到文本的生成可以看做是将承载原始信息的文本转变成符合用户真实信息需求的文本。本文根据信息变换方式的不同，将文本到文本的生成划分成三类任务：压缩式生成、对等式生成和多样化生成。其中压缩式生成将文本或文本集合压缩成简明扼要的内容；对等式生成中输入文本和输出文本在语义上具有一一对应性；多样化生成中输入文本和输出文本在语义上存在着多种对应关系。近年来，随着深度学习的崛起，利用深度序列模型，实现序列到序列的学习已然成为文本到文本生成研究领域的主流。基于深度序列建模的文本到文本生成主要包含三个环节：输入文本的语义理解，输入信息到输出信息的映射，以及输出文本的建模。

基于此，本文研究了面向文本生成的深度序列建模过程中三个关键性的挑战问题：1）输入文本的语义繁杂性；2）输入文本和输出文本间的映射多 样性；3）输出文本的结构复杂性。

面向文本到文本生成的深度序列建模过程。

循环神经网络 RNN 示意图。左边是 RNN 结构图，右边是输入序列的层级展开图。

编码器 - 解码器的基本框架。

推荐：本文作者为中科院计算所工学博士，主要研究计算机系统结构。

论文 7：Recent Advances in Deep Learning Theor

• 作者：Fengxiang He、Dacheng Tao
• 论文链接：https://arxiv.org/pdf/2012.10931.pdf

摘要：深度学习常常被描述成一个实验驱动的领域，并被不断地诟病缺乏理论基础。得益于大量的研究文献，这个问题已经得到了部分解决，但是这些文献却至今没有很好地整合起来。在本文中，包括陶大程在内来自悉尼大学的两位学者对深度学习理论的最新进展进行了回顾和整理，并分为以下六大部分内容：一是基于复杂性和能力的分析深度学习泛化性的方法；二是用于建模随机梯度下降及其变体的随机微分函数以及动态系统；三是驱动动态系统轨迹的损失场景的几何结构；四是深度神经网络过参数化的积极和消极作用；五是网络架构中一些特殊结构的理论基础；六是对伦理和安全及两者与泛化性关联的日益关注。

测试准确率与批大小和学习率的曲线变化图。

MNIST 和 CIFAR-10 数据集上训练和测试黑塞矩阵（Hessian matrices）频谱图。

深度学习主要泛化边界的比较。

推荐：深度学习理论的最新进展汇总。

ArXiv Weekly Radiostation

机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation，在 7 Papers 的基础上，精选本周更多重要论文，包括NLP、CV、ML领域各10篇精选，并提供音频形式的论文摘要简介，详情如下：

本周 10 篇 NLP 精选论文是：

1. I like fish, especially dolphins: Addressing Contradictions in Dialogue Modelling.  (from Jason Weston)

2. Bridging Textual and Tabular Data for Cross-Domain Text-to-SQL Semantic Parsing.  (from Richard Socher)

3. A Hierarchical Reasoning Graph Neural Network for The Automatic Scoring of Answer Transcriptions in Video Job Interviews.  (from Kai Chen)

4. AdvExpander: Generating Natural Language Adversarial Examples by Expanding Text.  (from Minlie Huang)

5. SubICap: Towards Subword-informed Image Captioning.  (from Mohammed Bennamoun, Wei Liu)

6. Simple-QE: Better Automatic Quality Estimation for Text Simplification.  (from Chris Callison-Burch)

7. ActionBert: Leveraging User Actions for Semantic Understanding of User Interfaces.  (from Ying Xu)

8. Sentence-Based Model Agnostic NLP Interpretability.  (from Pascal Frossard)

9. QUACKIE: A NLP Classification Task With Ground Truth Explanations.  (from Pascal Frossard)

10. Learning Contextual Representations for Semantic Parsing with Generation-Augmented Pre-Training.  (from Jun Wang)

本周 10 篇 CV 精选论文是：

1. A Deep Reinforcement Learning Approach for Ramp Metering Based on Traffic Video Data.  (from Bing Liu)

2. Deep Learning-Based Human Pose Estimation: A Survey.  (from Mubarak Shah)

3. Task-Adaptive Negative Class Envision for Few-Shot Open-Set Recognition.  (from Shih-Fu Chang)

4. Boosting Monocular Depth Estimation with Lightweight 3D Point Fusion.  (from Jiri Matas, Janne Heikkila)

5. A Survey on Visual Transformer.  (from Dacheng Tao)

6. Progressive One-shot Human Parsing.  (from Dacheng Tao)

7. A Holistically-Guided Decoder for Deep Representation Learning with Applications to Semantic Segmentation and Object Detection.  (from Xiaogang Wang)

8. Labels Are Not Perfect: Inferring Spatial Uncertainty in Object Detection.  (from Masayoshi Tomizuka)

9. 3D Object Classification on Partial Point Clouds: A Practical Perspective.  (from Tong Zhang, C. L. Philip Chen)

10. CodeVIO: Visual-Inertial Odometry with Learned Optimizable Dense Depth.  (from Marc Pollefeys)

本周 10 篇 ML 精选论文是：

1. Upper and Lower Bounds on the Performance of Kernel PCA.  (from John Shawe-Taylor)

2. Towards Robust Explanations for Deep Neural Networks.  (from Klaus-Robert Müller)

3. Augmenting Policy Learning with Routines Discovered from a Demonstration.  (from Joshua Tenenbaum)

4. Unsupervised in-distribution anomaly detection of new physics through conditional density estimation.  (from Uros Seljak)

5. Noisy Labels Can Induce Good Representations.  (from Jimmy Ba)

6. Multi-fidelity Bayesian Neural Networks: Algorithms and Applications.  (from George Em Karniadakis)

7. On Batch Normalisation for Approximate Bayesian Inference.  (from Philip H.S. Torr)

8. Regret Bound Balancing and Elimination for Model Selection in Bandits and RL.  (from Peter Bartlett)

9. Decentralized Federated Learning via Mutual Knowledge Transfer.  (from Pramod K. Varshney)

10. Information-Preserving Contrastive Learning for Self-Supervised Representations.  (from Dina Katabi)