重磅综述 | 神经网络机器学习的数学理解

本文是由鄂维南院士、马超、吴磊和Stephan Wojtowytsch 2020年12月发表在CSIAM Transactions on Applied Mathematics 上的综述文章。原文题目为“Towards a Mathematical Understanding of Neural Network-Based Machine Learning: What We Know and What We Don’t”。下载英文报告请在本公众号发送关键词“机器学习数学理解”

基于神经网络的机器学习非常强大然而也十分脆弱。一方面，它能以前所未有的效率和精度逼近高维函数。这在不同的学科领域开辟了全新的可能性。另一方面，它也有着“黑魔法”的名声：其成功取决于许多技巧，参数调整可以是一门艺术。机器学习数学研究的主要目标是

1. 解释机器学习成功背后的原因和微妙之处，以及
2. 提出同样成功但不那么脆弱的新模型。

我们离完全实现这些目标还很远，但公平地说，一个合理的大局正在显现。

本文的目的是回顾第一个目标的主要成就，并讨论存在的主要困惑。在古老的应用数学传统中，我们不仅要注意严谨的数学结果，还要讨论我们从仔细的数值实验和简化模型分析中获得的见解。

目前对第二个目标的关注要少得多。我们应该提到的一个观点是[33]中所提倡的连续形式化。其思想是首先建立机器学习问题的“适定”连续模型，然后离散化得到具体的算法。这一提议的吸引力在于：

• 许多现有的机器学习模型和算法都可以用这种方法以比例形式恢复；
• 有证据表明，与传统的机器学习模型相比，用这种方法获得的机器学习模型在选择超参数方面更为稳健（例如，参见下面的图5）；
• 新的模型和算法自然以这种方式得到验证。一个特别有趣的例子是针对ResNet类模型的基于最大原理的训练算法[58]。

然而，在现阶段还不能说连续形式化就是一条走得通的道路。因此我们将把对这个问题的充分讨论推迟到今后的工作。

文章提纲：

• 1 介绍
  • 1.1 有监督学习
  • 1.2 主要问题（假设空间、损失函数和训练算法的性质）
  • 1.3 逼近和估计误差
• 2 序言
  • 2.1 万能逼近定理和维度灾难
  • 2.2 大型神经网络模型的损失景观
  • 2.3 过参数化、插值和隐式正则化
  • 2.4 选题
• 3 假设空间的逼近性质和Rademacher复杂性
  • 3.1 随机特征模型
  • 3.2 两层神经网络模型
  • 3.3 残差网络
  • 3.4 多层网络：树型函数空间
  • 3.5 索引表示和多层空间
  • 3.6 多层网络中的深度分离
  • 3.7 可学习性和逼近性的权衡
  • 3.8 先验和后验估计
  • 3.9 未知的问题
• 4 损失函数和损失景观
  • 4.1 未知的问题
• 5 训练过程：收敛性和隐式正则化
  • 5.1 具有平均场标度的两层神经网络
  • 5.2 具有常规尺度的两层神经网络
  • 5.3 神经网络模型训练的其他收敛结果
  • 5.4 随机特征模型的双下降慢劣化
  • 5.5 全局极小值选择
  • 5.6 自适应梯度算法的定性性质
  • 5.7 多层神经网络的爆炸和消失梯度
  • 5.8 未知的问题？
• 总结