重磅干货 | 从连续的视角看机器学习

本文于2020年发表于《中国科学：数学》杂志。作者为鄂维南（普林斯顿大学、北京大数据研究院）、马超（普林斯顿大学）和吴磊（普林斯顿大学）。英文论文PDF文件下载请在本公众号回复关键词“机器学习连续视角”。

摘要

在经典数值分析的影响下，我们提出了一个连续的机器学习形式，将其作为变分法和微分积分方程中的一个问题。我们证明了传统的机器学习模型和算法，如随机特征模型、两层神经网络模型和残差神经网络模型，都可以表示成（以比例形式）对应连续形式的离散化的特例。我们还提供了从这种连续形式自然产生的新模型，例如基于流的随机特征模型，以及新算法，例如平滑粒子方法和谱方法。我们讨论了如何在这个框架下研究泛化误差和隐式正则化问题。

提纲

• 1.介绍
• 2.函数的表示
  • 2.1 基于积分变换的表示
  • 2.2 基于流的表示
• 3.优化问题
  • 3.1 有监督学习
  • 3.2 降维
  • 3.3 变分法
  • 3.4 非线性抛物偏微分方程
• 4.梯度流
  • 4.1 保守和非保守梯度流
  • 4.2 基于流模型的Pontryagin最大值原理
  • 4.3 基于流的随机特征模型
  • 4.4 基于流的神经网络的梯度流
• 5.离散化
  • 5.1 还原两层神经网络模型
  • 5.2 平滑粒子法
  • 5.3 基于积分变换模型的一种新算法
• 6.泛化误差
  • 6.1 离散化模型分析
  • 6.2 连续模型分析
• 7.一个例子
  • 7.1 均匀目标分布的全局收敛性
  • 7.2 一般情况下的局部收敛性
  • 7.3 数值结果
  • 7.4 频率原理
• 8.讨论

讨论

这里提出的连续视角提供了一种更抽象的机器学习的思考方式。重点关注函数的表示、变分法问题和连续梯度流。特征和神经元作为对象出现在这些连续问题的特殊离散化中。

我们从这个思考过程中至少学到了两件事。一方面，我们可以不借助神经元的概念来讨论机器学习，实际上除了神经网络模型之外，还有很多算法和模型。另一方面，我们也看到了为什么神经网络（浅层和深层）是不可避免的选择：它们是最简单的连续梯度流模型的最简单粒子方法离散化（分别用于基于积分变换和基于流的表示）。

经典数值分析的一个主要主题是提出更好的模型和算法的设计原则。本着这种精神，我们可以为连续机器学习方法提出以下一组原则：

• 1.目标函数应该以各种形式表示为期望。
• 2.风险泛函应该是好泛函。即使不是凸的，它们也应该具有凸泛函的许多特征。好的一点是，如果我们从连续模式开始，离散化模型很可能不会被离散效应导致的局部极小所困扰。
• 3.不同的梯度流是很好的流，即相关范数应在流上变现良好。这里相关范数指与特定表示相关的范数（例如，基于积分变换的表示的Barron范数）。
• 4.流的数值离散化应在较长的时间间隔内保持稳定。

我们认为如果遵循这组设计原则，所得到的模型和算法将以一种相当健壮的方式运行，而当前的机器学习模型往往敏感地依赖于超参数的选择。

当前机器学习算法中的一些微妙之处，仅仅是从一个连续的角度来看待就已经可以被理解了。例如，非常深的全连接网络应该会引起问题，因为它们没有很好的连续极限[35]。