深度学习的动机与挑战之-流形学习

流形是一个机器学习中很多想法内在的重要概念。

流形 (manifold) 指连接在一起的区域。数学上,它是指一组点,且每个点都有 其邻域。给定一个任意的点,其流形局部看起来像是欧几里得空间。日常生活中,我 们将地球视为二维平面,但实际上它是三维空间中的球状流形。

每个点周围邻域的定义暗示着存在变换能够从一个位置移动到其邻域位置。例 如在地球表面这个流形中,我们可以朝东南西北走。

尽管术语 ‘‘流形’’ 有正式的数学定义,但是机器学习倾向于更松散地定义一组点,只需要考虑少数嵌入在高维空间中的自由度或维数就能很好地近似。每一维都对应着局部的变动方向。如图5.11所示,训练数据位于二维空间中的一维流形中。在机器学习中,我们允许流形的维数从一个点到另一个点有所变化。这经常发生于流形和自身相交的情况中。例如,数字 “8’’ 形状的流形在大多数位置只有一维,但在中心的相交处有两维。

图 5.11: 从一个聚集在一维流形的二维空间的分布中抽取的数据样本,像一个缠绕的带子一样。实 线代表了学习者想要推断的隐含的流形。

如果我们希望机器学习算法学习 Rn 上的所有感兴趣的函数,那么很多机器学 习问题看上去都是不可解的。流形学习 (manifold learning) 算法通过一个假设来克 服这个障碍,该假设认为 Rn 中大部分区域都是无效的输入,感兴趣的输入只分布 在包含少量点的子集构成的一组流形中,而学习函数中感兴趣输出的变动只位于流 形中的方向,或者感兴趣的变动只发生在我们从一个流形移动到另一个流形的时候。

流形学习是在连续数值数据和无监督学习的设定下被引入的,尽管这个概率集中的 想法也能够泛化到离散数据和监督学习的设定下:关键假设仍然是概率质量高度集中。

数据位于低维流形的假设并不总是对的或者有用的。我们认为在人工智能的一 些场景中,如涉及到处理图像,声音或者文本,流形假设至少是近似对的。这个假 设的支持证据包含两类观察结果。

第一个支持流形假设 (manifold hypothesis) 的观察是现实生活中的图像,文本, 声音的概率分布都是高度集中的。均匀的噪扰从来没有和这类领域的结构化输入相 似过。图5.12显示均匀采样的点看上去像是没有信号时模拟电视上的静态模式。

图 5.12: 随机地均匀抽取图像(根据均匀分布随机地选择每一个像素)会得到噪音图像。尽管在人 工智能应用中生成一个脸或者其他物体的图像是非零概率的,但是实践中我们从来没有观察到这 个现象。这也意味着人工智能应用中遇到的图像在所有图像空间中的占比是忽略不计的。

同 样,如果我们均匀地随机抽取字母来生成文件,能有多大的概率得到一个有意义的 英语文档?几乎是零。因为大部分字母长序列不对应着自然语言序列:自然语言序 列的分布只占了字母序列的总空间里非常小的一部分。

当然,集中的概率分布不足以说明数据位于一个相当小的流形中。我们还必须 确定,我们遇到的样本和其他样本相互连接,每个样本被其他高度相似的样本包围, 可以通过变换来遍历该流形。支持流形假设的第二个论点是,我们至少能够非正式 地想象这些邻域和变换。在图像中,我们当然会认为有很多可能的变换允许我们描 绘出图片空间的流形:我们可以逐渐变暗或变亮光泽,逐步移动或旋转图中对象,逐 渐改变对象表面的颜色,等等。在大多数应用中很有可能会涉及多个流形。例如,人 脸图像的流形不太可能连接到猫脸图像的流形。

这些支持流形假设的思维试验传递了一些支持它的直观理由。更严格的实 验 (Cayton, 2005; Narayanan and Mitter, 2010; Schölkopf et al., 1998a; Roweis and Saul, 2000; Tenenbaum et al., 2000; Brand, 2003a; Belkin and Niyogi, 2003b; Donoho and Grimes, 2003; Weinberger and Saul, 2004a) 在人工智能中受关注的一大类数据 集上支持了这个假设。

当数据位于低维流形中时,使用流形中的坐标,而非 Rn 中的坐标表示机器学 习数据更为自然。日常生活中,我们可以认为道路是嵌入在三维空间的一维流形。我 们用一维道路中的地址号码确定地址,而非三维空间中的坐标。提取这些流形中的 坐标是非常具有挑战性的,但是很有希望改进许多机器学习算法。这个一般性原则 能够用在很多情况中。图5.13展示了包含脸的数据集的流形结构。

图 5.13: QMUL Multiview Face 数据集中训练样本 (Gong et al., 2000),其中的物体是移动的从而 覆盖对应两个旋转角度的二维流形。我们希望学习算法能够发现并且解决这些流形坐标。图20.6提 供了这样一个例子。

在本书的最后,我 们会介绍一些学习这样的流形结构的必备方法。在图20.6中,我们将看到机器学习算 法如何成功完成这个目标。

内容摘自：https://github.com/exacity/deeplearningbook-chinese/releases/ 5.11.3