深度学习的动机与挑战之-流形学习

流形是一个机器学习中很多想法内在的重要概念。

流形 (manifold) 指连接在一起的区域。数学上,它是指一组点,且每个点都有 其邻域。给定一个任意的点,其流形局部看起来像是欧几里得空间。日常生活中,我 们将地球视为二维平面,但实际上它是三维空间中的球状流形。

每个点周围邻域的定义暗示着存在变换能够从一个位置移动到其邻域位置。例 如在地球表面这个流形中,我们可以朝东南西北走。

尽管术语 ‘‘流形’’ 有正式的数学定义,但是机器学习倾向于更松散地定义一组点,只需要考虑少数嵌入在高维空间中的自由度或维数就能很好地近似。每一维都对应着局部的变动方向。如图5.11所示,训练数据位于二维空间中的一维流形中。在机器学习中,我们允许流形的维数从一个点到另一个点有所变化。这经常发生于流形和自身相交的情况中。例如,数字 “8’’ 形状的流形在大多数位置只有一维,但在中心的相交处有两维。

图 5.11: 从一个聚集在一维流形的二维空间的分布中抽取的数据样本,像一个缠绕的带子一样。实 线代表了学习者想要推断的隐含的流形。

如果我们希望机器学习算法学习 Rn 上的所有感兴趣的函数,那么很多机器学 习问题看上去都是不可解的。流形学习 (manifold learning) 算法通过一个假设来克 服这个障碍,该假设认为 Rn 中大部分区域都是无效的输入,感兴趣的输入只分布 在包含少量点的子集构成的一组流形中,而学习函数中感兴趣输出的变动只位于流 形中的方向,或者感兴趣的变动只发生在我们从一个流形移动到另一个流形的时候。

流形学习是在连续数值数据和无监督学习的设定下被引入的,尽管这个概率集中的 想法也能够泛化到离散数据和监督学习的设定下:关键假设仍然是概率质量高度集中。

数据位于低维流形的假设并不总是对的或者有用的。我们认为在人工智能的一 些场景中,如涉及到处理图像,声音或者文本,流形假设至少是近似对的。这个假 设的支持证据包含两类观察结果。

第一个支持流形假设 (manifold hypothesis) 的观察是现实生活中的图像,文本, 声音的概率分布都是高度集中的。均匀的噪扰从来没有和这类领域的结构化输入相 似过。图5.12显示均匀采样的点看上去像是没有信号时模拟电视上的静态模式。

图 5.12: 随机地均匀抽取图像(根据均匀分布随机地选择每一个像素)会得到噪音图像。尽管在人 工智能应用中生成一个脸或者其他物体的图像是非零概率的,但是实践中我们从来没有观察到这 个现象。这也意味着人工智能应用中遇到的图像在所有图像空间中的占比是忽略不计的。

同 样,如果我们均匀地随机抽取字母来生成文件,能有多大的概率得到一个有意义的 英语文档?几乎是零。因为大部分字母长序列不对应着自然语言序列:自然语言序 列的分布只占了字母序列的总空间里非常小的一部分。

当然,集中的概率分布不足以说明数据位于一个相当小的流形中。我们还必须 确定,我们遇到的样本和其他样本相互连接,每个样本被其他高度相似的样本包围, 可以通过变换来遍历该流形。支持流形假设的第二个论点是,我们至少能够非正式 地想象这些邻域和变换。在图像中,我们当然会认为有很多可能的变换允许我们描 绘出图片空间的流形:我们可以逐渐变暗或变亮光泽,逐步移动或旋转图中对象,逐 渐改变对象表面的颜色,等等。在大多数应用中很有可能会涉及多个流形。例如,人 脸图像的流形不太可能连接到猫脸图像的流形。

这些支持流形假设的思维试验传递了一些支持它的直观理由。更严格的实 验 (Cayton, 2005; Narayanan and Mitter, 2010; Schölkopf et al., 1998a; Roweis and Saul, 2000; Tenenbaum et al., 2000; Brand, 2003a; Belkin and Niyogi, 2003b; Donoho and Grimes, 2003; Weinberger and Saul, 2004a) 在人工智能中受关注的一大类数据 集上支持了这个假设。

当数据位于低维流形中时,使用流形中的坐标,而非 Rn 中的坐标表示机器学 习数据更为自然。日常生活中,我们可以认为道路是嵌入在三维空间的一维流形。我 们用一维道路中的地址号码确定地址,而非三维空间中的坐标。提取这些流形中的 坐标是非常具有挑战性的,但是很有希望改进许多机器学习算法。这个一般性原则 能够用在很多情况中。图5.13展示了包含脸的数据集的流形结构。

图 5.13: QMUL Multiview Face 数据集中训练样本 (Gong et al., 2000),其中的物体是移动的从而 覆盖对应两个旋转角度的二维流形。我们希望学习算法能够发现并且解决这些流形坐标。图20.6提 供了这样一个例子。

在本书的最后,我 们会介绍一些学习这样的流形结构的必备方法。在图20.6中,我们将看到机器学习算 法如何成功完成这个目标。

内容摘自:https://github.com/exacity/deeplearningbook-chinese/releases/ 5.11.3

原文发布于微信公众号 - CreateAMind(createamind)

原文发表时间:2017-01-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CVer

[计算机视觉论文速递] 2018-05-08

[1]《DCAN: Dual Channel-wise Alignment Networks for Unsupervised Scene Adaptation...

1241
来自专栏人工智能头条

用AI给裸女自动“穿”上比基尼,妈妈再也不担心我“辣眼睛”了

互联网的内容繁杂,一不小心就会看到一些“辣眼睛”的内容,比如裸女,这也是为什么我们需要审核人员的存在。当然,受益于 AI 技术的发展,现在很多审核工作已经自动化...

871
来自专栏机器之心

下一个GAN?OpenAI提出可逆生成模型Glow

该研究一经发表,立刻引起了机器学习社区的注意,有人对此表示:终于,我们有了 GAN 以外的优秀生成模型!

991
来自专栏AI研习社

神经网络如何完成表征?

我们了解神经网络以及它们从数据科学到计算机视觉的多个领域中的无数成就。众所周知,它们在解决有关泛化性方面的复杂任务中表现良好。从数学上讲,他们非常擅长近似任何的...

1372
来自专栏新智元

【AAAI Oral】阿里提出新神经网络算法,压缩掉最后一个比特

【新智元导读】在利用深度网络解决问题的时候人们常常倾向于设计更为复杂的网络收集更多的数据以期获得更高的性能。但是,随之而来的是模型的复杂度急剧提升,参数越来越多...

3936
来自专栏AI科技大本营的专栏

AI 技术讲座精选:菜鸟学深度学习(一)

【AI100 导读】在本系列中,你将会学习如何利用深度学习解决那些比较简单的问题。在解决问题的过程中,你不仅会学到深度学习中的某一种类型,也可以在 Keras ...

3678
来自专栏量化投资与机器学习

基于 RNN、LSTM 的股票多因子预测模型

前言 在机器学习如何应用到量化投资的系列文章中,今天我们专门来介绍一篇来自国信证券的研究报告,来从券商角度分析这个问题。 对于最直接的问题:能否利用神经网络,要...

1.5K7
来自专栏目标检测和深度学习

【史上最有趣论文】物体检测经典模型YOLO新升级,就看一眼,速度提升 3 倍!

新智元编译 作者:Joseph Redmon、Ali Farhadi 翻译:肖琴 【新智元导读】你肯定很少见到这样的论文,全文像闲聊一样,不愧是YO...

37915
来自专栏数据派THU

10大深度学习架构:计算机视觉优秀从业者必备(附代码实现)

? 来源:机器之心 作者:FAIZAN SHAIKH 本文长度为3000字,建议阅读5分钟 本文包括深度学习领域的最新进展、keras 库中的代码实现以及论文...

3409
来自专栏iOSDevLog

人工智能-深度学习框架下的神经网络

2606

扫码关注云+社区

领取腾讯云代金券