专栏首页CreateAMind深度学习的动机与挑战之-流形学习

深度学习的动机与挑战之-流形学习

流形是一个机器学习中很多想法内在的重要概念。

流形 (manifold) 指连接在一起的区域。数学上,它是指一组点,且每个点都有 其邻域。给定一个任意的点,其流形局部看起来像是欧几里得空间。日常生活中,我 们将地球视为二维平面,但实际上它是三维空间中的球状流形。

每个点周围邻域的定义暗示着存在变换能够从一个位置移动到其邻域位置。例 如在地球表面这个流形中,我们可以朝东南西北走。

尽管术语 ‘‘流形’’ 有正式的数学定义,但是机器学习倾向于更松散地定义一组点,只需要考虑少数嵌入在高维空间中的自由度或维数就能很好地近似。每一维都对应着局部的变动方向。如图5.11所示,训练数据位于二维空间中的一维流形中。在机器学习中,我们允许流形的维数从一个点到另一个点有所变化。这经常发生于流形和自身相交的情况中。例如,数字 “8’’ 形状的流形在大多数位置只有一维,但在中心的相交处有两维。

图 5.11: 从一个聚集在一维流形的二维空间的分布中抽取的数据样本,像一个缠绕的带子一样。实 线代表了学习者想要推断的隐含的流形。

如果我们希望机器学习算法学习 Rn 上的所有感兴趣的函数,那么很多机器学 习问题看上去都是不可解的。流形学习 (manifold learning) 算法通过一个假设来克 服这个障碍,该假设认为 Rn 中大部分区域都是无效的输入,感兴趣的输入只分布 在包含少量点的子集构成的一组流形中,而学习函数中感兴趣输出的变动只位于流 形中的方向,或者感兴趣的变动只发生在我们从一个流形移动到另一个流形的时候。

流形学习是在连续数值数据和无监督学习的设定下被引入的,尽管这个概率集中的 想法也能够泛化到离散数据和监督学习的设定下:关键假设仍然是概率质量高度集中。

数据位于低维流形的假设并不总是对的或者有用的。我们认为在人工智能的一 些场景中,如涉及到处理图像,声音或者文本,流形假设至少是近似对的。这个假 设的支持证据包含两类观察结果。

第一个支持流形假设 (manifold hypothesis) 的观察是现实生活中的图像,文本, 声音的概率分布都是高度集中的。均匀的噪扰从来没有和这类领域的结构化输入相 似过。图5.12显示均匀采样的点看上去像是没有信号时模拟电视上的静态模式。

图 5.12: 随机地均匀抽取图像(根据均匀分布随机地选择每一个像素)会得到噪音图像。尽管在人 工智能应用中生成一个脸或者其他物体的图像是非零概率的,但是实践中我们从来没有观察到这 个现象。这也意味着人工智能应用中遇到的图像在所有图像空间中的占比是忽略不计的。

同 样,如果我们均匀地随机抽取字母来生成文件,能有多大的概率得到一个有意义的 英语文档?几乎是零。因为大部分字母长序列不对应着自然语言序列:自然语言序 列的分布只占了字母序列的总空间里非常小的一部分。

当然,集中的概率分布不足以说明数据位于一个相当小的流形中。我们还必须 确定,我们遇到的样本和其他样本相互连接,每个样本被其他高度相似的样本包围, 可以通过变换来遍历该流形。支持流形假设的第二个论点是,我们至少能够非正式 地想象这些邻域和变换。在图像中,我们当然会认为有很多可能的变换允许我们描 绘出图片空间的流形:我们可以逐渐变暗或变亮光泽,逐步移动或旋转图中对象,逐 渐改变对象表面的颜色,等等。在大多数应用中很有可能会涉及多个流形。例如,人 脸图像的流形不太可能连接到猫脸图像的流形。

这些支持流形假设的思维试验传递了一些支持它的直观理由。更严格的实 验 (Cayton, 2005; Narayanan and Mitter, 2010; Schölkopf et al., 1998a; Roweis and Saul, 2000; Tenenbaum et al., 2000; Brand, 2003a; Belkin and Niyogi, 2003b; Donoho and Grimes, 2003; Weinberger and Saul, 2004a) 在人工智能中受关注的一大类数据 集上支持了这个假设。

当数据位于低维流形中时,使用流形中的坐标,而非 Rn 中的坐标表示机器学 习数据更为自然。日常生活中,我们可以认为道路是嵌入在三维空间的一维流形。我 们用一维道路中的地址号码确定地址,而非三维空间中的坐标。提取这些流形中的 坐标是非常具有挑战性的,但是很有希望改进许多机器学习算法。这个一般性原则 能够用在很多情况中。图5.13展示了包含脸的数据集的流形结构。

图 5.13: QMUL Multiview Face 数据集中训练样本 (Gong et al., 2000),其中的物体是移动的从而 覆盖对应两个旋转角度的二维流形。我们希望学习算法能够发现并且解决这些流形坐标。图20.6提 供了这样一个例子。

在本书的最后,我 们会介绍一些学习这样的流形结构的必备方法。在图20.6中,我们将看到机器学习算 法如何成功完成这个目标。

内容摘自:https://github.com/exacity/deeplearningbook-chinese/releases/ 5.11.3

本文分享自微信公众号 - CreateAMind(createamind)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-01-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Deep Learning Book 中文第十三章 线性因子模型

    用户1908973
  • WGAN 代码测试

    对 keras : tensorflow https://github.com/tdeboissiere/DeepLearningImplementations...

    用户1908973
  • keras doc 9 预处理等

    用以生成一个batch的图像数据,支持实时数据提升。训练时该函数会无限生成数据,直到达到规定的epoch次数为止。

    用户1908973
  • 容器逃逸成真:从CTF解题到CVE-2019-5736漏洞挖掘分析

    35C3 CTF是在第35届混沌通讯大会期间,由知名CTF战队Eat, Sleep, Pwn, Repeat于德国莱比锡举办的一场CTF比赛。比赛中有一道基于L...

    绿盟科技研究通讯
  • Loadrunner 脚本开发-soap_request函数介绍及WebService接口测试

    int soap_request( const char *StepName, ExpectedResponse, URL, , [Attachments,] ...

    授客
  • dnw驱动更新,支持全系统(xp,win7,win8/win10)

    前言: 本文用于解决win7以上系统使用dnw难装驱动问题,使用新驱动: zadig-2.3.exe,支持xp,win7/win8/win10系统,安装方便...

    韦东山
  • 不只是签到,LBS已经成为人们的水和空气

    本文为Intel赞助,与百度无关。这是Intel与虎嗅联合打造的“云端生活家”的专题项目,专注于围绕在普通民众身边的云端案例的挖掘和解析,专治云计算各种高大上和...

    罗超频道
  • lvm - Logical Volume Manager - 逻辑卷管理

    下午突然感觉 lvm 相关的知识忘记了,恰好机房里的fedora服务器上 挂了4个500GB的HDD 硬盘没有使用,就拿来操作了一番;

    xuyaowen
  • 产品资讯 | 发票管理繁杂不堪?腾讯优图财务票据OCR为你松绑!

    对企业财务人员来说,发票管理是个“体力活”。面对纷繁复杂的票据,逐一验真、分类、录入信息,不仅费时费力,也难以保证录入的准确率。尤其在报销结算期,时间紧,任务重...

    优图实验室
  • 摘转:发现 SOAP 编码对 Web 服务性能的影响

    今天在搜索资料,无意中找到这个三种方法的比较,还不错,摘一些主要的如下:

    阿敏总司令

扫码关注云+社区

领取腾讯云代金券