第十五章 降维
该系列文章为，观看“吴恩达机器学习”系列视频的学习笔记。虽然每个视频都很简单，但不得不说每一句都非常的简洁扼要，浅显易懂。非常适合我这样的小白入门。
本章含盖
- 15.1 目标 I：数据压缩
- 15.2 目标 II：可视化
- 15.3 主成分分析问题规划1
- 15.4 主成分分析问题规划2
- 15.5 主成分数量选择
- 15.6 压缩重现
- 15.7 应用 PCA 的建议
15.1 目标 I：数据压缩
第二种类型的无监督学习问题，叫做降维。 这里有一些，你想要使用降维的原因： ① 数据压缩 数据压缩不仅能对数据进行压缩，使得数据占用较小的内存或硬盘空间。它还能对学习算法进行加速 ② 可视化数据
但首先，让我们谈论降维是什么。举个例子，假设我们收集了一个数据集，它有很多很多的特征，我只在这里绘制两个特征。 假如，对我们来说，这两个特征，x_1 是某物体的厘米长度，另一个特征x_2 是同一物体的英寸长度。这实际上是一种高度冗余的表示。 对于这两个单独的特征 x_1 和 x_2，它们表示的都是基本长度。或许我们想做的是，把数据减少到一维。只有一个数字来测量某物体的长度。 这个例子可能有点牵强，这与我在行业中所见的完全是两回事。
如果你有几百个或成千上万的特征，你很容易就会迷失，自己到底有哪些特征。有时可能有几个不同的工程团队，也许一个工程队给你二百个特征，第二工程队给你另外三百个的特征，第三工程队给你五百个特征。最后加起来你就有一千多个特征，这时就很难去了解某个特征是从哪个小组得到的，这时就比较容易产生这与高度冗余的特征。 并且，如果这里的 厘米 和 英寸 长度都被四舍五入了，这就是这个例子为什么不是完美地落在一条直线上。
?另一个例子：如果你想要调查或做这些不同飞行员的测试——你可能有两个特征：x_1 是他们的技能（直升机飞行员）；x_2 表示他们是否喜欢飞行。也许这两个特征将高度相关。你真正关心的可能是这条红线的方向。它是一个不同的特征，用来真正测量飞行员能力的特征。 还是那句话，如果特征高度冗余，那么你可能真的需要降低维数
如果我们将数据从二维（2D）降到一维（1D），究竟意味着什么？ 现在我把不同的样本，用不同的颜色标出。在这时，通过降维，我的意思是我想找出这条看起来大多数样本所在的直线（绿色）。所有数据都投影到这条直线上，通过这种做法，我能够测量出每个样本在线上的位置，现在我能做的是建立新特征 z_1。我们只需要一个数，就能确定z_1所在的位置，也就是说z_1是一个全新的特征。它能够指定绿线上每一个点位置。
之前的样本 x_1，它是一个二维向量。在降维后，我们可用一维向量（即，实数）z_1表示第一个样本。
总结一下： 如果我们允许一个近似于原始数据集的数据集， 该数据集通过投射原始样本数据到这个绿色线上而得到。那么，我们只需要一个实数，就能指定点在直线上的位置。所以，我能够只用一个数字表示样本的位置，通过把这些原始样本都投射到绿线上（这是对原始数据集的一种近似，因为我将这些样本都投射到了同一条直线上）。这样（样本从用二维表示，变为用一个实数表示）就能把内存/数据空间的需求减半。
另外，更有趣也更重要的是。在之前的视频中，我们将能够了解到，这么做能够让学习算法运行得更快。
另一个例子，将数据从 3D 降到 2D。
btw，在典型的降维例子中，我们可能会有多达1000维或则说10000D的数据，然后我们需要把数据将到100维。但是由于绘图的局限性，我们这里举例 3D 到 2D 的例子。
把所有的数据都投射到一个二维平面上。
3D 云：
投射到一个二维平面上：
15.2 目标 II：可视化
降维的第二个应用：可视化数据 在许多及其学习问题中，如果我们能将数据可视化，我们便能寻找到一个更好的解决方案，降维可以帮助我们。
举例：
假使我们有关于许多不同国家的数据，每一个特征向量都有50个特征（如GDP，人均GDP，平均寿命等）。如果要将这个50维的数据可视化是不可能的。使用降维的方法将其降至2维，我们便可以将其可视化了。
当你这么做（将数据维度从50减少至2维度）之后，你会发现，当你观察降维算法的输出时，z 通常不会是你所期望的具有物理意义的特征。我们常常需要弄清楚，这些特征大致意味着什么？如果你把这些特征画出来，你就能在图中找到答案：
比如，你可能发现，横轴（z_1）大致相当于国家的总体规模或者国家的总体经济活跃程度，所以横轴代表的是GDP、一个国家的经济规模。而纵轴大致对应于人均GDP。你可能会发现，这50个 特征，实际上只偏离为两个主要维度。（这样做的问题在于，降维的算法只负责减少维数，新产生的特征的意义就必须由我们自己去发现了）
一个特殊的算法：PAC，也叫做“主成分分析”。它可以用来做降维操作，可以用来实现我们之前所提到的压缩数据。
15.3 主成分分析问题规划1
主成分分析(PCA)是最常见的降维算法。 在PCA中，我们要做的是找到一个方向向量（Vector direction），当我们把所有的数据都投射到该向量上时，我们希望投射平均均方误差能尽可能地小。方向向量是一个经过原点的向量，而投射误差是从特征向量向该方向向量作垂线的长度。
PCA 问题的公式描述。换句话说，我们会试着用公式准确地表述PCA的用途。
举例：?是一个 R^2 空间的样本。假设我想对数据进行降维，从二维降到一维。也就是，我想要找到一条直线，能够将数据投影到上面的直线。
那什么是一条好的投影这些数据的直线了？每个样本点到直线的距离非常的小。
所以，正式的说，PCA做的就是，它会找到一个低维平面（该例子中，是条直线），然后将数据投影在上面，使这些蓝色小线段（即，点到平面的距离）长度平方最小。这个蓝色小线段的距离，有时也称投影误差。 所以，PCA 所做的就是，它会试图寻找一个投影平面对数据进行投影，使得能最小化这个距离。 另外在应用PCA 之前，常规的做法是，先进行 均值归一化，使得特征量 x_1 和 x_2 其均值为0。并且其数值在可比较的范围之内。（本例中，我们已经处理过了）
后面会详细讲，PCA背景下的均值归一化问题的细节。
PCA做的就是，如果想将数据从二维降到一维。我们要试着找一个方向向量，使得向量 u^(i) ∈ R^n （本例中， n = 2，即，u^(i) ∈ R^2）投影到这个方向向量上的投影误差最小。
注意：向量是带方向的！！！ u^(i) 与 -u^(i)
更通常的情况是：我们会有N维数据，并且我们想其降到K维，这种情况下，我们不只是想找单个向量来对数据进行投影，而是想寻找K个方向来对数据进行投影，来最小化投影误差。（我们要做的是，将数据投影到这 k 个向量展开的线性子空间上）
举例：从 3D 降维到 2D：
u^(1) 和 u^(2) 两个向量一起定义了一个二维平面。我们将我们的数据投影到上面。
因此，PCA做的是其视图找出一条直线，或一个平面，或其他维的空间，然后对数据进行投影，以最小化平方投影。90度投影，或正交投影的误差。
PCA和线性回归之间的关系？？
事实上，PCA不是线性回归，尽管看上去有一些相似，但是它们确实是两种不同的算法。 上图中，左边的是线性回归的误差（垂直于横轴投影），右边则是主要成分分析的误差（垂直于红线投影）。 主成分分析最小化的是投射误差（Projected Error），而线性回归尝试的是最小化预测误差。线性回归的目的是预测结果，而主成分分析不作任何预测。
PCA将n个特征降维到k个，可以用来进行数据压缩，如果100维的向量最后可以用10维来表示，那么压缩率为90%。同样图像处理领域的KL变换使用PCA做图像压缩。但PCA 要保证降维后数据的特性损失最小。
PCA技术的一大好处是对数据进行降维的处理。我们可以对新求出的“主元”向量的重要性进行排序，根据需要取前面最重要的部分，将后面的维数省去，可以达到降维从而简化模型或是对数据进行压缩的效果。同时最大程度的保持了原有数据的信息。
PCA技术的一个很大的优点是，它是完全无参数限制的。在PCA的计算过程中完全不需要人为的设定参数或是根据任何经验模型对计算进行干预，最后的结果只与数据相关，与用户是独立的。
但是，这一点同时也可以看作是缺点。如果用户对观测对象有一定的先验知识，掌握了数据的一些特征，却无法通过参数化等方法对处理过程进行干预，可能会得不到预期的效果，效率也不高。
15. 4 主成分分析问题规划2
主成分分析算法
在使用PCA之前，首先要做的是，进行数据的预处理。 给定一个交易例子的集合， 预处理： ① 一定要做的一个事情是：执行均值归一化。 ② 依据于你的数据，可能也要进行特征缩放。 这两个过程，即在我们有监督学习中，均值标准化过程 与 特征缩放的过程 是相似的。实际上，确实是相同的过程，除了我们现在是对未标记数据 x^(1) 到 x^(m) 做 均值标准化过程 与 特征缩放过程。
对于均值标准化，我们首先计算，每个特征的均值。我们用“ x_j - u_j （减去它的均值）”取代每个特征“x_j^(i)”。这将使每个特征的均值正好为0。
接下来，如果不同的特征有非常不相同的缩放，例如 x_1 是房子的尺寸， x_2 是卧室的数量。我们缩放每一个特征，一个相对的价值范围。 相对于之前的监督学习：x_j^(i) = ( (x_j^(i) - u_j) / s_j )。 s_j = x_j 预测的最大值 - 最小值。更普遍的，s_j 是特征 j 的标准偏差。
做完这一系列的数据预处理之后，我们来看PCA算法 我们能从先前的视频看到，PCA所做的就是，它尝试着找到一个 低维 子空间，对数据进行投影，我们希望找到一个向量 u^(k) （比如，从 N 维将到 K 维），是的数据到这个向量的投影误差平方和最小。 给个提示，是什么减少了数据平均值的维度？？ 对于左边的例子，我们给定的样本 x^(i) 在 R^2 中（即，两个维度，x_1^(i)， x_2^(i)）。我们要做的就是在 R 中（一维）找到一个数据集 z^(i) 来代表我们原始的样本数据。所以，我们的均值从 2维 降到 1维。 所以，PCA要做的就是，要想出一个方法计算两个东西： ① 计算向量 u^(k) ② 计算 z^(i)
如何计算这些量了？
1，首先，我们要做的是计算这个“协方差（covariance matrix）”，通常用希腊字母 Σ。
① 希腊字母 Σ ，表示矩阵 ② 累加和标记
『 [U, S, V] = svd(Sigma); 』：计算 矩阵U = S 和 V 协方差矩阵sigma。 再补充一些细节：这个 协方差矩阵sigma，将会是一个 n*n 的矩阵。
矩阵U 的每一列就是 u^(i) ，即，u ∈ R^(n*n) 。所以，我们想减少数据的维度从 n 维 到 k 维，我们需要做的是提取前 k 个向量。u^1, … , u^k ，这给了我们 k 个方向（构成了一个 k维度的 子空间），即，我们想要投影数据的方向。
有了 u^k 后，我们要做的就是：x ∈ R^n ——> z ∈R^k 我们称 矩阵U 为 U_reduce（n*k 矩阵）。这是 矩阵U 被降维的版本，我们将用它来对我们的数据进行降维。
z = (U_reduce)^T * x (U_reduce)^T : k * n 矩阵 x 是 “n 维度向量（即，n * 1）” 所以，z 是 “k 维度向量”
15.5 主成分数量选择
在PCA算法中，我们将N维特征减少为K维特征。这个数字 K 是PCA算法的一个参数。这个数 K 也被称为 主成分的数字。或者，我们保留的主成分的数字。 在一般情况下，如何考虑选取这个参数 K ？
对于 参数K 的选择，这里有几个有用的概念：
PS : x_approx^(i) 就是 x^(i) ( x ∈ R^n )到 z ( z ∈R^k ) 的投影点
① PCA试图减少 投影误差平方的平均值（原始点与投影点之间的距离之和）：
② 数据的总方差：
所以，数据的总方差就是，我们训练集中每个样本的平均长度。 即，“我的训练样本，距离全零向量的距离（‖ x^(i) ‖^2 就表示训练样本 x^(i) 与 零向量 的距离），的平均值”。或者说，我的训练样本距离原点有多远？
我们希望在平均均方误差与训练集方差的比例尽可能小的情况下选择尽可能小的k值。 如果我们希望这个比例小于1%，就意味着原本数据的方差有99%都保留下来了，如果我们选择保留95%的方差，便能非常显著地降低模型中特征的维度了。 99%、95%、90% 都是一些具有代表性的范围。
对于许多数据集，你会惊讶，为了保留99%的方差，你可以减少维度，但仍然保留大部分的方差。因为对于真实世界的数据来说，许多特征都是高度相关的。因此，结果证明：对数据进行很多压缩，仍然可以保留99%的方差。
那么该如何实现了？
这里提供了一个你可能会用到的算法：
我们可以先令k=1，然后进行主要成分分析，获得U_reduce和z，然后计算比例是否小于1%。如果不是的话再令k=2，如此类推，z直到找到可以使得比例小于1%的最小k 值（原因是各个特征之间通常情况存在某种相关性）。
但是，?这个方法非常低效。
15.6 压缩重现
在以前的视频中，我谈论PCA作为压缩算法。在那里你可能需要把1000维的数据压缩100维特征，或具有三维数据压缩到一二维表示。所以，如果这是一个压缩算法，应该能回到这个压缩表示，回到你原有的高维数据的一种近似。 所以，给定的z(i)，这可能100维，怎么回到你原来的表示x(i)，这可能是1000维的数组？
PCA算法，我们可能有一个这样的样本。如图中样本x(1)，x(2)。我们做的是，我们把这些样本投射到图中这个一维平面。然后现在我们需要只使用一个实数，比如z(1)，指定这些点的位置后他们被投射到这一个三维曲面。给定一个点z(1)，我们怎么能回去这个原始的二维空间呢？x为2维，z为1维，
，相反的方程为：
并且PCA的意图就是，如果平方投影误差不太大。这样 x_approx 就会很接近原先用来求 z 的 x 值了。
我们可以把?这个过程叫做：原始数据的重构。
15.7 应用 PCA 的建议
我们常常使用PCA算法对监督学习算法进行加速。
假使我们正在针对一张 100×100像素的图片进行某个计算机视觉的机器学习，即总共有10000 个特征。
- 第一步是运用主要成分分析将数据压缩至1000个特征
检查已经被标记的训练集，并抽取输入（即，仅抽取 x），这样我们得到一个无标签的训练集。从 x^(1) 到 x^(m)，x 是10000 维向量。 接着我使用PCA，得到原始数据的低纬表示。 因此，我们就得到一个新的训练集： ( z^(1), y^(1) ), ( z^(2), y^(2) ), … , ( z^(m), y^(m) )
- 然后对训练集运行学习算法。
- 在预测时，采用之前学习而来的U_reduce将输入的特征x转换成特征向量z，然后再进行预测
最后要注意的一点是，PCA所做的是定义一个从 x 到 z 的映射。这个从 x 到 z 的映射只能通过在训练集上运行PCA来得到。这个映射（注意，这里说的是映射，而不是PCA算法）也能够被应用在 交叉校验 和 测试集 上的其他样本中。（即，如果我们有交叉验证集合测试集，也采用对训练集学习而来的U_reduce。 ）
总结一下：当在运行PCA时，仅仅在训练集中的数据上运行，不能用在交叉验证和测试集上。但，当你定义了 x 到 z 的映射后，你可以应用这个映射到你的交叉验证集和你的测试集。
顺便说一下，实际上，在许多问题中我们确实能减少数据的维度，大概可以减少到 1/5 或者 1/10，而且仍然保留大部分的方差，几乎不影响性能。而且使用较低的维度数据，我们的学习算法通常可以运行的更快。
总而言之，我们到目前为止讨论PCA的以下应用：
错误的主要成分分析情况：一个常见错误使用主要成分分析的情况是，将其用于减少过拟合（减少了特征的数量）。这样做非常不好，不如尝试正则化处理。原因在于PCA不需要使用标签y，它仅仅使用输入的 x^(i) ，使用它去寻找低纬数据，来近似你的数据。因此PCA会舍掉一些信息，它扔掉或减少数据的维度，不关心 y 值是什么。所以如果99%的方差信息被保留，你保留了大部分的方差，那么这样使用PCA是可以的。但是它也可能会丢掉一些有价值的信息。 事实证明，只使用正则化来防止过拟合常常会给你带来更好的结果。因为，当你应用 线性回归 或者 logistic回归 或其他的一些方法，进行正则化时，这个最小化问题，实际上是知道 y 的值的，所以不太可能损失掉一些有价值的信息。而PCA不使用标签，更有可能丢失一些有价值的信息。
因此，总结一下，使用PCA比较好的方式，是用它来提高学习算法的速度。但是使用PCA来防止过拟合，这不是PCA的一个好的运用。要使用正则化来防止过拟合。
另一个常见的错误是，默认地将主要成分分析作为学习过程中的一部分，这虽然很多时候有效果，最好还是从所有原始特征开始，只在有必要的时候（算法运行太慢或者占用太多内存）才考虑采用主要成分分析。