【算法系列】主成分分析的几何意义

由上面的介绍我们知道，在处理涉及多个指标问题的时候，为了提高分析的效率，可以不直接对P个指标构成的P维随机向量

进行分析，而是先对向量x进行线性变换，形成少数几个新的综合变量y1，y2，…，ym，使得各综合变量之间相互独立且能解释原始变量尽可能多的信息，这样，在以损失很少部分信息为代价的前提下，达到简化数据结构，提高分析效率的目的。

主成分分析的几何意义

设有N个样品，每个样品有两个观测变量X1，X2，这样，在由变量X1，X2组成的坐标空间中，N个样品散布的情况如带状，如下图。

上图中的N个样本点，无论沿着X1轴方向还是X2轴方向，都有较大的离散性，其离散程度可以分别用观测变量X1的方差或X2的方差测定。

当只考虑X1和X2中的任何一个时，原始数据中的信息将会有较大的损失。

考虑X1和X2的线性组合，使原始样品数据可以由新的变量Y1和Y2来刻画，在几何上表示就是将坐标轴按逆时针方向旋转

，得到新坐标轴Y1和Y2 。

其矩阵形式为

U为旋转变换矩阵，且

，即是正交矩阵。

经过这样的旋转之后，N个样品在Y1轴上的离散程度最大（方差最大），变量Y1代表了原始数据的绝大部分信息，即使不考虑变量Y2，信息损失也不多。而且， Y1、 Y2不相关。只考虑Y1时，二维降为一维。 因此，经过上述旋转变换就可以把原始数据的信息集中到Y1轴上，对数据中包含的信息起到了浓缩的作用，进行主成分分析的目的就是找出转换矩阵U，而进行主成分分析的作用与几何意义也就很明了了。