数据降维:特征值分解和奇异值分解的实战分析

《实例》阐述算法,通俗易懂,助您对算法的理解达到一个新高度。包含但不限于:经典算法,机器学习,深度学习,LeetCode 题解,Kaggle 实战。期待您的到来!

01

回顾

这几天推送了关于机器学习数据预处理之降维算法,介绍了通过降维提取数据的主成分的背景,特征值分解法,奇异值分解法的相关原理。

现在我们再回顾下这些问题,首先,提取主成分的必要性,从数字信号的角度分析,主成分时方差较大,称为信号,而噪声是方差较小的;极限讲,如果100个样本点都汇集成一个点,也就是方差为0,那么不就相当于我们手上有1个点吗,因为其他99个对我们的最终的目标不会有任何作用了,相对的,我们更喜欢来一个与之散的比较开的点,这样会对我们的模型起到一个实质的作用。

不管是特征值分解法,还是奇异值分解法,需要理解以下基本知识点:

向量在某个正交基空间上的投影,等于点乘这个主轴;

通过一次正交变换,可以实现一次向量的旋转;

正交方阵能使一个正交基变换为另一个正交基

已经分析了如何利用特征值分解完成数据的降维和提取主成分(数据降维处理:PCA之特征值分解法例子解析),下面看下如何利用奇异值分解完成数据降维,要知道它可以实现两个方向的降维,而特征值分解是做不到的。然后总结下它们的实际应用。

02

SVD分解过程

我们的原始数据样本:

A = np.array([[2, 4], [1, 3],[0,0]])

A

array([[2, 4],

[1, 3],

[0, 0]])

#转化为我们想要的A,将特征定为 axis=0

A = A.T

A

array([[2, 1, 0],

[4, 3, 0]])

调用 Numpy中的奇异值分解API:

#奇异值分解

得到的结果为三个数组 U*Sigma*V转置

[ 0. , 0. , 1. ]]))

现在看下数据A是如何奇异值分解的:

#U矩阵是通过A.dot(A.T)的特征值求得的(按照特征值由大到小排序)

#奇异值(特征值的开根号)

#V的转置是通过A.T.dot(A)的特征值求得的(按照特征值由大到小排序)

[ 0. , 0. , 1. ]]))

03

SVD降维实例

对于SVD的奇异值也是按照从大到小排列,而且奇异值梯度很大。在昨天,我们介绍过:在很多情况下,前10%,甚至有的1%的奇异值的和就占了全部的奇异值之和的99%,这是什么意思呢,这就表示原矩阵可以被压缩为一个很小的矩阵,并且还能保证其主要成分信息不会丢失。

也就是说,我们也可以用最大的 k 个的奇异值和对应的左右奇异向量来近似描述原始矩阵数据,如下图表达的含义:

接下来,我们实际演练下这个过程,利用 numpy库随机生成一个5*9的二维数组(也可以称为矩阵吧)A:

array([[6, 4, 9, 4, 2, 7, 6, 2, 6],

[6, 3, 0, 5, 6, 2, 5, 4, 8],

[6, 0, 4, 2, 3, 5, 4, 9, 7],

[6, 1, 3, 6, 5, 1, 3, 7, 1],

[4, 1, 6, 4, 2, 4, 1, 3, 6]])

那么如何先进行特征降维呢? 比如降维成 5* r 列,只要降维后的 r列能近似表达原矩阵就行吧,已知奇异值分解的公式:

因此如果想要把A降维成特征r个,那么只需要上个近似等式两边同乘以 Vr*n ,如下:

因为Vr*n是正交矩阵,所以V的转置等于V的逆,所以,上式进一步化简为:

这样,近似等号的右侧就是一个m*r的矩阵,它是将A矩阵压缩后的近似矩阵,V就是中间的变换矩阵。

借助numpy的API,我们发现取取3个奇异值,就已经表达了84%的奇异值的和,所以取前3个奇异值,因此,求出 U * Singular等于如下:(取小数点后1位显示)

array([[-15.3, 6.3, -0.8],

[-13.2, -3.9, -4.9],

[-14.5, -1.4, 2.9],

[-11.2, -4.6, 2.5],

[-10.9, 2.6, 0.6]])

这就完成了对特征的压缩,将含有9个特征的数据,最后压缩为3个特征。那么如何来按照行对数据压缩呢,和上面的原理差不多,在奇异值分解的等式两侧乘以 U的转置,就可以推导出下式,等号右边不就是 r*n的按行压缩后的矩阵吗!

至此,SVD按照特征压缩,和数据样本压缩,两个方向的压缩方法和例子就说完了,接下来看看它的实际应用吧。

04

数据压缩的实际应用

例如sklearn的 iris 经典数据集中,iris的4个特征,被PCA后,只提取了其中2个特征,便表达了其中的主要方差,这是一个数据降维的典型demo 。

另外,PCA的特征值分解和奇异值分解在图像处理,压缩方面也有很广的应用,可以将图像的数据做奇异值分解,然后降维处理,例如下面的图片,经过奇异值分解法获得的主成分提取后压缩后的图像,可以看到基本保留了原来的图像主要信息。

简单总结下,重点介绍了奇异值分解法压缩矩阵的原理,和一个实际的例子,最后实战介绍了PCA的实际应用。前面介绍了决策树的原理和例子解析,明天,基于次,再介绍一种经典的机器学习集成算法,XGBoost,它可是中国的科学家发明的。

算法channel已推送的更多文章:

1机器学习:不得不知的概念(1)

2机器学习:不得不知的概念(2)

3机器学习:不得不知的概念(3)

4回归分析简介

5最小二乘法:背后的假设和原理(前篇)

6最小二乘法原理(后):梯度下降求权重参数

7机器学习之线性回归:算法兑现为python代码

8机器学习之线性回归:OLS 无偏估计及相关性python分析

9机器学习线性回归:谈谈多重共线性问题及相关算法

10机器学习:说说L1和L2正则化

11机器学习逻辑回归:原理解析及代码实现

12机器学习逻辑回归:算法兑现为python代码

13机器学习:谈谈决策树

14机器学习:对决策树剪枝

15机器学习决策树:sklearn分类和回归

16机器学习决策树:提炼出分类器算法

17机器学习:说说贝叶斯分类

18朴素贝叶斯分类器:例子解释

19朴素贝叶斯分类:拉普拉斯修正

20机器学习:单词拼写纠正器python实现

21机器学习:半朴素贝叶斯分类器

22机器学习期望最大算法:实例解析

23机器学习高斯混合模型(前篇):聚类原理分析

24机器学习高斯混合模型(中篇):聚类求解

25机器学习高斯混合模型(后篇):GMM求解完整代码实现

26高斯混合模型:不掉包实现多维数据聚类分析

27高斯混合模型:GMM求解完整代码实现

28数据降维处理:背景及基本概念

29数据降维处理:PCA之特征值分解法例子解析

30数据降维处理:PCA之奇异值分解(SVD)介绍

请记住:每天一小步,日积月累一大步!

《实例》阐述算法,通俗易懂,助您对算法的理解达到一个新高度。包含但不限于:经典算法,机器学习,深度学习,LeetCode 题解,Kaggle 实战。期待您的到来!

  • 发表于:
  • 原文链接:http://kuaibao.qq.com/s/20171209G0RDSM00?refer=cp_1026

同媒体快讯

相关快讯

扫码关注云+社区