机器学习虾扯蛋之SVD奇异值分解No.48

机器学习说难不难，说简单也不简单。跟着小蕉有饭吃。

今天分享的是机器学习里面一个寻找主要成分的算法，SVD (Singularly Valuable Decomposition) 奇异值分解。

首先寻找主要成分有什么最最最最主要的用处呢？

1、噪音过滤

2、数据压缩

奇异值分解，其实就是矩阵分解的一种，本次矩阵分解的模式是这样的，其中中间的 ∑ 就是奇异值矩阵。

假设A是一个m*n的矩阵，那么U就是一个m*m的，∑是一个m*n的，V是一个n*n的，这样子就可以将目标矩阵A用三个矩阵相乘来表示了。

而经过实验，我们发现 ∑ 的奇异值其实并不是每一个值都是很大的，一般取 Top r 个就足以表示这整个矩阵了。

所以得出了下面这么一个不等式。

（r是一个远小于m，n的数）

这时候矩阵所占的容量从m*n变为m*r+r*r+r*n，因为Σ是奇异值大小排列取前 r 个的，所以就做到了提取主要成分的效果，而因为容量变小了，所以也起到了压缩的作用。

好，原理是怎样已经解释清楚了，那么问题来了，这个奇异值要怎么求呢？老司机告诉我们，就这样分五步走。

1、进行矩阵变换，从A变为

2、求特征值λ，特征向量v。

3、奇异值σi为

，Σ的值为λ组成的对角矩阵。

4、左奇向量值U等于特征向量v。

5、右奇异向量值V为 1/σi * (A * vi)

当然你要是不会算，也没关系，作为手残党我自己也经常算不出来。已经有很多现成的库帮我们计算好了，并不需要我们自己算，比如sklearn里面的长这样。

  from sklearn.decomposition import TruncatedSVD
  X = something
  svd = TruncatedSVD(n_components=2)
  X_reduced = svd.fit_transform(X)

又比如Spark里面是这样玩的。

val mat:RowMatrix = new RowMatrix(dataRDD)    
val svd: SingularValueDecomposition[RowMatrix,Matrix] = mat.computeSVD(2,computeU = true)    
 val U:RowMatrix = svd.U //U矩阵
 val s:Vector = svd.s //奇异值
 val V:Matrix = svd.V //V矩阵

好了，今天就分享到这~掰掰~