奇异值分解(SVD)

最近两天都在看奇异值分解及其在推荐系统和图像压缩方面的应用,这部分知识比较散也比较难理解,看代码不是很好懂,所以通过编学边整理的方式帮助大脑理解这部分知识。

SVD思维导图

奇异值分解是什么

奇异值分解(Singular Value Decomposition,SVD),是一种提取信息的方法。比如有一份记录用户关于餐馆观点的数据,要对其进行处理分析,提取背后的因素,这个因素可能是餐馆的类别,烹饪配料等,然后利用这些因素估计人们对没有去过的餐馆的看法,从而进行推荐,提取这些信息的方法就叫奇异值分解法。

奇异值分解的作用是什么

奇异值分解能够简约数据,去除噪声和冗余数据。其实它说白了也是一种降维方法,将数据映射到低维空间。看到这里其实就会想,它和主成分分析(PCA)有什么联系或者差异呢?奇异值分解和主成分分析一样,也是告诉我们数据中重要特征,奇异值是数据矩阵乘以该矩阵的转置的特征值的平方根(Data*Data^T特征值的平方根)。

奇异值分解的数学原理

前面说的关于奇异值分解是什么,其实是从应用角度上来说的,从数学的角度讲,它就是一种矩阵分解法。

什么是矩阵分解

顾名思义,矩阵分解就是把一个大矩阵分解成易于处理的形式,这种形式可能是两个或多个矩阵的乘积,就如同我们在代数中的因子分解,这种因子分解在数学里便于我们计算,赋予现实的含义,给一个真实的应用背景,就能方便我们解决生活中遇到的问题。

SDV是如何分解矩阵的

SVD分解矩阵图

SVD将原始的数据集矩阵Data分解成三个矩阵:U、Sigma、V^T,如果原始矩阵是m行n列,那么U、Sigma和V^T分别就是m行m列、m行n列、n行n列。比较值得一提的是矩阵Sigma,该矩阵只有对角元素,其他元素均为0,有一个惯例是:Sigma的对角元素是从大到小排列的。这些对角元素就称为奇异值。

在科学和工程中,一直存在一个普遍事实:在某个奇异值的数目r之后,其他的奇异值均置0,也就是我们仅保留r个重要特征,其余特征都是噪声或者冗余特征。那么问题来了,这个r到底是多少勒?如何选取呢?确定要保留的奇异值个数有很多启发式的策略,其中一个典型的做法就是保留矩阵90%的能量信息。为了计算能量信息,将所有的奇异值求平均和,直到累加到总值的90%为止。

另一个启发式策略是当矩阵有上万个奇异值时,保留前面的2000个或3000个。其实这两种方法要想为什么的话可能就涉及到繁杂的数学证明了,每一个为什么的地方都有可能有创新点,留着有灵感的时候深入思考吧。

一个用例理解SVD

比如给了一些用户和菜系,如下面的矩阵,这个矩阵的值代表了用户对吃过的菜系的评分,没吃过的评分为0,要给这些用户推荐几个他没吃过的菜系。

用户和菜系

拿到这个问题,最直观的一个思路流程就是:计算菜系的相似度->结合评分->对没吃过的菜系计算预测评分->预测评分排序->推荐前x个菜。

这也是简单版本的推荐系统的程序流程,计算相似度有欧式距离、皮尔逊相关系数和余弦相似度等常用计算方法。SVD做的改进就是将矩阵分解,从数据中构建出一个主题空间,再在该主题空间下计算相似度,提高了推荐效果(但是SVD会降低程序的速度,尤其是大规模数据集中,这一点以后再谈)。

在上例中,对数据矩阵进行SVD处理,会得到两个奇异值。因此,有两个概念或主题与此数据集相关联,比如我们基于每个组的共同特征来命名,可能是美式BBQ和日式食品这二维(这两个维度是我们通过分析数据得到的,在生活中,我们一看那些菜就发现菜是有类型的,我们按照类型定相似度,进行推荐,奇异值是我生活的经验映射在数学空间的一种体现,来自于数学角度的解释,是巧合也是必然),如何将原始数据变换到这二维呢?V^T矩阵会将用户映射到BBQ/日式食品空间,U矩阵会将菜系映射到BBQ/日式食品空间,在这个空间下求的相似度,然后进行后续流程,实现推荐。详细的推荐系统实现会在下一篇中介绍。

在Python中如何使用SVD

Numpy线性代数库中有一个实现SVD的方法,可以直接拿来用。具体SVD是如何用程序实现的我打算专门写一篇程序实现的介绍,也包括比如特征值到底怎么求的等等方法。这里就简介调用方式。

import numpy as np def load_data(): return [[0,0,0,2,2], [0,0,0,3,3], [0,0,0,1,1], [1,1,1,0,0], [2,2,2,0,0], [5,5,5,0,0], [1,1,1,0,0]] data = load_data() u, sigma, vt = np.linalg.svd(data) print (sigma)

运行结果如下:

[ 9.64365076e+00 5.29150262e+00 8.36478329e-16 6.91811207e-17 3.04963694e-34]

可以发现前两个值比后三个值大的多,所以可以取这两个奇异值,把其余三个置0。对于Sigma矩阵为什么长成行向量的样子,是Python内部的机制,为了节省空间,因为它除了对角线都是0,记着Sigma是个矩阵就好。

具体的推荐系统和详细代码解析我会在下一篇中介绍,还在理解和实验当中。

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2017-10-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏智能算法

降维方法(一):PCA原理

PCA(Principal Component Analysis)是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示,可用于提...

3249
来自专栏大数据挖掘DT机器学习

一元线性回归的细节

文/程sir(简书作者) 原文:http://www.jianshu.com/p/fcd220697182 一元线性回归可以说是数据分析中非常简单的一个知识点,...

2734
来自专栏开心的学习之路

奇异值分解

最近两天都在看奇异值分解及其在推荐系统和图像压缩方面的应用,这部分知识比较散也比较难理解,看代码不是很好懂,所以通过编学边整理的方式帮助大脑理解这部分知识。 ...

27710
来自专栏AI2ML人工智能to机器学习

最小二乘法的4种求解

我们曾经在“一步一步走向锥规划 - LS”里面详细介绍了最小二乘法的由来和几何解释。 并且, 在“回归分析中的问题和修正的探讨”中谈到了经典最小二乘法OLS的局...

332
来自专栏AI2ML人工智能to机器学习

评价参数估算的常用指标

前面“ 回归分析中的问题和修正的探讨(下篇)”,讲到了无偏性和有效性, 这里把评价参数估计的常用指标简述下下。

704
来自专栏AlgorithmDog的专栏

PCA模型加先验

大清牛人曰:ML派坐落美利坚合众山中,百年来武学奇才辈出,隐然成江湖第一大名门正派,门内有三套入门武功,曰:图模型加圈,神经网加层,优化目标加正则。...

17510
来自专栏AI2ML人工智能to机器学习

Love Plus 矩阵

我们“拉近似”里面提到了数学应用之神Laplace, 并且讲述了他对分布的近似, 之前也在“概率估值的光滑(Smoothing)”提到Laplace研究过太阳升...

753
来自专栏企鹅号快讯

掌握机器学习数学基础之线代(二)

标量、向量、矩阵和张量 矩阵向量的运算 单位矩阵和逆矩阵 行列式 方差,标准差,协方差矩阵-------(第一部分) 范数 特殊类型的矩阵和向量 特征分解以及其...

1798
来自专栏AI研习社

手把手教你用LDA特征选择

本文用了一个经典的例子,从数据探索,模型假设,模型训练,模型可视化,step by step 让读者体验机器学习完整的流程。 导语 在模式分类和机器学习实践...

4744
来自专栏智能算法

主成分分析到底怎么分析?

PCA(Principal Component Analysis)是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示,可用于提...

29710

扫描关注云+社区