专栏首页算法channel数据降维处理:PCA之特征值分解法例子解析

数据降维处理:PCA之特征值分解法例子解析

请点击上面公众号,免费订阅。

《实例》阐述算法,通俗易懂,助您对算法的理解达到一个新高度。包含但不限于:经典算法,机器学习,深度学习,LeetCode 题解,Kaggle 实战。期待您的到来!

01

回顾

这两天推送了数据降维,提取主成分的基本概念,矩阵特征值分解法获取数据的主成分的推导过程,有需要的请参考:

机器学习数据预处理:数据降维之PCA

数据预处理:PCA原理推导

今天,拿一个小例子,理解下特征值分解法求主成分的过程。

02

特征值分解法求主成分

数据预处理:PCA原理推导中我们说到,求数据 X 的 k 个主成分就是求解

这个方阵的前 k 个最大特征值对应的特征向量。

我们还是拿高三101班的数学和外语的分数,要完成排名任务时,现在要对这批数据由二维降为一维,学生们的分数为了表达和书写的方便,拿出5个样本,矩阵 X的形状为:5个样本点2列特征,

数学 外语

X = [ [108, 100],

[ 82, 85],

[75, 84],

[120, 109],

[99, 91] ]

还记得我们设定的那个X吗?长这样:

X是要按照样本点按axis = 1(列轴)排序的,所以重新将 X 变为这样:

X = [ [108, 82, 75, 120, 99], #数学成绩

[100, 85, 84, 109, 91] ] #外语成绩

画出以上5个点,找出这5个点的第一主成分方向,然后以此为轴,将5个样本投影到这个轴上,就会抓取5个样本的主要特征,这个主成分提取的矩阵分解法的操作步骤如下所示:

第一步,X的shape找对了(一般矩阵运算和经常使用的Numpy等包,看一下某个矩阵和运算后的矩阵的 shape 是调试程序,寻找bug,经常用到的。),还要把每个特征去均值,最终 X变为如下才和昨天的推导中使用的 X对应上了吧,

X = [ [ 11.2, -14.8, -21.8, 23.2, 2.2],

[ 6.2, -8.8, -9.8, 15.2, -2.8] ]

第二步,就该求方阵

了,在numpy中求得方阵为:

[ [ 1362.8,   759.8],
  [  759.8,   450.8] ]

今天有的小伙伴问我,小编,我们书上学得网上看到的都还得除以每一维元素的个数,此处等于5,为什么你这里没有除呢,是不是拉下了? 其实这里除以5,还是不除以5,都对最后的求第一主成分的方向没有任何影响吧,我们关心的是它的方向,而不是向量的大小,只要方向ok,就ok。

第三步,得到了这个方阵后,下一步该求它的特征值和对应的特征向量了吧,我们直接在numpy中求出上面协方差矩阵的特征值和对应的特征向量:

特征值有2个:[ 1792.93319541, 20.66680459]

分别对应的特征向量的矩阵如下,注意,向量一般指列向量,所以特征值1792对应的特征向量为第一列,

[[ 0.87022851, -0.49264829],

[ 0.49264829, 0.87022851] ]

第四步,选取最大特征值对应的特征向量:[0.87022851, 0.49264829],可以看到numpy给出的特征向量已经标准化(模等于1)。

第五步,我们已经求出了第一主特征对应的方向向量了,这一步自然是将数据 X 投影到这个标准化后的特征向量 fpc = [0.87022851, 0.49264829] 上,还记得我们的数据在刚开始做的转置吗,一般习惯将 X 标记为 [样本个数,特征数]的二维数组吧,但是在此处,我们为了选取第一主成分向量而转置了吧,我们还是再回到熟悉的节奏上吧,投影上次说过了,不就是点乘特征向量标记的主轴吗,因此借用numpy的表示:

(X.T).dot(fpc .T)

= [ 12.80097873, -17.21468692, -23.7989348 , 27.67755548, 0.53508751]

好了,我们成功地将一个二维数据降维成1维了吧,以上就是整个的操作步骤。

展示下[0.87022851, 0.49264829] 这个向量定出的主轴方向吧,可以看到这5个点投影到这个新轴上,看着就是散的最开的方向。

03

总结和展望

至此,介绍完了利用矩阵分解法选取数据的主成分的背景,原理,例子解析。

还有一种方法可以用来选取数据的主成分,也是应用非常广泛,它就是奇异值分解获取数据的主成分,明天阐述下奇异值分解的相关理论和如何做数据降维。

本文分享自微信公众号 - 算法channel(alg-channel),作者:alg-flody

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-12-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 数据降维处理:PCA之奇异值分解(SVD)介绍

    《实例》阐述算法,通俗易懂,助您对算法的理解达到一个新高度。包含但不限于:经典算法,机器学习,深度学习,LeetCode 题解,Kaggle 实战。期待您的到来...

    double
  • 机器学习(5):几个重要矩阵

    1 可逆矩阵 矩阵A首先是方阵,并且存在另一个矩阵B,使得它们的乘积为单位阵,则称B为A的逆矩阵。如下所示,利用numpy模块求解方阵A的逆矩阵,B,然后再看一...

    double
  • 文本数据挖掘(Text Mining)

    文本数据挖掘是利用某些方法比如自然语言处理(Natural language processing (NLP))技术把一堆没有结构的数据而处理成有结构的数据的一...

    double
  • PCA: Principal Components Analysis,主成分分析法原理

    PCA: Principal Components Analysis,主成分分析法原理 1、引入

    学到老
  • PCA: Principal Components Analysis,主成分分析法原理

    PCA: Principal Components Analysis,主成分分析法原理 1、引入   PCA算法是无监督学习专门用来对高维数据进行降维而设计...

    学到老
  • 大数据24小时 | 滴滴高起点进军大数据领域,雅虎金主Verizon又拟24亿收购一上市公司

    <数据猿导读> 出行“冤家”合并,滴滴高起点进军大数据、人工智能领域;收购雅虎余温未散,Verizon再拟24亿美元收购车辆追踪系统供应商 Fleetmatic...

    数据猿
  • 水平分库如何做到平滑扩展

    上一篇关于DynamoDB的介绍中,有一个特别亮点,就是它无需停机就可以动态扩容。

    猿天地
  • 【钱塘号专栏】数据重构商业新视界

    所谓数据和商业的关系,过去叫商业智能,今天这个概念已经发生了很大的变化。在一个全互联网为基础平台的情况下,我们看商业如何重构未来商业。 在今天的零售、商业、批发...

    钱塘数据
  • hive基础总结(面试常用)

    hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务...

    用户1217611
  • python 字符串对齐和填充

    用户5760343

扫码关注云+社区

领取腾讯云代金券