PCA 的数学原理和可视化效果

本文结构:

  • 什么是 PCA
  • 数学原理
  • 可视化效果

1. 什么是 PCA

PCA (principal component analysis, 主成分分析) 是机器学习中对数据进行降维的一种方法。

例如,我们有这样的交易数据,它有这几个特征:(日期, 浏览量, 访客数, 下单数, 成交数, 成交金额),从经验可知,“浏览量”和“访客数”,“下单数”和“成交数”之间会具有较强的相关关系。这种情况下,我们保留其中的两个维度就可以保证原有的信息完整。

但是当我们在做降维的时候,会丢失掉一部分信息。

例如, 下面 5 个数据,如果向 x 轴投影,那么左边的两个点会重叠在一起,中间的两个点也会重叠在一起,5 个点结果投影到 x 轴后就剩下 3 个点了,这是一种严重的信息丢失:

所以我们希望找到低维空间的方向上,原数据映射后的方差尽可能的大,也就是意味着数据点会尽量分散开来,这样可以保留更多的信息。

PCA 追求的是在降维之后能够最大化保持数据的内在信息,并通过衡量在投影方向上的数据方差的大小来衡量该方向的重要性,它是丢失原始数据信息最少的一种线性降维方式。

PCA的算法步骤:

设有 m 条 n 维数据。 1)将原始数据按列组成 n 行 m 列矩阵 X 2)将 X 的每一行(代表一个属性字段)进行零均值化,即减去这一行的均值 3)求出协方差矩阵 C=1/mXX? 4)求出协方差矩阵的特征值及对应的特征向量 5)将特征向量按对应特征值大小从上到下按行排列成矩阵,取前 k 行组成矩阵 P 6)Y=PX 即为降维到 k 维后的数据


2. 数学原理

要找到这个低维空间,意味着要确定一组基

如下图,蓝色正交箭头就是新的坐标系的基向量:

我们希望原数据在新坐标系上的投影尽可能分散

同一个点,在新坐标系下的投影,就是它和两个基的内积:

因为 A 与 B 的内积等于 A⋅B=|A||B|cos(a) B 为基时,|B|=1,则 A⋅B=|A|cos(a),即这个内积等于 A 到 B 的投影长度,也是坐标值。

这种分散程度,可以用数学上的方差来表述:

一个字段的方差可以看做是每个元素与字段均值的差的平方和的均值,即:

在 PCA 第二步已经将每个字段的均值都化为 0 了,因此这里方差可以直接用每个元素的平方和除以元素个数表示:

所以就要最大化数据映射后的方差。

不仅如此,当我们选择第二个投影方向时, 不希望它们之间存在线性相关性的,不然的话必然存在重复表示的信息。

在数学上可以用两个字段的协方差表示其相关性,由于已经让每个字段均值为0,则:

所以希望协方差为 0,这样两个字段完全独立,那么第二个基只能在与第一个基正交的方向上选择。

于是,我们得到了降维问题的优化目标: 将一组 N 维向量降为 K 维,目标是选择 K 个单位正交基,使得原始数据变换到这组基上后,各字段两两间协方差为0,并且字段的方差则尽可能大(即在正交的约束下,取最大的K个方差)。

假设我们有数据 X,它有 a 和 b 两个字段:

X 的协方差矩阵计算如下:

可以看到这个矩阵对角线上的两个元素分别是两个字段的方差,而其它元素是 a 和 b 的协方差。

于是优化目前等价于将原始数据变换到这组基上后,要使新数据表示的协方差矩阵对角化,并且在对角线上将元素按大小从上到下排列。

即令 P 是这组基按行组成的矩阵,则 Y=PX 就是 X 对 P 做基变换后的数据。(6) 记 Y 的协方差矩阵为 D, 那么 D 与 C 有如下关系:

这样,优化目标变成了寻找一个矩阵 P,满足 PCP? 是一个对角矩阵,即对 C 进行对角化(3)

如何求 P:

C 是一个是对称矩阵,在线性代数书上可以找到“实对称矩阵对角化”的内容。

一个 n 行 n 列的实对称矩阵一定可以找到 n 个单位正交特征向量 e1,e2,⋯,en,

由它们按列组成的矩阵 E=(e1,e2,⋯,en) 可以将 C 对角化:(4)

对角元素为各特征向量对应的特征值

于是 P=E?,即 P 的每一行都是 C 的一个特征向量。(5)

这样,就得到了 PCA 步骤中的第 3~6 步。


3. 可视化效果

例如下图,我们要将 2 维变成 1 维, 空心圆为数据,得到红箭头为第一主成分方向,蓝箭头为第二主成分方向:

将两个主成分分别作为新的坐标系时,可以看到下图中十字数据的状态:

当我们只看第一主成分时,如下面所示,蓝色点是降维后的数据: 可以看出在 PC1 上的方差很大,而 PC2 上的方差比较小,相对而言,PC2 就可以被忽略,进而实现了降维

我们可以将降维后的数据与原数据进行对比,发现原数据在 PC2 上的信息已经被丢弃


资料: 机器学习 https://stats.stackexchange.com/questions/76906/how-can-i-interpret-what-i-get-out-of-pca http://blog.codinglabs.org/articles/pca-tutorial.html


推荐阅读 历史技术博文链接汇总 http://www.jianshu.com/p/28f02bb59fe5 也许可以找到你想要的: [入门问题][TensorFlow][深度学习][强化学习][神经网络][机器学习][自然语言处理][聊天机器人]

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏SIGAI学习与实践平台

图像分割技术介绍

图像分割(image segmentation)技术是计算机视觉领域的个重要的研究方向,是图像语义理解的重要一环。图像分割是指将图像分成若干具有相似性质的区域的...

2018
来自专栏人工智能

基于深度学习的图像目标检测(下)

依然要感激如此美丽的封面图片。 在“基于深度学习的图像目标检测(上)”里面, 我们详细介绍了R-CNN走到端到端模型的Faster R-CNN的进化流程。 ...

4649
来自专栏小樱的经验随笔

【机器学习笔记之七】PCA 的数学原理和可视化效果

PCA 的数学原理和可视化效果 本文结构: 什么是 PCA 数学原理 可视化效果 ---- 1. 什么是 PCA PCA (principal componen...

3305
来自专栏智能算法

主成分分析到底怎么分析?

PCA(Principal Component Analysis)是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示,可用于提...

32810
来自专栏智能算法

降维方法(一):PCA原理

PCA(Principal Component Analysis)是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示,可用于提...

3849
来自专栏数据派THU

【一图看懂】计算机视觉识别简史:从 AlexNet、ResNet 到 Mask RCNN

原文:medium 来源:新智元 作者:Đặng Hà Thế Hiển 编译:新智元编辑部 本文长度为5000字,建议阅读8分钟 本文通过一张信息图示,讲述计...

2917
来自专栏机器之心

继1小时训练ImageNet之后,大批量训练扩展到了3万2千个样本

4275
来自专栏MelonTeam专栏

【译】关于深度神经网络必须知道的一些技巧(上)

翻译自魏秀参博士的文章:Must Know Tips/Tricks in Deep Neural Networks ? | 深度神经网络,特别是卷积...

3856
来自专栏AI2ML人工智能to机器学习

基于深度学习的图像目标检测(下)

依然要感激如此美丽的封面图片。 在“基于深度学习的图像目标检测(上)”里面, 我们详细介绍了R-CNN走到端到端模型的Faster R-CNN的进化流程。 ...

1123
来自专栏ATYUN订阅号

t检验的工作原理和在Python中的实现

因此,总有一天你可能会使用t检验,深入了解它的工作原理非常重要。作为开发人员,通过从头开始实现假设检验以理解。

1.4K4

扫码关注云+社区

领取腾讯云代金券