机器学习(二十) ——PCA实现样本特征降维

机器学习(二十)——PCA实现样本特征降维

(原创内容,转载请注明来源,谢谢)

一、概述

所谓降维(dimensionalityreduction),即降低样本的特征的数量,例如样本有10个特征值,要降维成5个特征值,即通过一些方法,把样本的10个特征值映射换算成5个特征值。

因此,降维是对输入的样本数据进行处理的,并没有对预测、分类的结果进行处理。

降维的最常用的方法叫做主成分分析(PCA,principal component analysis)。最常用的业务场景是数据压缩、数据可视化。该方法只考虑样本的特征,不考虑样本的结果标签,因此PCA是一种无监督学习算法。

二、PCA基础

1、目的

PCA的目的,是找到一个低维的超平面,让每个样本投影到该平面的距离的总和最短。通常样本投影之前还要进行均值化和归一化。

2、降维

当需要使用PCA,将样本数据从二维降到一维,即可以理解成在平面上,找到一个向量,使得平面上的所有点到该向量的垂直距离的总和最短,如下图所示:

三维降维到二维如下图所示:

其中,每个样本到该向量的垂直距离,称为投影误差(projection error),u(i)表示第i个样本的投影误差,正值表示和向量同向,负值表示反向。下图的红线表示向量,蓝色的线表示投影误差。

上图画出了红线和粉线,粉色的即错误的pca的结果,可以看出所有点到这个粉线的投影误差都非常大这个就是不正确的pca。而红色的线,相比之下,所有点到其的投影误差就非常小了。

3、定义

对PCA更通用的定义:

n维特征,要降维到k维,泽需要找出k个向量u(1),u(2) ,…u(k),让所有样本到由这些向量组成的超平面的距离之和最小。如下图所示:

4、PCA与线性回归区别

上面PCA的例子,看起来非常像线性回归,然而实际上,PCA并不是线性回归。

线性回归,其二维图像的含义是,对于1个特征x,输出结果是y,即线性回归的纵轴是输出的标签y。因此,线性回归最终找到的线,其目的是让所有的样本的点距离这条线的纵向距离的和最小。

相比之下,PCA的图,是两个特征组成的图,x1和x2没有关联,只不过是一个样本的两个特征。其拟合的线,目的是使每个样本到这个线的垂直距离(即最短距离)的和最小。如下图所示,左边为线性回归的图,右边为PCA的图:

三、PCA计算过程

1、数据预处理

1)把各特征进行归一化,令这些特征在一个数量级中。

2)计算所有样本,每个特征值的均值。

3)把每个样本中的每个特征值,换成原特征值减去该特征值的均值。

2、计算所有样本的协方差,生成协方差矩阵Σ(注意这里的Σ是矩阵的标记,而不是求和的标记),Σ是一个n*n维的矩阵。

3、计算Σ的特征值和特征向量。

4、将特征值按照从大到小的顺序排序,选择其中最大的k个,然后将其对应的k个特征向量分别作为列向量组成特征向量矩阵。

5、将样本点投影到选取的特征向量上。

6、说明

对于octave语言,求出Σ后,调用函数[U,S,V]=svd(Sigma),其中的U,是一系列由向量u(i)组成的矩阵,前面k个组成的矩阵即为PCA所需要的矩阵,这里把其称为Ureduce,注意这个U是一个正交矩阵,即UT=U-1,这个性质后面会用到。

最终投影的结果Z=UreduceT*Xapprox,这里的X不考虑x0=1这一项。

过程如下图所示:

四、选择合适的k

k表示的是降维后的维度,诸如数据压缩等场景,没有明确的降维的维度要求,则需要有一个概念来衡量降维的效果。这里引入一个公式,可以衡量降维的效果。

降维的效果 = 平均投影误差 / 总方差,如下图所示:

当计算结果为0.01,表示样本的99%的方差性会被保留,这个值越大表示样本损失的特征越少。这里根据需要,可以设定不同的结果,例如要求0.05,则是保留95%的方差性。

因此,判断k值的方法如下:

1)k初始值设置为1。

2)计算Z、Ureduce、Xapprox(即预处理后的输入样本)。

3)按上面的公式,计算结果是否大于要求(例如要求是0.01)。

4)如果不是,则k+1,然后重复2、3步骤,直到满足条件。

这样计算量很大,在octave中,有简化算法,上面公式[U,S,V]=svd(Sigma)中的S,即特征值排序后组成的对角矩阵,则公式有简化算法,如下图所示:

五、重建特征值

重建(reconstruction)特征值,即把被压缩的特征值还原回原来的维度。根据式子Z=UreduceT*Xapprox,因此Xapprox=(UreduceT)-1*Z。

另外,由于上面提到,U是一个正交矩阵,其转置矩阵和逆矩阵的结果是一样的,因此公式可以写成Xapprox=Ureduce*Z。

考虑到Xapprox≈X,因此重建特征值后,结果即为X≈Xapprox= Ureduce*Z,如下图所示:

六、PCA使用建议

1、使用

在监督学习中,假设输入的样本是(x(1),y(1)), (x(2),y(2))…(x(m),y(m)),现考虑使用logistic回归,用PCA来简化计算,方法如下:

1)提取出x(1),x(2),…x(m),即不考虑y。

2)用PCA把其映射成z(1),z(2),…z(m)。

3)拼接回y,形成(z (1),y(1)),(z (2),y(2))…(z (m),y(m))。

4)进行参数计算,计算出θ,得到公式hθ(z)=1/(1+e-θTz)。

5)对于新输入的x,映射成z后,带入上面的h(z)即可。

2、反例

1)不宜用于解决过拟合

PCA算法,可以减少特征值的数量,因此对于过拟合的缓解是有作用的。但是,考虑到还有更优的解决过拟合的方式——正则化,因此不要用PCA来解决过拟合。

其中主要的问题,在于PCA的压缩过程,会丢失一些样本的特性,而正则化不会丢失太多的样本特性。

2)不能无脑使用PCA

PCA是有助于加速机器学习的学习过程,但是不能无脑的使用。建议所有的算法,都先用全量特征参与学习,只有发现真的速度太慢、占用太多的内存或硬盘,才考虑使用PCA。

3、实际应用

PCA主要用于数据压缩和数据可视化。

1)数据压缩

数据压缩,主要目的是减少内存和硬盘的使用,并且加速机器学习的速度。对于此目的,需要用上面介绍的方式,设定一个压缩后数据丢失的容忍值,然后计算出最合适的最小的降维维度k。

2)数据可视化

数据可视化,通常只能在二维、三维,因此此时直接将数据降维到二维或者三维即可。

——written by linhxx 2018.01.23

原文发布于微信公众号 - 决胜机器学习(phpthinker)

原文发表时间:2018-01-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据挖掘DT机器学习

kmeans聚类理论篇K的选择(轮廓系数)

kmeans是最简单的聚类算法之一,但是运用十分广泛。最近在工作中也经常遇到这个算法。kmeans一般在数据分析前期使用,选取适当的k,将数据分类后,然后分类...

4325
来自专栏绿巨人专栏

机器学习实战 - 读书笔记(07) - 利用AdaBoost元算法提高分类性能

3558
来自专栏mantou大数据

[机器学习Lesson 2]代价函数之线性回归算法

x(1) 指的是 第一个训练集里值为2104的输入值, 这个就是第一行里的x x(2) 等于1416。这是第二个x y(1) 等于460,这是第一个训练集样本的...

43610
来自专栏互联网大杂烩

K近邻(KNN)

kNN算法又称为k最近邻(k-nearest neighbor classification)分类算法。所谓的k最近邻,就是指最接近的k个邻居(数据),即每个样...

573
来自专栏大数据挖掘DT机器学习

特征选择常用算法

1 综述 (1) 什么是特征选择 特征选择 ( Feature Selection )也称特征子集选择( Feature Subset Selection , ...

3168
来自专栏有趣的Python

12- OpenCV+TensorFlow 入门人工智能图像处理-磨皮美白

2694
来自专栏wOw的Android小站

[MachineLearning] 反向传播Back Propagation

如何直观地解释 back propagation 算法? - 胡逸夫的回答 - 知乎

511
来自专栏CDA数据分析师

R语言的kmeans客户细分模型聚类

前言 kmeans是最简单的聚类算法之一,但是运用十分广泛。最近在工作中也经常遇到这个算法。kmeans一般在数据分析前期使用,选取适当的k,将数据分类后,然后...

2778
来自专栏Coding迪斯尼

使用卷积网络实现计算机图像识别:卷积和max pooling操作介绍

1674
来自专栏Gaussic

Keras深度神经网络训练IMDB情感分类的四种方法

欢迎光临我的博客:https://gaussic.github.io/2017/03/03/imdb-sentiment-classification/

1181

扫码关注云+社区