（数据科学学习手札22）主成分分析法在Python与R中的基本功能实现

Feffery

发布于 2018-04-17 11:51:18

1.6K0

发布于 2018-04-17 11:51:18

文章被收录于专栏：数据科学学习手札数据科学学习手札

上一篇中我们详细介绍推导了主成分分析法的原理，并基于Python通过自编函数实现了挑选主成分的过程，而在Python与R中都有比较成熟的主成分分析函数，本篇我们就对这些方法进行介绍：

在R的基础函数中就有主成分分析法的实现函数princomp()，其主要参数如下：

data：要进行主成分分析的目标数据集，数据框形式，行代表样本，列代表变量

cor：逻辑型变量，控制是否使用相关系数进行主成分分析

scores：逻辑型变量，控制是否计算每个主成分的得分

我们使用了R中自带的数据集USJudgeRating来进行演示，这是一个包含43个样本，12个连续型实自变量的数据集，适合来演示PCA，这里我们在其自带方法的基础上，使用自编函数来对训练后的数据进行一步到位的，基于用户自定义贡献率阈值（默认0.8）来生成所需主成分值，具体过程如下：

> rm(list=ls())
> 
> #载入律师评价数据
> data(USJudgeRatings)
> data <- USJudgeRatings
> 
> #对律师评价数据进行主成分分析，这里设置使用相关系数进行主成分分析
> data.pr <- princomp(data,cor=T,scores=T)
> 
> #自定义目标主成分值生成函数
> My_Choose <- function(data.pr,a=0.8){
+   contribute <- data.pr$sdev^2/sum(data.pr$sdev^2)
+   c <- 0
+   i <- 0
+   #根据累计贡献率挑选所需最少的主成分
+   while(c<=a){
+     i <- i + 1
+     c <- c + contribute[i]
+   }
+   cat('达到要求,已采纳的主成分累计贡献率达到：','\n',round(c,4),'\n')
+   return(predict(data.pr)[,1:i])
+ }
> 
> #显示主成分分析的结果，以及因子载荷
> summary(data.pr, loadings = T)
Importance of components:
                          Comp.1     Comp.2    Comp.3
Standard deviation     3.1833165 1.05078398 0.5769763
Proportion of Variance 0.8444586 0.09201225 0.0277418
Cumulative Proportion  0.8444586 0.93647089 0.9642127
                           Comp.4      Comp.5      Comp.6
Standard deviation     0.50383231 0.290607615 0.193095982
Proportion of Variance 0.02115392 0.007037732 0.003107172
Cumulative Proportion  0.98536661 0.992404341 0.995511513
                            Comp.7      Comp.8       Comp.9
Standard deviation     0.140295449 0.124158319 0.0885069038
Proportion of Variance 0.001640234 0.001284607 0.0006527893
Cumulative Proportion  0.997151747 0.998436354 0.9990891437
                            Comp.10      Comp.11      Comp.12
Standard deviation     0.0749114592 0.0570804224 0.0453913429
Proportion of Variance 0.0004676439 0.0002715146 0.0001716978
Cumulative Proportion  0.9995567876 0.9998283022 1.0000000000

Loadings:
     Comp.1 Comp.2 Comp.3 Comp.4 Comp.5 Comp.6 Comp.7 Comp.8
CONT         0.933 -0.335                                   
INTG -0.289 -0.182 -0.549 -0.174         0.370 -0.450  0.334
DMNR -0.287 -0.198 -0.556  0.124  0.229 -0.395  0.467 -0.247
DILG -0.304         0.164 -0.321  0.302  0.599  0.210 -0.355
CFMG -0.303  0.168  0.207         0.448         0.247  0.714
DECI -0.302  0.128  0.298         0.424 -0.393 -0.536 -0.302
PREP -0.309         0.152 -0.214 -0.203         0.335 -0.154
FAMI -0.307         0.195 -0.201 -0.507 -0.102              
ORAL -0.313                      -0.246 -0.150              
WRIT -0.311               -0.137 -0.306 -0.238         0.126
PHYS -0.281         0.154  0.841 -0.118  0.299              
RTEN -0.310        -0.173  0.184               -0.256 -0.221
     Comp.9 Comp.10 Comp.11 Comp.12
CONT                               
INTG -0.275 -0.109  -0.113         
DMNR -0.199          0.134         
DILG         0.383                 
CFMG  0.143          0.166         
DECI -0.258         -0.128         
PREP -0.109 -0.680  -0.319   0.273 
FAMI -0.223          0.573  -0.422 
ORAL  0.300  0.256  -0.639  -0.494 
WRIT         0.475           0.696 
PHYS -0.266                        
RTEN  0.756 -0.250   0.286         
> 
> #保存主成分数据
> (pca_data <- My_Choose(data.pr,a=0.9))
达到要求,已采纳的主成分累计贡献率达到： 
 0.9365 
                     Comp.1       Comp.2
AARONSON,L.H.    0.59268305 -1.834557041
ALEXANDER,J.M.  -2.40817832 -0.878164524
ARMENTANO,A.J.  -0.22780349 -0.302316250
BERDON,R.I.     -3.66071616 -0.596342199
BRACKEN,J.J.     6.95244952  0.137356050
BURNS,E.B.      -2.47442074 -1.422422886
CALLAHAN,R.J.   -3.93743704  3.147711145
COHEN,S.S.       8.09307094 -0.271058974
DALY,J.J.       -3.70295623 -0.146659161
DANNEHY,J.F.    -1.06028925  1.149046170
DEAN,H.H.        0.34108279 -0.470502584
DEVITA,H.J.      1.45772527 -1.232794755
DRISCOLL,P.J.    0.67688211 -1.297855808
GRILLO,A.E.      3.26409534 -0.566023927
HADDEN,W.L.JR.  -1.36896588 -0.848756359
HAMILL,E.C.      0.45009339 -0.182461748
HEALEY.A.H.      2.93209773  0.383887639
HULL,T.C.        0.72643742  0.463364335
LEVINE,I.       -0.64887947  0.904423859
LEVISTER,R.L.    4.40757580  2.444558329
MARTIN,L.F.      1.84009523 -0.801922043
MCGRATH,J.F.     3.15606059  0.118968056
MIGNONE,A.F.     6.42980257 -1.452770363
MISSAL,H.M.      0.08315548 -1.483307990
MULVEY,H.M.     -3.39121775  0.132351096
NARUK,H.J.      -4.60271493  0.479764153
O'BRIEN,F.J.    -1.51784742 -0.427971456
O'SULLIVAN,T.J. -3.51102566  0.001182987
PASKEY,L.       -1.91559427  0.246170053
RUBINOW,J.E.    -4.83537434 -0.448069023
SADEN.G.A.      -1.11213340 -0.344165889
SATANIELLO,A.G. -0.54875827  1.022509509
SHEA,D.M.       -2.61362018 -0.399509080
SHEA,J.F.JR.    -3.63917622 -0.162216363
SIDOR,W.J.       6.94389214  0.330376531
SPEZIALE,J.A.   -2.04961153  1.193213351
SPONZO,M.J.     -1.22081130 -0.531924504
STAPLETON,J.F.  -0.72842414 -0.914724377
TESTO,R.J.       2.13120556  0.949624029
TIERNEY,W.L.JR. -1.36785124  1.100438878
WALL,R.A.        2.61916318  1.926895688
WRIGHT,D.B.     -1.48026785 -0.556116054
ZARRILLI,K.J.    0.92650698  1.440771500

在得到累计贡献率高达0.9365的两个主成分之后，我们将主成分降维前后的数据的相关系数矩阵进行比较：

> #降维前
> cor(data)
            CONT       INTG       DMNR      DILG      CFMG
CONT  1.00000000 -0.1331909 -0.1536885 0.0123920 0.1369123
INTG -0.13319089  1.0000000  0.9646153 0.8715111 0.8140858
DMNR -0.15368853  0.9646153  1.0000000 0.8368510 0.8133582
DILG  0.01239200  0.8715111  0.8368510 1.0000000 0.9587988
CFMG  0.13691230  0.8140858  0.8133582 0.9587988 1.0000000
DECI  0.08653823  0.8028464  0.8041168 0.9561661 0.9811359
PREP  0.01146921  0.8777965  0.8558175 0.9785684 0.9579140
FAMI -0.02563656  0.8688580  0.8412415 0.9573634 0.9354684
ORAL -0.01199681  0.9113992  0.9067729 0.9544758 0.9505657
WRIT -0.04381025  0.9088347  0.8930611 0.9592503 0.9422470
PHYS  0.05424827  0.7419360  0.7886804 0.8129211 0.8794874
RTEN -0.03364343  0.9372632  0.9437002 0.9299652 0.9270827
           DECI       PREP        FAMI        ORAL
CONT 0.08653823 0.01146921 -0.02563656 -0.01199681
INTG 0.80284636 0.87779650  0.86885798  0.91139915
DMNR 0.80411683 0.85581749  0.84124150  0.90677295
DILG 0.95616608 0.97856839  0.95736345  0.95447583
CFMG 0.98113590 0.95791402  0.93546838  0.95056567
DECI 1.00000000 0.95708831  0.94280452  0.94825640
PREP 0.95708831 1.00000000  0.98986345  0.98310045
FAMI 0.94280452 0.98986345  1.00000000  0.98133905
ORAL 0.94825640 0.98310045  0.98133905  1.00000000
WRIT 0.94610093 0.98679918  0.99069557  0.99342943
PHYS 0.87176277 0.84867350  0.84374436  0.89116392
RTEN 0.92499241 0.95029259  0.94164495  0.98213227
            WRIT       PHYS        RTEN
CONT -0.04381025 0.05424827 -0.03364343
INTG  0.90883469 0.74193597  0.93726315
DMNR  0.89306109 0.78868038  0.94370017
DILG  0.95925032 0.81292115  0.92996523
CFMG  0.94224697 0.87948744  0.92708271
DECI  0.94610093 0.87176277  0.92499241
PREP  0.98679918 0.84867350  0.95029259
FAMI  0.99069557 0.84374436  0.94164495
ORAL  0.99342943 0.89116392  0.98213227
WRIT  1.00000000 0.85594002  0.96755639
PHYS  0.85594002 1.00000000  0.90654782
RTEN  0.96755639 0.90654782  1.00000000
> #降维后
> cor(pca_data)
             Comp.1       Comp.2
Comp.1 1.000000e+00 2.161808e-16
Comp.2 2.161808e-16 1.000000e+00

可以看出，降维后两个主成分之间的相关系数非常低，可以说它们几乎正交，说明主成分的结果非常有效：

Python

我们使用sklearn.decomposition中的PCA来实现主成分降维，其主要参数如下：

n_components：这个参数可以帮我们指定希望PCA降维后的特征维度数目。最常用的做法是直接指定降维到的维度数目，此时n_components是一个大于等于1的整数。当然，我们也可以指定主成分的累计贡献率阈值，让PCA类自己去根据样本特征方差来决定降维到的维度数，此时n_components是一个（0，1]之间的数。当然，我们还可以将参数设置为"mle", 此时PCA类会用MLE算法根据特征的方差分布情况自己去选择一定数量的主成分特征来降维。我们也可以用默认值，即不输入n_components，此时n_components=min(样本数，特征数)

whiten ：判断是否进行白化。所谓白化，就是对降维后的数据的每个特征进行归一化，让方差都为1。对于PCA降维本身来说，一般不需要白化。如果你PCA降维后有后续的数据处理，可以考虑白化。默认值是False，即不进行白化。

svd_solver：即指定奇异值分解SVD的方法，由于特征分解是奇异值分解SVD的一个特例，一般的PCA库都是基于SVD实现的。有4个可以选择的值：{‘auto’, ‘full’, ‘arpack’, ‘randomized’}。randomized一般适用于数据量大，数据维度多同时主成分数目比例又较低的PCA降维，它使用了一些加快SVD的随机算法。 full则是传统意义上的SVD，使用了scipy库对应的实现。arpack和randomized的适用场景类似，区别是randomized使用的是scikit-learn自己的SVD实现，而arpack直接使用了scipy库的sparse SVD实现。默认是auto，即PCA类会自己去在前面讲到的三种算法里面去权衡，选择一个合适的SVD算法来降维。一般来说，使用默认值就够了。

　　除了这些输入参数外，有两个PCA类的输出值得关注。第一个是explained_variance_，它代表降维后的各主成分的方差值。方差值越大，则说明越是重要的主成分。第二个是explained_variance_ratio_，它代表降维后的各主成分的方差值占总方差值的比例，这个比例越大，则越是重要的主成分。

我们选用datasets中自带的wine数据集作为演示数据，关于这个数据集可以参考前一篇的介绍，具体过程如下：

from sklearn.decomposition import PCA
from sklearn import datasets
import numpy as np

'''载入数据'''
X,y = datasets.load_wine(return_X_y=True)

'''显示待转换数据的形状'''
print(X.shape)

'''初始化PCA模型，这里选择希望从13个原始变量中产出三个主成分'''
pca = PCA(n_components=3)

'''将X导入设定好的模型中'''
pca.fit(X)

'''打印产出的主成分对应的方差贡献率'''
print(pca.explained_variance_ratio_)

'''打印产出的主成分对应的方差'''
print(pca.explained_variance_)

'''将模型产出的目标主成分保存'''
X_new = pca.fit_transform(X)

原始数据的形状以及得到的主成分的各自的方差贡献率、方差如下：

下面计算原始数据的相关系数矩阵中元素的平均值与得到的主成分进行对比：

'''计算原始数据相关系数矩阵的平均值'''
print('原始相关系数矩阵元素的平均值：'+'\n'+str(np.mean(np.corrcoef(X))))

'''计算保留的主成分之间的相关系数'''
print('主成分的相关系数矩阵：'+'\n'+str(np.corrcoef(X_new.T)))

'''计算主成分相关系数矩阵的平均值'''
print('得到的主成分的相关系数矩阵元素的平均值：'+'\n'+str(np.mean(np.corrcoef(X_new.T))))

比较结果如下：