PCA (Principal Component Analysis) 主成分分析是目前最常用的数据降维方法之一,主要思路是将n维的数据投影到k(n>k)维空间超平面(直线的高维推广)上面去,使得各个样本点到超平面的投影距离最小(欧式距离)且方差最大。
简单的理解就是你给一个人拍照,要选择什么方向拍才能体现这个人的最多特征,大概就是给这个人拍一个正面的全身照,才能保留这个人的最多图像信息。如果拍侧面照或者从头顶照得到的信息就会非常有限。
再举一个二维数据降维到一维的例子:图中各个颜色的X代表样本坐标点,可以看出相关性比较大(X1轴X2轴单位是inch与cm),所以我们可以找一条直线,将各个样本点投影到直线上,作为我们的一维数据。这里跟线性回归的差别是PCA要最小化点到直线的投影(L2 norm),而线性回归要最小化曼哈顿距离(L1 norm)
或者在Matlab中使用
function [U, S] = pca(X)
%PCA Run principal component analysis on the dataset X
% [U, S, X] = pca(X) computes eigenvectors of the covariance matrix of X
% Returns the eigenvectors U, the eigenvalues (on diagonal) in S
%
[m, n] = size(X);
U = zeros(n);
S = zeros(n);
sigma = X' * X / m;
[U, S, X] = svd(sigma);
end
function Z = projectData(X, U, K)
%on to the top k eigenvectors
% Z = projectData(X, U, K) computes the projection of
% the normalized inputs X into the reduced dimensional space spanned by
% the first K columns of U. It returns the projected examples in Z.
%
Z = zeros(size(X, 1), K);
for i = 1:size(X,1)
for k = 1:K
x= X(i, :)';
Z(i,k) = x' * U(:, k);
end
end
end
% Run PCA
[U, S] = pca(X_norm);
K = 100;
Z = projectData(X_norm, U, K);
可以参考周志华的机器学习P229或者这里
数据降维的意义与作用举例: - 数据压缩:可以提升机器学习算法效率与节省储存空间 - 数据可视化:将数据降维到1-3维,更好地呈现数据
线性判别分析(Linear Discriminant Analysis, LDA) 学习笔记 http://blog.csdn.net/asd136912/article/details/78757482