任何一个线性变换都可以用一个矩阵A来表示。
特征值分解的适应情况是:
对角矩阵本质上是每个轴上的不耦合地伸缩。
如何将不能对角化的矩阵对角化,不存在奇异值为0的情况,矩阵是方阵
如果一个矩阵的秩为rr,表明这个矩阵表示的空间是rr维的,不等于0的特征值或者奇异值的个数是rr,特征值或者奇异值的绝对值表示对应维度的方差,方差越大表明在这个维度上信息量越大,这个维度也就越重要。
% 画图辅助函数
function [] = px(X,p1,p2)
plot(X(1,:),X(2,:),p1)
hold on
plot(X(1,:),X(2,:),p2)
hold off
axis equal
%axis([0 2 0 2])
% 主函数
%% 耦合与解耦
X = [0 0 1 1 0
0 1 1 0 0];
% 对角矩阵
A2 = [1 0
0 2];
X2 = A2*X;
px(X,'ro','r-')
hold on
px(X2,'b*','b:')
hold off;
% 矩阵耦合的情况
A2 = [1 2
0 1];
X2 = A2*X;
px(X,'ro','r-')
hold on
px(X2,'b*','b:')
hold off;
%% 解耦,矩阵可以对角化,有足够的特征向量,按照SDS^{-1}分解
A2 = [1 2
0 2];
% %D =
%
% 1 0
% 0 2
X2 = A2*X;
px(X,'ro','r-')
hold on
px(X2,'b*','b:')
hold off;
% 换坐标系,从单位坐标系换到以特征向量为基底的坐标系
[V,D] = eig(A2)
V*D*inv(V)
Xnew = inv(V)*X; %Xnew是原正方形数据X在新的基下面的坐标
Xnew2 = inv(V)*A2*V*Xnew %Xnew2是经过线性变换A2后在新的基底下的坐标
% 选择特征向量方向为新的坐标,在新的坐标系下横坐标不变,纵坐标是原来的2倍。
px(Xnew,'ro','r-')
hold on
px(Xnew2,'b*','b:')
gtext('A = [1 2 ; 0 1]')
%% 对称矩阵,一定可以对角化,特征值是实数,特征向量标准正交
% 对称矩阵就像对角矩阵那样
% 更深刻地去理解特征值与特征向量
% 特征值本质上是找到了一组完整的不缺失的特征向量后,可以进行解耦地伸缩变换,每个基上伸缩变换的系数
% 如果和压缩联系在一起的话,如果特征向量的长度都一样,那么特征值的绝对值越大表明在这个方向
% 的伸缩越大,理解成方差越大,因此可以利用这种分解去找到最大的方差,寻找如何包含更多的信息。
% D =
%
% -0.5616 0
% 0 3.5616
A2 = [1 2
2 2];
X2 = A2*X;
px(X,'ro','r-')
hold on
px(X2,'b*','b:')
hold off;
% 换坐标系,从单位坐标系换到以特征向量为基底的坐标系
[V,D] = eig(A2)
V*D*inv(V)
Xnew = inv(V)*X; %Xnew是原正方形数据X在新的基下面的坐标
Xnew2 = inv(V)*A2*V*Xnew %Xnew2是经过线性变换A2后在新的基底下的坐标
% 选择特征向量方向为新的坐标,在新的坐标系下横坐标不变,纵坐标是原来的2倍。
px(Xnew,'ro','r-')
hold on
px(Xnew2,'b*','b:')
% 判断是不是符合
mean((D(1,1)*Xnew(1,:) - Xnew2(1,:) ) < 1e-5)
mean((D(2,2)*Xnew(2,:) - Xnew2(2,:) ) < 1e-5)
%% 特征值如果出现0(行列式等于0,不满秩)是什么含义呢
% 在某个基上的分量丢失,原来的系数不为0可能是因为和其他基耦合
% 对角化后D上存在着为0的元素,有几个0说明有几个维度丢失。
A2 = [1 0
0 0];
X2 = A2*X;
px(X,'ro','r-')
hold on
px(X2,'b*','b:')
hold off;
% 换坐标系,从单位坐标系换到以特征向量为基底的坐标系
[V,D] = eig(A2)
V*D*inv(V)
Xnew = inv(V)*X; %Xnew是原正方形数据X在新的基下面的坐标
Xnew2 = inv(V)*A2*V*Xnew %Xnew2是经过线性变换A2后在新的基底下的坐标
% 选择特征向量方向为新的坐标,在新的坐标系下横坐标不变,纵坐标是原来的2倍。
px(Xnew,'ro','r-')
hold on
px(Xnew2,'b*','b:')
%% 不能对角化意味着什么
% 找不到上面那些好的性质,特征向量之间线性相关充满不了整个空间
% 但是只是在变换前后同一个基的条件下找不到
A2 = [1 2
0 1];
X2 = A2*X;
px(X,'ro','r-')
hold on
px(X2,'b*','b:')
hold off;
% 换坐标系,从单位坐标系换到以特征向量为基底的坐标系
[V,D] = eig(A2)
V*D*inv(V)
Xnew = inv(V)*X; %Xnew是原正方形数据X在新的基下面的坐标
Xnew2 = inv(V)*A2*V*Xnew %Xnew2是经过线性变换A2后在新的基底下的坐标
% 选择特征向量方向为新的坐标,在新的坐标系下横坐标不变,纵坐标是原来的2倍。
px(Xnew,'ro','r-')
hold on
px(Xnew2,'b*','b:')
% 判断是不是符合
mean((D(1,1)*Xnew(1,:) - Xnew2(1,:) ) < 1e-5)
mean((D(2,2)*Xnew(2,:) - Xnew2(2,:) ) < 1e-5)
%% 如何将不能对角化的矩阵对角化,不存在奇异值为0的情况,矩阵是方阵
% SVD,构建起两个不同的坐标基
% 与特征值相对的,这里引入的是奇异值
% S =
%
% 2.4142 0
% 0 0.4142
A2 = [1 2
0 1];
[V,D] = eig(A2)
V
[U,S,V] = svd(A2);
Xnew = inv(V)*X; %Xnew是原正方形数据X在新的基下面的坐标
Xnew2 = inv(U)*A2*V*Xnew; %Xnew2是经过线性变换A2后在新的基底下的坐标
% 选择特征向量方向为新的坐标,在新的坐标系下横坐标不变,纵坐标是原来的2倍。
px(Xnew,'ro','r-')
hold on
px(Xnew2,'b*','b:')
% 判断是不是符合
mean((S(1,1)*Xnew(1,:) - Xnew2(1,:) ) < 1e-5)
mean((S(2,2)*Xnew(2,:) - Xnew2(2,:) ) < 1e-5)