专栏首页YoungGy小论线性变换

小论线性变换

任何一个线性变换都可以用一个矩阵A来表示。

EIG分解

特征值分解的适应情况是:

  1. 矩阵是方阵
  2. 矩阵有足够的特征向量
  3. 如果矩阵有不相同的特征值 ,那么肯定有足够的特征向量

对角矩阵本质上是每个轴上的不耦合地伸缩。

SVD分解

如何将不能对角化的矩阵对角化,不存在奇异值为0的情况,矩阵是方阵

特征值与奇异值

如果一个矩阵的秩为rr,表明这个矩阵表示的空间是rr维的,不等于0的特征值或者奇异值的个数是rr,特征值或者奇异值的绝对值表示对应维度的方差,方差越大表明在这个维度上信息量越大,这个维度也就越重要。

参考代码

% 画图辅助函数
function [] = px(X,p1,p2)
plot(X(1,:),X(2,:),p1)
hold on
plot(X(1,:),X(2,:),p2)
hold off
axis equal
%axis([0 2 0 2])
% 主函数

%% 耦合与解耦
X = [0 0 1 1 0    
0 1 1 0 0];
% 对角矩阵
A2 = [1 0
    0 2];
X2 = A2*X;
px(X,'ro','r-')
hold on
px(X2,'b*','b:')
hold off;


% 矩阵耦合的情况
A2 = [1 2
    0 1];
X2 = A2*X;
px(X,'ro','r-')
hold on
px(X2,'b*','b:')
hold off;



%% 解耦,矩阵可以对角化,有足够的特征向量,按照SDS^{-1}分解

A2 = [1 2
    0 2];
% %D =
% 
%      1     0
%      0     2
X2 = A2*X;
px(X,'ro','r-')
hold on
px(X2,'b*','b:')
hold off;

% 换坐标系,从单位坐标系换到以特征向量为基底的坐标系
[V,D] = eig(A2)
V*D*inv(V)

Xnew = inv(V)*X;  %Xnew是原正方形数据X在新的基下面的坐标

Xnew2 = inv(V)*A2*V*Xnew %Xnew2是经过线性变换A2后在新的基底下的坐标

% 选择特征向量方向为新的坐标,在新的坐标系下横坐标不变,纵坐标是原来的2倍。
px(Xnew,'ro','r-')
hold on
px(Xnew2,'b*','b:')


gtext('A = [1 2 ; 0 1]')
%% 对称矩阵,一定可以对角化,特征值是实数,特征向量标准正交
% 对称矩阵就像对角矩阵那样
% 更深刻地去理解特征值与特征向量
% 特征值本质上是找到了一组完整的不缺失的特征向量后,可以进行解耦地伸缩变换,每个基上伸缩变换的系数
% 如果和压缩联系在一起的话,如果特征向量的长度都一样,那么特征值的绝对值越大表明在这个方向
% 的伸缩越大,理解成方差越大,因此可以利用这种分解去找到最大的方差,寻找如何包含更多的信息。
% D =
% 
%    -0.5616         0
%          0    3.5616
A2 = [1 2
    2 2];
X2 = A2*X;
px(X,'ro','r-')
hold on
px(X2,'b*','b:')
hold off;

% 换坐标系,从单位坐标系换到以特征向量为基底的坐标系
[V,D] = eig(A2)
V*D*inv(V)

Xnew = inv(V)*X;  %Xnew是原正方形数据X在新的基下面的坐标

Xnew2 = inv(V)*A2*V*Xnew %Xnew2是经过线性变换A2后在新的基底下的坐标

% 选择特征向量方向为新的坐标,在新的坐标系下横坐标不变,纵坐标是原来的2倍。
px(Xnew,'ro','r-')
hold on
px(Xnew2,'b*','b:')


% 判断是不是符合
mean((D(1,1)*Xnew(1,:) - Xnew2(1,:) ) < 1e-5)
mean((D(2,2)*Xnew(2,:) - Xnew2(2,:) ) < 1e-5)

%% 特征值如果出现0(行列式等于0,不满秩)是什么含义呢
% 在某个基上的分量丢失,原来的系数不为0可能是因为和其他基耦合
% 对角化后D上存在着为0的元素,有几个0说明有几个维度丢失。
A2 = [1 0
    0 0];
X2 = A2*X;
px(X,'ro','r-')
hold on
px(X2,'b*','b:')
hold off;

% 换坐标系,从单位坐标系换到以特征向量为基底的坐标系
[V,D] = eig(A2)
V*D*inv(V)

Xnew = inv(V)*X;  %Xnew是原正方形数据X在新的基下面的坐标

Xnew2 = inv(V)*A2*V*Xnew %Xnew2是经过线性变换A2后在新的基底下的坐标

% 选择特征向量方向为新的坐标,在新的坐标系下横坐标不变,纵坐标是原来的2倍。
px(Xnew,'ro','r-')
hold on
px(Xnew2,'b*','b:')


%% 不能对角化意味着什么
% 找不到上面那些好的性质,特征向量之间线性相关充满不了整个空间
% 但是只是在变换前后同一个基的条件下找不到
A2 = [1 2
    0 1];
X2 = A2*X;
px(X,'ro','r-')
hold on
px(X2,'b*','b:')
hold off;

% 换坐标系,从单位坐标系换到以特征向量为基底的坐标系
[V,D] = eig(A2)
V*D*inv(V)

Xnew = inv(V)*X;  %Xnew是原正方形数据X在新的基下面的坐标

Xnew2 = inv(V)*A2*V*Xnew %Xnew2是经过线性变换A2后在新的基底下的坐标

% 选择特征向量方向为新的坐标,在新的坐标系下横坐标不变,纵坐标是原来的2倍。
px(Xnew,'ro','r-')
hold on
px(Xnew2,'b*','b:')

% 判断是不是符合
mean((D(1,1)*Xnew(1,:) - Xnew2(1,:) ) < 1e-5)
mean((D(2,2)*Xnew(2,:) - Xnew2(2,:) ) < 1e-5)


%% 如何将不能对角化的矩阵对角化,不存在奇异值为0的情况,矩阵是方阵
% SVD,构建起两个不同的坐标基
% 与特征值相对的,这里引入的是奇异值
% S =
% 
%     2.4142         0
%          0    0.4142
A2 = [1 2
    0 1];
[V,D] = eig(A2)
V

[U,S,V] = svd(A2);
Xnew = inv(V)*X;  %Xnew是原正方形数据X在新的基下面的坐标

Xnew2 = inv(U)*A2*V*Xnew; %Xnew2是经过线性变换A2后在新的基底下的坐标

% 选择特征向量方向为新的坐标,在新的坐标系下横坐标不变,纵坐标是原来的2倍。
px(Xnew,'ro','r-')
hold on
px(Xnew2,'b*','b:')

% 判断是不是符合
mean((S(1,1)*Xnew(1,:) - Xnew2(1,:) ) < 1e-5)
mean((S(2,2)*Xnew(2,:) - Xnew2(2,:) ) < 1e-5)

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 聚类算法简述

    K-MEANS 算法 K-MEANS 评估聚类结果与选择K MapReduce GMM 算法 初始化 过拟合 K-MEANS比较 LDA LDA和cluster...

    用户1147754
  • MMD_SVM

    largest margin ? ? soft margin ? compute margin ? gradient descent ? example SGD...

    用户1147754
  • ML基石_56_TheoryOfGeneralization

    RECAP SOLUTION m增长速度受限 将m带回原式中的M 例子 总结 RECAP 机器学习是可行的,如果假设集H是有限的并且统计样本数据(statist...

    用户1147754
  • 腾讯云TStack获2018年全球云计算开源产业大会OSCAR技术创新奖

    作为中国云计算开源领域最专业、最高端、最具规模的行业盛会,2018云计算开源产业大会(全球云计算开源大会)由工业和信息化部指导,中国信息通信研究院主办、云计...

    腾讯云TStack
  • JNI开发示例

    安装:eclipse(http://www.eclipse.org/)、CDT(C/C++ Development Tooling)、ADT(Android D...

    meteoric
  • Altera官方FPGA电机控制的中文文档

    本文档推荐一种设计流程,它在电机控制设计中利用了 Altera FPGA 强大的适应能力、精度可调 DSP 以及集成系统设计工具。工业电机驱动设备的设计人员可以...

    碎碎思
  • Leetcode 237. Delete Node in a Linked List

    Write a function to delete a node (except the tail) in a singly linked list, gi...

    triplebee
  • Python爬虫实战练习:爬取美团旅游景点评论数据

    本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

    松鼠爱吃饼干
  • matplotlib基础绘图命令之violinplot

    vert参数的默认值为True,表示竖直方向的小提琴图,当取值WieFalse时,绘制水平方向的小提琴图,用法如下

    生信修炼手册
  • JAVA开发Web Service几种框架介绍

    Java学习123

扫码关注云+社区

领取腾讯云代金券