LinearAlgebra_4

投影矩阵和最小二乘

二维空间

假设二维空间Ax=bAx=b,拟合的直线是b=C+Dt。投影矩阵为b = C+Dt。 投影矩阵为P$,那么有:

P=A(ATA)−1AT

P=A(A^TA)^{-1}A^T

  1. Pb=0Pb=0(如果向量b和矩阵A的列空间垂直的话,ATb=0A^Tb=0)
  2. Pb=bPb=b(如果向量b在矩阵A的列空间内部的话,b=Axb=Ax)

多维空间

思考最优直线或者最佳投影可以从两种方式思考

一。矩阵空间

矩阵空间,即找到最优的b^\hat{b},也就是找到bb在AA的列空间的投影。

ATAx=ATb

A^TAx=A^Tb

如果A的列满秩的话,那么ATAA^TA可逆,所以有:

x=(ATA)−1ATb

x=(A^TA)^{-1}A^Tb

P=A(ATA)−1AT

P=A(A^TA)^{-1}A^T

需要注意的是,ATAA^TA可逆有两种情况:

  1. ATAx=0A^TAx=0的零空间只有0,左右都乘XTX^T即可。
  2. AA的列线性无关,相互垂直的单位向量,orthonomal vectors

二。原来的空间

此外,还可以用最小二乘法做,使用微分求解也能得到同样的结果。

正交矩阵和Gram-Schmidt正交化

回顾

正交向量:两个向量点积为0。 正交空间:行空间与零空间。

正交基

正交矩阵

orthogonal orthonormal

正交矩阵QQ的特性如下:

  1. QTQ=IQ^TQ=I
  2. Q−1=QTQ^{-1}=Q^T(如果QQ是方阵的话)

正交矩阵好处很大。

P=Q(QTQ)−1QT=QQT

P=Q(Q^TQ)^{-1}Q^T=QQ^T 上式在QQ为方阵的情况下成立。

如何变成正交矩阵

总体思路就是先求出正交的向量,然后根据向量的长度变成正交矩阵。

求正交的向量,可以用

b=b−p=b−Ax=b−AATbATA

b = b-p=b-Ax=b-A\frac{A^Tb}{A^TA}

行列式与其性质

行列式,是最能够代表矩阵性质的一个数,根据它可以判断矩阵是不是奇异矩阵等。

行列式,是为了求出特征值,它的对象是每个方阵。

共有10条性质,1——3是基础,4——10是推倒。

1。detI=1detI=1 2。每交换一次行,矩阵的行列式乘以−1-1 3a。[tactbd]=t∗[acbd]\begin{bmatrix} ta & tb \\ c & d \end{bmatrix} = t * \begin{bmatrix} a & b \\ c & d \end{bmatrix} 3b。[a+a′cb+b′d]=[acbd]+[a′cb′d]\begin{bmatrix} a + a' & b+b' \\ c & d \end{bmatrix} = \begin{bmatrix} a & b \\ c & d \end{bmatrix} +\begin{bmatrix} a' & b' \\ c & d \end{bmatrix} 4。如果两行相等,行列式为0 5。Substract l*rowI for rowK,行列式不变,所以可以随便消元,不影响行列式 6。有零行存在,行列式是0 7。上三角矩阵的行列式是角上元素的乘积 8。行列式为0是矩阵奇异的充要条件 9。detAB=detA∗detBdetAB=detA*detB, det2A=2mdetAdet2A=2^m detA 10。detAT=detAdetA^T=detA,将行列联系在了一起

此外,有一个问题:7次和10次行交换会得到同样的矩阵么。 A: 置换分为odd和even的。

行列式公式和代数余子式

行列式,是线代里面很小的但是很完整的一部分,之前很重要,现在并不是很重要。它的主要目的是和特征值结合。 代数余子式的意义是可以将大的矩阵的特征值分解成小的矩阵的特征值。

矩阵An∗nA_{n*n}分解后共有nnn^n情况,其中不为0的情况共有n!n!种。

代数余子式(cofactor)值得是aija_{ij}去除第i行和第j列剩下部分的行列式,并且考虑到符号问题。

克拉默法则逆矩阵体积

逆矩阵

A−1=1detACT

A^{-1} = \frac{1}{detA} C^T 其中,CC代表包含符号的代数余子式,CTC^T代表伴随矩阵。

克拉默法则

A−1A^{-1}只用上面的式子是不够的,克拉默法则提供了求逆的代数表达形式,但是一般不用因为太过繁琐,典型的中看不中用,一般使用消元法。

box体积

行列式代表volumn of box。 正负号的意义是左手坐标系还是右手坐标系。

detQ=1detQ=1 QQT=IQQ^T=I

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏华章科技

揭秘:为什么数据科学家都钟情于这个“错误”的正态分布?

对于深度学习和机器学习工程师们来说,正态分布是世界上所有概率模型中最重要的一个。即使你没有参与过任何人工智能项目,也一定遇到过高斯模型,今天就让我们来看看高斯过...

541
来自专栏ml

机器学习之最小二乘法

1.背景:      1801年,意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后,由于谷神星运行至太阳背后,使得皮亚齐失去了谷神星...

3346
来自专栏斑斓

概率学中的随机变量与分布

随机变量 Random Variables 如果一个变量的值存在一个与之相关联的概率分布,则称该变量为“随机变量(Random Variable)”。数学上更...

2793
来自专栏大数据文摘

学界 | 为什么数据科学家都钟情于最常见的正态分布?

1255
来自专栏数值分析与有限元编程

雅可比矩阵(一)

物理坐标系和自然坐标系的坐标映射关系为 ? ? 咋一看,这似乎是一个线性方程组。实际上并不是,这是一个非线性方程组(不是太明显),如果是C1或者C2级就有二次项...

2729
来自专栏机器学习算法全栈工程师

机器学习损失函数、L1-L2正则化的前世今生

前言: 我们学习一个算法总是要有个指标或者多个指标来衡量一下算的好不好,不同的机器学习问题就有了不同的努力目标,今天我们就来聊一聊回归意义下的损...

4077
来自专栏Vamei实验室

概率论06 连续分布

在随机变量中,我提到了连续随机变量。相对于离散随机变量,连续随机变量可以在一个连续区间内取值。比如一个均匀分布,从0到1的区间内取值。一个区间内包含了无穷多个实...

1998
来自专栏AI科技评论

开发 | Google 软件工程师解读:深度学习的activation function哪家强?

AI科技评论按:本文作者夏飞,清华大学计算机软件学士,卡内基梅隆大学人工智能硕士。现为谷歌软件工程师。本文首发于知乎,AI科技评论获授权转载。 ? TLDR (...

3874
来自专栏进击的程序猿

线性回归背后的数学

本文是YouTube上视频How to Do Linear Regression the Right Way笔记

882
来自专栏https://www.cnblogs.com/L

【机器学习】--SVM从初始到应用

SVM在2012年前还是很牛逼的,但是12年之后神经网络更牛逼些,但我们还是很有必要了解SVM的。

832

扫码关注云+社区