LinearAlgebra_4

投影矩阵和最小二乘

二维空间

假设二维空间Ax=bAx=b,拟合的直线是b=C+Dt。投影矩阵为b = C+Dt。 投影矩阵为P$,那么有:

P=A(ATA)−1AT

P=A(A^TA)^{-1}A^T

  1. Pb=0Pb=0(如果向量b和矩阵A的列空间垂直的话,ATb=0A^Tb=0)
  2. Pb=bPb=b(如果向量b在矩阵A的列空间内部的话,b=Axb=Ax)

多维空间

思考最优直线或者最佳投影可以从两种方式思考

一。矩阵空间

矩阵空间,即找到最优的b^\hat{b},也就是找到bb在AA的列空间的投影。

ATAx=ATb

A^TAx=A^Tb

如果A的列满秩的话,那么ATAA^TA可逆,所以有:

x=(ATA)−1ATb

x=(A^TA)^{-1}A^Tb

P=A(ATA)−1AT

P=A(A^TA)^{-1}A^T

需要注意的是,ATAA^TA可逆有两种情况:

  1. ATAx=0A^TAx=0的零空间只有0,左右都乘XTX^T即可。
  2. AA的列线性无关,相互垂直的单位向量,orthonomal vectors

二。原来的空间

此外,还可以用最小二乘法做,使用微分求解也能得到同样的结果。

正交矩阵和Gram-Schmidt正交化

回顾

正交向量:两个向量点积为0。 正交空间:行空间与零空间。

正交基

正交矩阵

orthogonal orthonormal

正交矩阵QQ的特性如下:

  1. QTQ=IQ^TQ=I
  2. Q−1=QTQ^{-1}=Q^T(如果QQ是方阵的话)

正交矩阵好处很大。

P=Q(QTQ)−1QT=QQT

P=Q(Q^TQ)^{-1}Q^T=QQ^T 上式在QQ为方阵的情况下成立。

如何变成正交矩阵

总体思路就是先求出正交的向量,然后根据向量的长度变成正交矩阵。

求正交的向量,可以用

b=b−p=b−Ax=b−AATbATA

b = b-p=b-Ax=b-A\frac{A^Tb}{A^TA}

行列式与其性质

行列式,是最能够代表矩阵性质的一个数,根据它可以判断矩阵是不是奇异矩阵等。

行列式,是为了求出特征值,它的对象是每个方阵。

共有10条性质,1——3是基础,4——10是推倒。

1。detI=1detI=1 2。每交换一次行,矩阵的行列式乘以−1-1 3a。[tactbd]=t∗[acbd]\begin{bmatrix} ta & tb \\ c & d \end{bmatrix} = t * \begin{bmatrix} a & b \\ c & d \end{bmatrix} 3b。[a+a′cb+b′d]=[acbd]+[a′cb′d]\begin{bmatrix} a + a' & b+b' \\ c & d \end{bmatrix} = \begin{bmatrix} a & b \\ c & d \end{bmatrix} +\begin{bmatrix} a' & b' \\ c & d \end{bmatrix} 4。如果两行相等,行列式为0 5。Substract l*rowI for rowK,行列式不变,所以可以随便消元,不影响行列式 6。有零行存在,行列式是0 7。上三角矩阵的行列式是角上元素的乘积 8。行列式为0是矩阵奇异的充要条件 9。detAB=detA∗detBdetAB=detA*detB, det2A=2mdetAdet2A=2^m detA 10。detAT=detAdetA^T=detA,将行列联系在了一起

此外,有一个问题:7次和10次行交换会得到同样的矩阵么。 A: 置换分为odd和even的。

行列式公式和代数余子式

行列式,是线代里面很小的但是很完整的一部分,之前很重要,现在并不是很重要。它的主要目的是和特征值结合。 代数余子式的意义是可以将大的矩阵的特征值分解成小的矩阵的特征值。

矩阵An∗nA_{n*n}分解后共有nnn^n情况,其中不为0的情况共有n!n!种。

代数余子式(cofactor)值得是aija_{ij}去除第i行和第j列剩下部分的行列式,并且考虑到符号问题。

克拉默法则逆矩阵体积

逆矩阵

A−1=1detACT

A^{-1} = \frac{1}{detA} C^T 其中,CC代表包含符号的代数余子式,CTC^T代表伴随矩阵。

克拉默法则

A−1A^{-1}只用上面的式子是不够的,克拉默法则提供了求逆的代数表达形式,但是一般不用因为太过繁琐,典型的中看不中用,一般使用消元法。

box体积

行列式代表volumn of box。 正负号的意义是左手坐标系还是右手坐标系。

detQ=1detQ=1 QQT=IQQ^T=I

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏视觉求索无尽也

SIFT特征的原理学习资料开始学习

SIFT特征不只具有尺度不变性,即使改变图像的旋转角度,亮度或拍摄视角,仍然能够得到好的检测效果。

702
来自专栏Brian

线性代数基础之A的LU分解

---- 概述 在线性代数基础之矩阵乘法已经介绍了矩阵乘法的行图像和列图像代表什么什么意义,包括在求解Ax=b的线性方程组是通过消元法来求解该方程组以及矩阵的逆...

2776
来自专栏用户2442861的专栏

openCV—Python(11)—— 图像边缘检测

471
来自专栏Pulsar-V

ORB图像特征检测

#ORB算法推导 ORB采用FAST (features from accelerated segment test) 算法来检测特征点。FAST核心思想就是找...

2486
来自专栏YoungGy

无人驾驶之车道线检测简易版

无人驾驶技术近些年发展迅速。无人车若想实现自动驾驶,从视觉的角度上讲其要先学会观察道路,具体来说,就是检测车道线。包括识别车道线与车的位置关系,是实线还是虚线等...

2338
来自专栏数值分析与有限元编程

用面积坐标推导六节点三角形单元刚度矩阵

建立高阶单元时,利用面积坐标可以简化计算,特别是利用面积坐标的积分公式计算等效节点力。 (一)节点形函数 ? (二)单元位移场及应变场 ? ? ? (三)单元刚...

3577
来自专栏贾志刚-OpenCV学堂

OpenCV中图像直方图与应用

OpenCV中图像直方图与应用 图像直方图数据在图像处理中应用十分广泛,根据直方图数据不同常见的有如下三种: - 图像像素直方图、 - 像素梯度直方图 - 像素...

2996
来自专栏机器之心

深度 | BP表达式与硬件架构:相似性构建更高效的计算单元

2817
来自专栏贾志刚-OpenCV学堂

OpenCV中直方图反向投影算法详解与实现

OpenCV中直方图反向投影算法详解与实现 一:直方图交叉 OpenCV中直方图反向投影算法实现来自一篇论文《Indexing Via Color Histog...

3806
来自专栏闪电gogogo的专栏

霍夫变换

霍夫变换是一种特征提取技术,通过一种投票算法检测具有特定形状的物体。该过程在一个参数空间中通过计算累计结果的局部最大值得到一个符合该特定形状的集合作为hough...

833

扫码关注云+社区