LinearAlgebra_4

用户1147754

发布于 2018-01-02 17:23:52

8340

发布于 2018-01-02 17:23:52

文章被收录于专栏：YoungGyYoungGy

投影矩阵和最小二乘
- 二维空间
- 多维空间
正交矩阵和Gram-Schmidt正交化
- 回顾
- 正交基
- 正交矩阵
- 如何变成正交矩阵
行列式与其性质
行列式公式和代数余子式
克拉默法则逆矩阵体积
- 逆矩阵
- 克拉默法则
- box体积

投影矩阵和最小二乘

二维空间

假设二维空间Ax=bAx=b，拟合的直线是b=C+Dt。投影矩阵为b = C+Dt。投影矩阵为P$，那么有：

P=A(ATA)−1AT

P=A(A^TA)^{-1}A^T

Pb=0Pb=0（如果向量b和矩阵A的列空间垂直的话，ATb=0A^Tb=0）
Pb=bPb=b（如果向量b在矩阵A的列空间内部的话，b=Axb=Ax）

多维空间

思考最优直线或者最佳投影可以从两种方式思考

一。矩阵空间

矩阵空间，即找到最优的b^\hat{b}，也就是找到bb在AA的列空间的投影。

ATAx=ATb

A^TAx=A^Tb

如果A的列满秩的话，那么ATAA^TA可逆，所以有：

x=(ATA)−1ATb

x=(A^TA)^{-1}A^Tb

P=A(ATA)−1AT

P=A(A^TA)^{-1}A^T

需要注意的是，ATAA^TA可逆有两种情况：

ATAx=0A^TAx=0的零空间只有0，左右都乘XTX^T即可。
AA的列线性无关，相互垂直的单位向量，orthonomal vectors。

二。原来的空间

此外，还可以用最小二乘法做，使用微分求解也能得到同样的结果。

正交矩阵和Gram-Schmidt正交化

回顾

正交向量：两个向量点积为0。正交空间：行空间与零空间。

正交基

正交矩阵

orthogonal orthonormal

正交矩阵QQ的特性如下：

QTQ=IQ^TQ=I
Q−1=QTQ^{-1}=Q^T（如果QQ是方阵的话）

正交矩阵好处很大。

P=Q(QTQ)−1QT=QQT

P=Q(Q^TQ)^{-1}Q^T=QQ^T 上式在QQ为方阵的情况下成立。

如何变成正交矩阵

总体思路就是先求出正交的向量，然后根据向量的长度变成正交矩阵。

求正交的向量，可以用

b=b−p=b−Ax=b−AATbATA

b = b-p=b-Ax=b-A\frac{A^Tb}{A^TA}

行列式与其性质

行列式，是最能够代表矩阵性质的一个数，根据它可以判断矩阵是不是奇异矩阵等。

行列式，是为了求出特征值，它的对象是每个方阵。

共有10条性质，1——3是基础，4——10是推倒。

1。detI=1detI=1 2。每交换一次行，矩阵的行列式乘以−1-1 3a。[tactbd]=t∗[acbd]\begin{bmatrix} ta & tb \\ c & d \end{bmatrix} = t * \begin{bmatrix} a & b \\ c & d \end{bmatrix} 3b。[a+a′cb+b′d]=[acbd]+[a′cb′d]\begin{bmatrix} a + a' & b+b' \\ c & d \end{bmatrix} = \begin{bmatrix} a & b \\ c & d \end{bmatrix} +\begin{bmatrix} a' & b' \\ c & d \end{bmatrix} 4。如果两行相等，行列式为0 5。Substract l*rowI for rowK，行列式不变，所以可以随便消元，不影响行列式 6。有零行存在，行列式是0 7。上三角矩阵的行列式是角上元素的乘积 8。行列式为0是矩阵奇异的充要条件 9。detAB=detA∗detBdetAB=detA*detB, det2A=2mdetAdet2A=2^m detA 10。detAT=detAdetA^T=detA,将行列联系在了一起

此外，有一个问题：7次和10次行交换会得到同样的矩阵么。 A: 置换分为odd和even的。