前言: 线代知识点多,有点抽象,写的时候尽量把这些知识点串起来,如果不行,那就两串。其包含的几大对象为:向量,行列式,矩阵,方程组。
核心问题是求多元方程组的解,核心知识:内积、秩、矩阵求逆,应用:求解线性回归、最小二乘法用QR分解,奇异值分解SVD,主成分分析(PCA)运用可对角化矩阵
image.png 正交向量:内积为零
定义:描述线性代数中线性关系的参数,即矩阵是一个线性变换, 可以将一些向量转换为另一些向量。 Y=AX表示的是向量X和Y的一种映射关系,其中A是 描述这种关系的参数。 Y=AX这个在向量组线型相关中经常见到 直观表示:
image.png
通常用到的行列式是一个数 行列式是数学的一个函数,可以看作在几何空间中,一个线性变换 对“面积”或“体积”的影响。
image.png
image.png
image.png
矩阵的初等列变换与初等行变换统称为初等 变换.
image.png
image.png
image.png
向量组:有限个相同维数的行向量或列向量组合成的一个集合就 叫做向量组
image.png
image.png 转化为方程组为:
image.png 同理:如果向量组B 可由向量组A表示则
image.png AX=B 有解
image.png 用秩来判断是否相关
image.png
定理 1: n 元齐次线性方程组 Ax = 0 有非零 解的充要条件是 R(A) < n 推论 当 m < n 时,齐次线性方程组 一定有非零解 定理 2: n 元线性方程组 Ax = b (i) 无解的充要条件是 R(A) < R(A,b) ; (ii) 有唯一解的充要条件是 R(A) = R(A,b) = n ; (iii) 有无穷多解的充要条件是 R(A) = R(A,b) < n
image.png
image.png
A为n阶矩阵,若数λ和n维非0列向量x满足Ax=λx,那么数λ称为A 的特征值,x称为A的对应于特征值λ的特征向量
image.png (2)若λ是可逆矩阵A的一个特征根,x为对应的特征向量: 则1/λ是矩阵A-1的一个特征根,x仍为对应的特征向量。 则λm次方是矩阵Am次方的一个特征根,x仍为对应的特征向量。 (3)设λ1、λ2.....λn是方阵A的互不相同的特征值,xi是λi的特征向量,则 x1,x2...xn线性无关,即不相同特征值的特征向量线性无关
image.png
对于m*n的列满秩矩阵A,必有:
image.png
用到施密特正交化
image.png
可以看作是对称方阵在任意矩阵上的推广。
image.png
与特征值、特征向量的概念相对应,则: Σ对角线上的元素称为矩阵A的奇异值 U和V称为A的左/右奇异向量矩阵
image.png
image.png
A为mn的矩阵,x为n1的列向量,则Ax为m*1的列向量
image.png
image.png
image.png
image.png 后记: 才疏学浅,慢慢学习,慢慢更新,与诸君共勉
你可能感冒的文章: 我的机器学习numpy篇 我的机器学习matplotlib篇 我的机器学习微积分篇