我的机器学习线性代数篇观点向量矩阵行列式矩阵的初等变换向量组线性方程组特征值和特征向量几个特殊矩阵QR 分解（正交三角分解）奇异值分解向量的导数
我的机器学习线性代数篇观点向量矩阵行列式矩阵的初等变换向量组线性方程组特征值和特征向量几个特殊矩阵QR 分解（正交三角分解）奇异值分解向量的导数
前言： 线代知识点多，有点抽象，写的时候尽量把这些知识点串起来，如果不行，那就两串。其包含的几大对象为：向量，行列式，矩阵，方程组。
- 观点
核心问题是求多元方程组的解，核心知识：内积、秩、矩阵求逆，应用：求解线性回归、最小二乘法用QR分解，奇异值分解SVD，主成分分析（PCA）运用可对角化矩阵
- 向量
- 基础 向量：是指具有n个互相独立的性质(维度)的对象的表示，向量常 使用字母+箭头的形式进行表示，也可以使用几何坐标来表示向量。 单位向量：向量的模、模为一的向量为单位向量 内积又叫数量积、点积：为一个数
image.png 正交向量：内积为零
- 应用 向量组和特征向量
- 矩阵
定义：描述线性代数中线性关系的参数，即矩阵是一个线性变换， 可以将一些向量转换为另一些向量。 Y=AX表示的是向量X和Y的一种映射关系，其中A是 描述这种关系的参数。 Y=AX这个在向量组线型相关中经常见到 直观表示：
image.png
- 矩阵和向量 当m=1或者n=1的时候，称A为行向量或者列向量
- 方阵 负矩阵，上下三角矩阵 对角矩阵 单位矩阵 行列式变换会用到三角矩阵 区分单位向量
- 矩阵的转置
- 行列式
通常用到的行列式是一个数 行列式是数学的一个函数，可以看作在几何空间中，一个线性变换 对“面积”或“体积”的影响。
- 方阵行列式 n阶方阵A的方阵行列式表示为|A|或者det(A)
- 代数余子式 ：Aij=(-1)(i+j)Mij
image.png
- 伴随矩阵 为了求矩阵的逆
image.png
- 方阵的逆 AB=BA=E，那么称B为A的逆矩阵，而A被称为可逆矩阵或非奇异矩阵。 如果A不存在逆矩阵，那么A称为奇异矩阵。A的逆矩阵记作：A-1
image.png
- 矩阵的初等变换
矩阵的初等列变换与初等行变换统称为初等 变换．
image.png
- 行阶梯形矩阵 最简矩阵 标准行 前者来求变量之间的关系，后者计算矩阵的秩 定理（1）表明 ，即A 经一系列初等行变换 变为B,则 有可逆矩阵P,使 如何求P？
image.png
- 矩阵的秩 K阶子式是个行列式
image.png
- 向量组
向量组：有限个相同维数的行向量或列向量组合成的一个集合就 叫做向量组
image.png
- 向量的线性表示
image.png 转化为方程组为：
image.png 同理：如果向量组B 可由向量组A表示则
image.png AX=B 有解
- 线性相关和线性无关
image.png 用秩来判断是否相关
image.png
- 线性方程组
定理 1： n 元齐次线性方程组 Ax = 0 有非零 解的充要条件是 R(A) < n 推论 当 m < n 时，齐次线性方程组 一定有非零解 定理 2： n 元线性方程组 Ax = b (i) 无解的充要条件是 R(A) < R(A，b) ; (ii) 有唯一解的充要条件是 R(A) = R(A，b) = n ; (iii) 有无穷多解的充要条件是 R(A) = R(A，b) < n
- 解得结构
image.png
image.png
- 特征值和特征向量
A为n阶矩阵，若数λ和n维非0列向量x满足Ax=λx，那么数λ称为A 的特征值，x称为A的对应于特征值λ的特征向量
- 特征值的性质 (1)n阶方阵A=(aij)的所有特征根λ1、λ2.....λn，则有
image.png (2)若λ是可逆矩阵A的一个特征根，x为对应的特征向量： 则1/λ是矩阵A-1的一个特征根，x仍为对应的特征向量。 则λm次方是矩阵Am次方的一个特征根，x仍为对应的特征向量。 (3)设λ1、λ2.....λn是方阵A的互不相同的特征值，xi是λi的特征向量，则 x1,x2...xn线性无关，即不相同特征值的特征向量线性无关
- 几个特殊矩阵
- 可对角化矩阵
image.png
- 正定矩阵 对于n阶方阵A，若任意n阶向量x，都有xTAx>0，则称矩阵A为正 定矩阵
- 正交矩阵 若n阶方阵A满足ATA=E，则称A为正交矩阵，简称正交阵（复数域 上称为酉矩阵） A是正交阵的充要条件：A的列(行)向量都是单位向量，且两两正交
- QR 分解（正交三角分解）
对于m*n的列满秩矩阵A，必有：
image.png
用到施密特正交化
image.png
- 奇异值分解
可以看作是对称方阵在任意矩阵上的推广。
image.png
与特征值、特征向量的概念相对应，则： Σ对角线上的元素称为矩阵A的奇异值 U和V称为A的左/右奇异向量矩阵
- 矩阵的等价标准型
image.png
- 步骤 求特征值和特征向量 特征向量构成V1，求出U1
image.png
- 向量的导数
A为mn的矩阵，x为n1的列向量，则Ax为m*1的列向量
image.png
- 向量的偏导公式
image.png
image.png
- 标量对方阵的导数
image.png 后记： 才疏学浅，慢慢学习，慢慢更新，与诸君共勉
你可能感冒的文章： 我的机器学习numpy篇 我的机器学习matplotlib篇 我的机器学习微积分篇