线性代数 - 1 - 基础知识
线性代数，基础知识，温故知新。
定义
- 向量：
向量默认为列向量：
- 矩阵 \mathbf{X} \in \mathbb{R}^{m \times n}，表示为：
范数
向量范数
1-范数
各个元素的绝对值之和
2-范数
每个元素的平方和再开平方根
p-范数
- 其中正整数p≥1，并且有 \lim _{p \rightarrow \infty}\|X\|_{p}=\max _{1 \leq i \leq n}\left|x_{i}\right|.
无穷范数
为向量中绝对值最大的元素的值。
矩阵范数
1-范数（列模）
矩阵的每一列上的元素绝对值先求和，再从中取个最大的，（列和最大）
2-范数（谱模）：
最大特征值开平方根：
无穷范数（行模）：
矩阵的每一行上的元素绝对值先求和，再从中取个最大的，（行和最大）
L0范数：
矩阵的非0元素的个数，通常用它来表示稀疏，L0范数越小0元素越多，也就越稀疏
L1范数：
矩阵中的每个元素绝对值之和，它是L0范数的最优凸近似，因此它也可以近似表示稀疏
F范数：
矩阵的各个元素平方之和再开平方根，它通常也叫做矩阵的L2范数，它的优点在它是一个凸函数，可以求导求解，易于计算
行列式
- 方阵 A 的行列式，记作 det(A)或|A|：
- 计算公式：
- 表示的是n个n维向量构成的n维平行多面体的体积，该体积有正负，若存在线性相关的向量，行列式为0
- 行列式A中某行(或列)用同一数k乘,其结果等于kA
- 行列式A等于其转置行列式AT(AT的第i行为A的第i列)
- 行列式A中两行（或列）互换,其结果等于-A
- 把行列式A的某行（或列）中各元同乘一数后加到另一行（或列）中各对应元上，结果仍然是A
方阵的迹
- 方阵\mathbf{A}=\left(a_{i, j}\right)_{n \times n}的迹，记作\operatorname{tr}(\mathbf{A})，对角线元素之和，也等于特征值的和：
向量积
点积**（Dot Product）**
对应元素乘积和，结果不是一个向量，而是一个标量（Scalar）
叉乘（cross product）
三维向量的叉积：
用三阶行列式表示
其中\overrightarrow{\mathbf{i}}, \overrightarrow{\mathbf{j}}, \overrightarrow{\mathbf{k}}分别为x, y, z轴的单位向量。
- \overrightarrow{\mathbf{u}}, \overrightarrow{\mathbf{v}}的叉积垂直于\overrightarrow{\mathbf{u}}, \overrightarrow{\mathbf{v}}构成的平面，其方向符合右手规则
- 叉积的模等于\overrightarrow{\mathbf{u}}, \overrightarrow{\mathbf{v}}构成的平行四边形的面积
向量的并矢
给定两个向量 \overrightarrow{\mathbf{x}}=\left(x_{1}, x_{2}, \cdots, x_{n}\right)^{T}, \overrightarrow{\mathbf{y}}=\left(y_{1}, y_{2}, \cdots, y_{m}\right)^{T} ，则向量的并矢记作：
也记作\overrightarrow{\mathbf{x}} \otimes \overrightarrow{\mathbf{y}}或者\overrightarrow{\mathbf{x}} \overrightarrow{\mathbf{y}}^{T}。
矩阵运算
给定两个矩阵\mathbf{A}=\left(a_{i, j}\right) \in \mathbb{R}^{m \times n}, \mathbf{B}=\left(b_{i, j}\right) \in \mathbb{R}^{m \times n} ，定义：
阿达马积(Hadamard product)（又称作逐元素积）
克罗内积(Kronnecker product)
偏导数
- 标量对标量的偏导数：\frac{\partial u}{\partial v} 。
- 标量对向量（ n 维向量）的偏导数 ： \frac{\partial u}{\partial \overrightarrow{\mathbf{v}}}=\left(\frac{\partial u}{\partial v_{1}}, \frac{\partial u}{\partial v_{2}}, \cdots, \frac{\partial u}{\partial v_{n}}\right)^{T}。
- 标量对矩阵( m \times n阶矩阵)的偏导数：
- 向量（ m维向量）对标量的偏导数：\frac{\partial \overrightarrow{\mathbf{u}}}{\partial v}=\left(\frac{\partial u_{1}}{\partial v}, \frac{\partial u_{2}}{\partial v}, \cdots, \frac{\partial u_{m}}{\partial v}\right)^{T} 。
- 向量（ m维向量）对向量 ( n维向量) 的偏导数（雅可比矩阵，行优先）如果为列优先，则为矩阵的转置。
- 矩阵( m \times n阶矩阵)对标量的偏导数
参考资料
腾讯云开发者
