Deep Learning(花书)教材笔记-Math and Machine Learning Basics(线性代数拾遗)

I. Linear Algebra

1. 基础概念回顾

• scalar: 标量
• vector: 矢量，an array of numbers.
• matrix: 矩阵, 2-D array of numbers.
• tensor: 张量, 更高维的一组数据集合。
• identity Matricx：单位矩阵
• inverse Matrix：逆矩阵,也称非奇异函数。当矩阵A的行列式(|A|≠0)时，则存在(A^{-1}).

2. Span

3. Norm

(L^p) norm 定义如右: (||x||_p=(\sum_i|x_i|^p)^{\frac{1}{p}}) for (p∈R,p≥1).

任何满足如下条件的函数都可视为norm:

• (f(x)=0 \, \Rightarrow x=0)
• (f(x+y)≤f(x)+f(y)) (三角不等式)
• (\forall α ∈R,f(αx)=|α|f(x))

1) (L^2) Norm

最常用的是二范式，即(L^2) norm,也称为Euclidean norm(欧几里得范数)。因为在机器学习中常用到求导，二范式求导之后只与输入数据本身有关，所以比较实用。

2) (L^1) Norm

但是二范式在零点附近增长很慢，而且有的机器学习应用需要在零点和非零点之间进行区分，此时二范式显得力不从心，所以我们可以选择一范式,即(L^1) norm,其表达式为：(||x||_1=\sum_i|x_i|).

3) (L^0) Norm

0范式表示矢量中非0的元素的个数。其实0范式这个说法是不严谨的，因为它不满足第三个条件，but whatever~

4) (L^∞) Norm

无穷大范式，也叫max norm,它表示矢量中所有元素绝对值的最大值，即

[||x||_∞=max |x_i|]

5) F norm

F norm全称是Frobenius Norm,其表达式如下:

[||A||_F=\sqrt{\sum_{i,j}A_{i,j}^2} ]

4.特殊矩阵和向量

1) Diagonal matrix(对角矩阵)

定义: a matrix (D) is diagonal if and only if (D_{i,j}=0) for all (i≠j).

仔细看定义！！！这里并没有说必须是squre matrix(方阵)，所以对角矩阵不一定是方阵，rectangle matrix也有可能是对角矩阵(只要对角线上不为0，其余部分都为0)。

2) Orthogonal Matrix(正交矩阵)

定义： 若(A^TA=AA^T=I),那么n阶实矩阵A则为正交矩阵。

注意矩阵A必须为方阵，另外有定义可知 (A^{-1}=A^T)

3) Orthonomal Matrix(标准正交矩阵)

定义: 满足正交矩阵的要求，且为x和y均为unit vector(单位矢量)。

5. Eigendecomposition(特征分解)

很多数学概念其实都可以分解成很小的组成部分，然后通过观察这些组成进而找出它们可能存在的通用的性质。例如对于一个整数12，我们会试着把它分解成12=2×2×3，由这个表达式我们可以得到一些有用的结论，例如12不能被5整除,任何数乘以12后都能被3整除等等。

很自然地，对于矩阵，我们也想看看他是否也能被拆分呢，所以就引入了特征分解的概念，通过特征分解我们会得到矩阵(A)的(一组)eigenvector(特征向量): (v) 和 eigenvalue(特征值): (λ),它们满足如下等式:

[Av=λv]

(特征向量当然也可以在右边，但是通常更习惯于放在右边。)

假设矩阵(A)有n个线性独立的特征向量({v^{(1)}, ..., v^{(n)}})以及对应的特征值({ λ_1, ...,λ_n })。记

(V=v^{(1)}, ..., v^{(n)},λ=λ_1, ...,λ_n ),则矩阵A的特征分解如下:

[A=Vdiag(λ)V^{-1}]

另外实对称矩阵的特征分解用得比较多，表达式为(A=Q\Lambda Q^{-1}),(Q)表示由特征向量组成的正交矩阵,(\Lambda)表示对角矩阵，注意(Q)和(\Lambda)的值是一一对应的。

• 当一个矩阵的特征值都为正时，该矩阵则为positive definite(正定矩阵).
• 当一个矩阵的特征值都大于等于0时，该矩阵则为positive semidefinite(半正定矩阵).
• 当一个矩阵的特征值都为负时，该矩阵则为negative definite(负定矩阵).
• 当一个矩阵的特征值都小于等于0时，该矩阵则为negative semidefinite(半负定矩阵).

6. Singular Value Decomposition(奇异值分解)

Singular Value Decomposition (SVD) 可以把一个矩阵分解得到 singular vectors和singular values。SVD可以像特征值分解一样帮助我们对一个矩阵进行分析，并且SVD适用性更广。每个实矩阵都能做SVD，但是不一定能做特征值分解。比如说如果一个矩阵不是方阵，那么就不能做特征分解，但是我们可以做SVD。

SVD分解后的矩阵表达式如下:

[A=UDV^T]

假设A是一个m×n矩阵，那么U定义为m×m矩阵,D是m×n矩阵,V是n×n矩阵。

除此以外

• 矩阵U和V都是orthogonal matrix，其中矩阵U的列向量是left-singular vectors，矩阵V的列向量是right-singular vectors。矩阵A的left-singular vectors是矩阵(A^TA)的特征向量，right-singular vectors是矩阵(AA^T)的特征向量。矩阵A的非零奇异值是矩阵(AA^T)或者(A^TA)的平方根。
• 矩阵D是diagonal matrix,注意不一定是方阵。D对角线上的即为矩阵A的奇异值(singular value)。

讲这么多，肯定对SVD还没有一个直观的理解，下面一节会介绍SVD的应用。

7. Moore-Penrose Pseudoinverse

我们在求一个矩阵的逆(matrix inverse)的时候，一般都需要规定这个矩阵是方阵。

假设有一个线性方程(Ax=y),为了解出这个方程，我们很直观地希望能够造出一个left-inverse矩阵B和A相乘，从而求出x，即(x=By)。

如果A是一个非方阵的矩阵，当它的row大于column时，很有可能此时无解；而当row小于column时，可能有多解。

Moore-Penrose Pseudoinverse就是为了解决这个问题的，矩阵A的伪逆定义如下:

[A^+=lim_{α\searrow{0}}(A^TA+αI)^{-1}A^T]。

上面的公式实际很少用，一般都是使用SVD的公式，即

[A^+=VD^+U^T]

U,D,V是上节中提到的矩阵A的奇异分解。(D^+)是矩阵D的伪逆，它是首先将D的非零元素取倒数得到一个矩阵，然后将这个矩阵转置之后就得到了(D^+)。

当矩阵A的row比column少时，使用伪逆可以得到很多解。但是，(x=A^+y)这个解是所有解中有最小Euclidean norm((||x||_2))的。

当矩阵A的row比column多时，可能无解。但是使用伪逆求得的解x ，能使得(Ax)尽可能的接近(y),也就是说能使得(||Ax-y||_2)最小。

8. Trace Operator(迹)

trace运算符是将矩阵对角线上的所有元素求和，即(Tr(A)=\sum_iA_{i,i})