机器学习数学之线性代数

机器学习数学之线性代数

1 关于范德蒙德行列式应用

范德蒙德行列式可用于插值法（指对N个数据，得出一个N-1阶的式子。），当阶数小于N-1时，为拟合方法，当 阶数为1时，则为回归。

2 对称阵的重要性

协方差矩阵、二次型矩阵等都是对称阵，m×n的A矩阵也可以通过

来得到对称阵，此时A的特征向量等于C的特征向量，A的特征值矩阵为C的 特征值矩阵的平方根。

3 关于特征值的理解

对于特征值和特征向量可以理解为：特征值是拉伸的大小，特征向量是拉伸的方向。

在i, j组成的基向量坐标系中对于A矩阵可以在不改变v的方向前提下使v在长度上改变，即Av =λv,从而形成了特征值、特征向量的定义式。对于特征值分解，对于矩阵A可以对角化的话，可以通过相似矩阵进行下面这样的特征值分解其中为对角阵且是A的特征值矩阵，P的列向量是单位化的特征向量。

4 关于协方差的介绍协方差矩阵对角线上就是各个特征的方差，求其特征值矩阵（值从大到小排列），那么取前K个特征值对应的特征就是方差较大的特征。对于协方差的重要性，我们知道对于对称方阵可以直接求解其特征值矩阵，但是对于非对阵矩阵呢？比如当R为m×n非对称矩阵时，R已经为初始特征矩阵减掉均值归一化，R的奇异值矩阵为A，令则C为R的协方差矩阵， C的特征值矩阵为D，D矩阵的各个元素开根号为R的奇异值，各个奇异值形成奇异值矩阵A（在对称矩阵中叫特征值），（关于这个定理大家可以尝试通过特征值定义式证明）。

5 SVD奇异值分解奇异值分解是一种重要的矩阵分解方法，可以看做对称方阵在任意矩阵上的推广。

基于上面的概念介绍后，将奇异值矩阵从大到小排序，选择原来的矩阵中前K个奇异值， 实现用K个奇异值解释原来矩阵的所有特征，再左右分别乘上原特征向量，就得到新的矩 阵，该新矩阵可以解释大部分原矩阵的信息。关于SVD的应用：图片压缩，具体参见《机器学习实战》。

PS: 关于排版很抱歉，微信公众号不支持公式，只能截图了，吐血ing......