Tikhonov正则化选取的方法

最小二乘矩阵求解与正则化，最小二乘是最常用的线性参数估计方法，早在高斯的年代，就用开对平面上的点拟合线，对高维空间的点拟合超平面。

作为最小二乘代价函数的改进

j(x)=\frac{1}{2}\left(\|A x-b\|_{2}^{2}+\lambda\|x\|_{2}^{2}\right)

式中\lambda > 0则称为正则化参数 (regularization parameters)

代价函数关于变元 x 的共轭梯度

\frac{\partial j(x)}{\partial x^{H}}=\frac{\partial}{\partial x^{H}}\left((A x-b)^{H}(A x-b)+\lambda x^{H} x\right)=A^{H} A x-A^{H} b+\lambda x

令\frac{\partial J(x)}{\partial x^{H}}=0 得到\check{x}=\left(A^{H} A+\lambda I\right)^{-1} A^{H} b 使得\left(A^{H} A+\lambda I\right)^{-1} 替代协方差矩阵的直接求逆\left(A^{H} A\right)^{-1} 的方法常称为Tikhonov 正则化

在信号处理和图像处理中有时也称为松弛法(relaxation method)

Tikhonov 正则化的本质是通过对非满秩的矩阵A的协方差矩阵(A^{H} A) 的每一个对角元素加入一个很小的扰动\lambda

使得奇异的协方差矩阵(A^{H} A) 求逆变为非奇异矩阵A^{H} A+\lambda I 的求逆，从而大大改善求解非满秩矩阵Ax=b 的数值稳定性 也就是降低cond条件数的大小。

增加的项对其施加一个惩罚，其得到的解比仅优化\sum A A^{H} 更切合实际

如果矩阵A是满秩矩阵，但存在误差或者噪声是，需要采用与上面相反的做法，就是对上面的协方差矩阵(A^{H} A) 加上以恶搞很小的扰动矩阵-\lambda H 去干扰，类似于上面的公式\hat{x}=\left(A^{H} A-\lambda I\right)^{-1} A^{H} b 使分离噪声。

其实这两个公式可以合并，\lambda 本身就带有符号属性，当取得正值的时候是对矩阵的约束，迫使原来的对角协方差元素减少，

取得负值的时候就是分离残差.取0的时候就是普通最小二乘。

参数\lambda 是使得原始目标函数值尽可能小的同时保证\sum A A^{H} 不能太大，在二者取得一个很好的平衡。