线性回归 - MAP

本文记录岭回归角度进行线性回归的方法。

问题描述

考虑一个线性模型 {y}=f({\bf{x}}) 其中y是模型的输出值，是标量，\bf{x}为d维实数空间的向量

• 线性模型可以表示为:

• 线性回归的任务是利用n个训练样本：

• 和样本对应的标签：

• 来预测线性模型中的参数 \bf{\omega}，使得模型尽可能准确输出预测值

线性回归 / MAP

岭回归就是带有L_2正则的线性回归，也可以从最大后验概率的角度推出

• 根据贝叶斯公式

• 其中 P(Y \mid X, w) 和 P(w) 分别是似然和先验, 并且 y \mid x, w \sim \mathcal{N}\left(w^{T} x, \sigma^{2}\right) ， w \sim \mathcal{N}(0, \Sigma)
• 接着，其中第一项：

• 第二项：

• 然后对 P(Y \mid X, w) P(w) 取对数, 得到：

• 同样的套路, 针对对数函数求解最优参数

• 将上式看作损失函数

• 然后对其求导

• 得到:

• 令 \sigma^{2} \Sigma^{-1}=\lambda 就得到了岭回归的结果

参考资料

• https://zhuanlan.zhihu.com/p/86009986