学习华校专老师的笔记内容,记录线性模型相关知识。
nolinear model
) 可以在线性模型的基础上通过引入层级结构或者非线性映射得到。该问题也被称作多元线性回归(
multivariate linear regression
)
优化目标是损失函数最小化,即:
比如 N<n \mathbf{X} 的秩小于等于 N, n 中的最小值, 即小于等 于 N (矩阵的秩一定小于等于矩阵的行数和列数);而矩阵 \mathbf{X}^{T} \mathbf{X} 是 n \times n 大小的, 它的秩一定小 于等于 N , 因此不是满秩矩阵。
常见的做法是引入正则化项:
\lambda>0
\lambda>0
1 \geq \rho \geq 0 为比例系数, 调整 L_{1} 正则化与 L_{2} 正则化的比例。
多元线性回归算法:
令.
最终学得模型: