机器学习（5）手推线性回归模型（多变量）

前面我们说到了单变量的情况，今天我们来说说多变量的情况。

在单变量的情况下，我们要求的参数只有2个，在多变量的情况下，我们要求的参数会有多个，单变量可以看成是多变量的特例。

单变量：y = b + wx 多变量：y = θ0 + θ1x1 + θ2x2 + ... + θnxn

我们目前有n个特征，假设有m个样本，那么这m个样本的表达如下：

y(1) = θ0 + θ1x11 + θ2x21 + ... + θnxn1 y(2) = θ0 + θ1x12 + θ2x22 + ... + θnxn2 …… y(j) = θ0 + θ1x1j + θ2x2j + ... + θnxnj …… y(m) = θ0 + θ1x1m + θ2x2m + ... + θnxnm

我们可以取x0? = 1，也就是常数项的x值均为1，这个表达式就可以用矩阵简单表达了：

Y = XΘ

Y是m×1 的矩阵，X是m×n的矩阵，Θ是n×1的矩阵。

一顿推导以后，可以得到Θ的解，这个解的专业名词叫正规方程（normal equation），其中要求XTX必须可逆。

在多变量的情况下，高等数学问题转成了线性代数问题。

详细推导如下：