前面我们说到了单变量的情况,今天我们来说说多变量的情况。
在单变量的情况下,我们要求的参数只有2个,在多变量的情况下,我们要求的参数会有多个,单变量可以看成是多变量的特例。
单变量:y = b + wx 多变量:y = θ0 + θ1x1 + θ2x2 + ... + θnxn
我们目前有n个特征,假设有m个样本,那么这m个样本的表达如下:
y(1) = θ0 + θ1x11 + θ2x21 + ... + θnxn1 y(2) = θ0 + θ1x12 + θ2x22 + ... + θnxn2 …… y(j) = θ0 + θ1x1j + θ2x2j + ... + θnxnj …… y(m) = θ0 + θ1x1m + θ2x2m + ... + θnxnm
我们可以取x0? = 1,也就是常数项的x值均为1,这个表达式就可以用矩阵简单表达了:
Y = XΘ
Y是m×1 的矩阵,X是m×n的矩阵,Θ是n×1的矩阵。
一顿推导以后,可以得到Θ的解,这个解的专业名词叫正规方程(normal equation),其中要求XTX必须可逆。
在多变量的情况下,高等数学问题转成了线性代数问题。
详细推导如下: