正规方程推导详解

当我们在求解梯度下降算法的时候，经常会用到正规方程来求解w的值，这个时候就用到正规方程来求解是最快的方法，但是正规方程又是怎么来的呢？我们来看看：首先我们设我们的损失函数为 MSE train，那么这个时候我们只需要对其求解偏导就好了，于是我们有∇ w MSE train = 0 。具体推导过程如下如图所示，这里只做字母的解说，括号里的(train)代表的是训练集：

\begin{array}{l} \nabla_{w} \mathrm{MSE}_{\text {train }}=0\\ \Rightarrow \nabla_{w} \frac{1}{m}\left\|\hat{\boldsymbol{y}}^{\text {(train) }}-\boldsymbol{y}^{(\text {train })}\right\|_{2}^{2}=0\\ \Rightarrow \frac{1}{m} \nabla_{w}\left\|\boldsymbol{X}^{(\text {train })} \boldsymbol{w}-\boldsymbol{y}^{(\text {train })}\right\|_{2}^{2}=0\\ \Rightarrow \nabla_{w}\left(\boldsymbol{X}^{(\text {train })} \boldsymbol{w}-\boldsymbol{y}^{(\text {train })}\right)^{\top}\left(\boldsymbol{X}^{(\text {train })} \boldsymbol{w}-\boldsymbol{y}^{(\text {train })}\right)=0\\ \Rightarrow \nabla_{w}\left(\boldsymbol{w}^{\top} \boldsymbol{X}^{(\text {train }) \top} \boldsymbol{X}^{(\text {train })} \boldsymbol{w}-2 \boldsymbol{w}^{\top} \boldsymbol{X}^{\text {(train) } \top} \boldsymbol{y}^{(\text {train })}+\boldsymbol{y}^{(\text {train }) \top} \boldsymbol{y}^{\text {(train })}\right)=0\\ \Rightarrow 2 \boldsymbol{X}^{(\text {train }) \top} \boldsymbol{X}^{(\text {train })} \boldsymbol{w}-2 \boldsymbol{X}^{(\text {train }) \top} \boldsymbol{y}^{(\text {train })}=0 \end{array}

我们可以看到第一步我们首先把 MSE train替换成我们的损失函数：并利用范数来表示这是在二维空间当中求解训练集和真实值之间的绝对值（下标为2表示的是二维空间，求解的是欧式距离）。第二步把我们预测出来的y hat替换成我们的x和w权重相加得到的值。第三步由于我们用到了两个矩阵的相乘，因此将其转置，转置之后两个矩阵才可以进行相乘，或者说相乘更加方便一些。后面就是一些化简的步骤了，也没有什么难度。最后就可以得到我们正规方程的解啦！！