掀开线性模型的头盖骨

年二九了，到处都在刷武汉肺炎。今天聊模型，聊线性模型的两个最重要组成部件，均方误差和最小二乘法。

先随手记一下，在我看来，机器学习模型甭管多复杂，用大白话说基本都是三件套：预测函数、损失函数还有优化方法，紧紧捏住这三样，连一半披着科幻色彩的深度学习模型都能很快搞清楚。

预测函数是核心，没有预测函数就没有模型。损失函数和优化方法则是相互依存的传动齿轮，损失函数指方向，优化方法照着调权重，模型的预测值就不断逼近真实值，完成对数据的拟合。

就拿线性模型说吧，她的预测函数长成这样：

看着特别简单，也确实特别简单，就是最标准的线性方程，所以管她叫线性模型。式子看着挺长，因为这是预测函数展开的形式，如果用向量表示，那就简单多了，就俩字母：Xw。

注意，这里的X和w都是向量。

损失函数呢，就更简单一点。回归问题的损失函数可选的真不多，主要就两款，MSE和MAE。一般MSE用得多一点。

MSE，就是这里要聊的均方误差（Mean Squared Error，MSE），名字很厉害，又有英文简写，可其实就是差的平方再求和，简单得不配有式子。关键是要知道，MSE的作用

机器学习模型的损失函数就是用各种尺子度量预测值与真实值的偏差 ，作用一言以蔽之，就是给优化方法指方向。

那直接上目标函数：

目标函数把预测函数，损失函数，优化方法的目标这三样东西全都包了，L2范式就是MSE，前面打头的min就是为优化方法指方向，意思是说咱这里优化的目标，是通过调节w把MSE降到最低。

这么长的一段话，概括起来三个字：

求极值。

现在轮到优化方法登场了。优化方法存在的意义，就是花式求极值。

机器学习里求极值有两种选择，最原生态的线性模型采用最小二乘法求闭式解，也就是这里模型的权重w的值为：

多说一句，如果机器学习模型比作是一个细胞，那么预测函数、损失函数和优化方法就像是三个重要的细胞器，虽然模型最重要的是预测，也就是预测函数的准确输出，但在训练阶段，必须由这三样彼此依靠构成完整链条，以期一朝学成天下皆惊。

下回再聊。