机器学习基础，回归模型评估指标

来源 | CrossHands

作者 | AhongPlus

回归模型中常用的评估指标可以分如下几类：

1. MAE系列，即由Mean Absolute Error衍生得到的指标；

2. MSE系列，即由Mean Squared Error衍生得到的指标；

3. R²系列；

注：在英语中，error和deviation的含义是一样的，所以Mean Absolute Error也可以叫做Mean Absolute Deviation(MAD)，其他指标同理可得；

1

MAE系列

MAE 全称 Mean Absolute Error (平均绝对误差)。

更多参考：https://en.wikipedia.org/wiki/Mean_absolute_error

设N为样本数量，为实际值，为预测值，那么 MAE 的定义如下

由 MAE 衍生可以得到：

Mean Absolute Pencentage Error (MAPE，平均绝对百分比误差)，相当于加权版的 MAE。

MAPE 可以看做是 MAE 和 MPE (Mean Percentage Error) 综合而成的指标。

从 MAPE 公式中可以看出有个明显的 bug——当实际值为 0 时就会得到无穷大值(实际值的绝对值

Sungil Kima & Heeyoung Kim(2016) 提出 MAAPE(mean arctangent absolute percentage error) 方法，在保持 MAPE 的算法思想下克服了上面那个 bug

更多参考 A new metric of absolute percentage error for intermittent demand forecasts,Sungil Kima & Heeyoung Kim, 2016。

考虑Absolute Error可能存在 Outlier 的情况，此时 Median Abosulte Error (MedAE, 中位数绝对误差)可能是更好的选择。

2

MSE系列

MSE全称Mean Squared Error(均方误差)，也可以称为Mean Squared Deviation (MSD).

更多参考：https://en.wikipedia.org/wiki/Mean_squared_error

由MSE可以衍生得到均方根误差(Root Mean Square Error, RMSE, 或者RMSD)

更多参考：https://en.wikipedia.org/wiki/Root-mean-square_deviation

RMSE可以进行归一化(除以全距或者均值)从而得到归一化的均方根误差(Normalized Root Mean Square Error, NRMSE).

RMSE还有其他变式：

1. RMSLE(Root Mean Square Logarithmic Error)

2. RMSPE(Root Mean Square Percentage Error)

对于数值序列出现长尾分布的情况，可以选择MSLE(Mean squared logarithmic error，均方对数误差)，对原有数据取对数后再进行比较(公式中+1是为了避免数值为0时出现无穷值)。

3

R²系列

R²(R squared, Coefficient of determination)，中文翻译为“决定系数”或者“拟合优度”，反映的是预测值对实际值的解释程度。

注意：R²和相关系数的平方不是一回事(只在简单线性回归条件下成立)。

其中，总平方和() = 回归平方和()+残差平方和()。

.

回归模型中，增加额外的变量会提升R²，但这种提升可能是虚假的，因此提出矫正的R²(Adjusted R²，符号表示为或)来对模型中的变量个数进行“惩罚”()。

公式中P表示回归模型中变量(特征)的个数。

和R²计算方式很相近的另一个指标是Explained Variance Score.

设，则有