专栏首页AI人工智能回归模型评估指标(机器学习基础)

回归模型评估指标(机器学习基础)

回归模型中常用的评估指标可以分如下几类:

1. MAE系列,即由Mean Absolute Error衍生得到的指标;

2. MSE系列,即由Mean Squared Error衍生得到的指标;

3. R²系列;

注:在英语中,error和deviation的含义是一样的,所以Mean Absolute Error也可以叫做Mean Absolute Deviation(MAD),其他指标同理可得;

0 1

MAE系列

MAE 全称 Mean Absolute Error (平均绝对误差)。

设N为样本数量,

为实际值,

为预测值,那么 MAE 的定义如下

由 MAE 衍生可以得到:

Mean Absolute Pencentage Error (MAPE,平均绝对百分比误差),相当于加权版的 MAE。

MAPE 可以看做是 MAE 和 MPE (Mean Percentage Error) 综合而成的指标

从 MAPE 公式中可以看出有个明显的 bug——当实际值

为 0 时就会得到无穷大值(实际值

的绝对值<1也会过度放大误差)。为了避免这个 bug,MAPE一般用于实际值不会为 0 的情形。

Sungil Kima & Heeyoung Kim(2016) 提出 MAAPE(mean arctangent absolute percentage error) 方法,在保持 MAPE 的算法思想下克服了上面那个 bug

考虑Absolute Error

可能存在 Outlier 的情况,此时 Median Abosulte Error (MedAE, 中位数绝对误差)可能是更好的选择。

0 2

MSE系列

MSE全称Mean Squared Error(均方误差),也可以称为Mean Squared Deviation (MSD).

由MSE可以衍生得到均方根误差(Root Mean Square Error, RMSE, 或者RMSD)

RMSE可以进行归一化(除以全距或者均值)从而得到归一化的均方根误差(Normalized Root Mean Square Error, NRMSE).

RMSE还有其他变式:

1. RMSLE(Root Mean Square Logarithmic Error)

2. RMSPE(Root Mean Square Percentage Error)

对于数值序列出现长尾分布的情况,可以选择MSLE(Mean squared logarithmic error,均方对数误差),对原有数据取对数后再进行比较(公式中+1是为了避免数值为0时出现无穷值)。

0 3

R²系列

R²(R squared, Coefficient of determination),中文翻译为“决定系数”或者“拟合优度”,反映的是预测值对实际值的解释程度。

注意:R²和相关系数的平方不是一回事(只在简单线性回归条件下成立)。

其中

,总平方和(

) = 回归平方和(

)+残差平方和(

)。

.

回归模型中,增加额外的变量会提升R²,但这种提升可能是虚假的,因此提出矫正的R²(Adjusted R²,符号表示为

)来对模型中的变量个数进行“惩罚”(

)。

公式中P表示回归模型中变量(特征)的个数。

和R²计算方式很相近的另一个指标是Explained Variance Score.

,则有

综上,在选用评价指标时,需要考虑

1. 数据中是否有0 ,如果有0值就不能用MPE、MAPE之类的指标;

2. 数据的分布如何 ,如果是长尾分布可以选择带对数变换的指标,中位数指标比平均数指标更好;

3. 是否存在极端值 ,诸如MAE、MSE、RMSE之类容易受到极端值影响的指标就不要选用;

4. 得到的指标是否依赖于量纲 (即绝对度量,而不是相对度量),如果指标依赖量纲那么不同模型之间可能因为量纲不同而无法比较;

原文链接:https://www.shangyexinzhi.com/article/details/id-167251/

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Python进阶学习笔记【干货分享】(二)

    print(id(a))a = 4print(id(a))# 重新赋值之后,内存地址发生改变

    商业新知
  • 收藏!!无监督机器学习中,最常见的聚类算法有哪些?

    但是,大多数情况下,在处理实际问题时,数据不会带有预定义标签,因此我们需要开发能够对这些数据进行正确分类的机器学习模型,通过发现这些特征中的一些共性,来预测新数...

    商业新知
  • 2019一季度深度学习论文TOP10分享

    过去的100多天里,在深度学习领域,每天都有大量的新论文产生。所以深度学习研究在2019年开了怎样一个头呢?

    商业新知
  • React技巧5(TodoList实现)

    本教程总共5篇,每日更新一篇,请关注我们!你可以进入历史消息查看以往文章,也敬请期待我们的新文章! 1.React 技巧1(状态组件与无状态组件的使用) --...

    前端人人
  • 深度 | 继美国之后,加拿大如何成为下一个人工智能金矿?

    位于加拿大多伦多的Mars Discovery District是世界上最大的创新中心之一。但多年以来,由于美国硅谷的吸引,流失了大量人工智能领域的科学家和初创...

    AI科技评论
  • 详解AI公司三大类别,哪种商业模式将成为最后赢家?

    大数据文摘
  • 用Python学分析 - 正态分布

    表头的横向表示小数点后第二位,表头的纵向则为整数部分以及小数点后第一位;两者联合作为完整的x,坐标轴的横轴

    py3study
  • 架构设计考古:Bob大叔的整洁之道

    The Clean Coder、Clean Code等名著作者Bob大叔,从1970年起编程至今。他是cleancoders.com和UncleBob Cons...

    用户1682855
  • Linux桌面的4种扫描工具

    当无纸化的世界还没有出现的时候,越来越多的人通过扫描文件和照片来摆脱纸张。不过,光有扫描仪是不够的。你需要软件来驱动扫描仪。

    砸漏
  • 【分享】MPSoC SWDT在Standalone下的应用

    Hank Fu (付汉杰) Staff FAE embedded, Xilinx, Inc. hankf@xilinx.com

    hankfu

扫码关注云+社区

领取腾讯云代金券