模型评估

最近更新时间:2019-08-22 20:33:38

智能钛机器学习平台内置多种模型评估可视化组件,您可快速辨别模型的质量,并对该模型进行优化。您只需拖拽组件即可轻松使用本服务。
本文使用混淆矩阵(BinaryEvaluator)进行模型评估,在预测运行完成后,单击【评估节点】即可查看模型评估的可视化结果,效果直接悬浮呈现,模型优劣,一眼立断。

Binary Evaluator

算法说明

Binary Evaluator 用于评估二分类算法的预测结果。预测的结果必须是0 - 1的概率值,评估结果包括混淆矩阵和 ROC/PR AUC 等指标。

真实情况 预测结果
正例 反例
正例 TP(真正例) FN(假反例)
反例 FP(假正例) TN(真反例)
  • P(precision)= TP / (TP + FP)
  • R(recall)= TP / (TP + FN)

下图所展示的是 ROC 曲线与 AUC:
https://main.qcloudimg.com/raw/0eba6391769b6b5248f7cd8573a1c27f.png

  • 对角线对应于“随机猜测”的模型。
  • 点(0,1)对应于将所有正例排在所有反例之前的“理想模型”。
  • AUC 对应于 ROC 曲线下的面积,AUC 越大,则模型效果越好。

输入

  • 数据形式:Dense
  • 格式:| label | score |
  • label:样本真实的 label,通过参数中的标签列指定。
  • score:预测值,模型预测的0 - 1.0之间的概率值所在的列,通过参数中的预测列指定。

参数

  • 标签列(labelCol):标签所在列,从0开始计数。
  • 预测列(scoreCol):预测值所在列,从0开始计数。
  • 预测阈值
    • 范围:0 - 1的值,预测值大于该阈值,则预测为1;否则为0。
    • 说明:在真实的 CTR 预估中,预测的概率值都比较小,因此要视真实情况设定该参数。

输出

  • True class 和 Hypothesized class 的混淆矩阵。
  • ROC/PR AUC 值。

Multi Evaluator

算法说明

Multi Evaluator 用于评估多分类算法的预测结果。样本的预测结果是模型预测的类别;模块将会统计类别真实类列和预测类别的混淆矩阵和各个类别的 f1、precision、recall。

输入

  • 数据形式:Dense
  • 格式:| label | predict |
  • label:样本真实的 label,保存的是样本真实的类别,通过参数中的标签列指定。
  • score:预测值,保存的是模型预测的类别,通过参数中的预测列指定。

参数

  • 标签列(labelCol):标签所在列,从0开始计数。
  • 预测列(predictCol):预测的类别所在列,从0开始计数。

输出

  • True class 和 Hypothesized class 的混淆矩阵。
  • 不同类别的 f1、precision、recall。

Regression Evaluator

算法说明

Regression Evaluator 用于评估回归算法的预测结果。输入的是真实的值和模型预测值;模型将计算 MAE、MSE、rMAE、R2 等指标。

输入

  • 数据形式:Dense
  • 格式:| label | predict |
  • 说明:以空格连接各字段。
  • label:样本真实的label,通过参数中的标签列指定。
  • predict:预测值,通过参数中的预测列指定。

参数

  • 标签列(labelCol): 标签所在列,从0开始计数。
  • 预测列(scoreCol):预测值所在列,从0开始计数。

输出

MAE、MSE、rMAE、R2 等指标。