第二~三天-评估指标

混淆矩阵

准确率

Accuracy = (TP+TN)/(TP+TN+FP+FN)

精度

精度可以帮助回答在所有预测为P的点中，有多少是是真正的P。 Precision = TP/(TP+FP)

Precision = 6/8 = 0.75

召回率

Recall = TP/(TP + FN) =

F1得分

F1 Score = 2* Precision*Recall/(precision + Recall )

F-β得分

β越小，F值越接近精度。 在下面的三个模型中，哪个的 F-β 得分应该是 of 2、1 和 0.5？将每个模型与相应的得分连到一起。

• 检测宇宙飞船的故障零件
• 向手机中发送关于用户可能喜欢的视频的通知
• 向潜在客户寄送免费样品
• 对于宇宙飞船，我们不允许出现任何故障零件，可以检查本身能正常运转的零件。因此，这是一个高召回率模型，因此 β = 2。
• 对于通知模型，因为是免费发送给客户，如果向更多的用户发送邮件也无害。但是也不能太过了，因为可能会惹怒用户。我们还希望找到尽可能多感兴趣的用户。因此，这个模型应该具有合适的精度和合适的召回率。β = 1 应该可行。
• 对于免费样品模型，因为寄送样品需要成本，我们不希望向不感兴趣的用户寄送样品。因此是个高精度模型。β = 0.5 应该可行。

ROC曲线

回归指标

1. 平均绝对误差

平均绝对误差有一个问题，即绝对值函数是不可微分的，这不利于使用诸如梯度下降等方法，解决这个问题，使用均方误差 2.均方误差

3.R2 Score