分类模型的评估指标 | 混淆矩阵（1）

写在前面的话

最近小编分享的都是较为基础的操作方法或理论知识，且都总结在这个专辑中，目的是帮助初学GIS和RS的小伙伴们加深对一些专业名词知识的理解，熟悉一些基础操作的操作流程。而不是像小编大一时，面对这些专业性极强的东西两眼一抹黑，学习的很吃力；此外，基础是延伸和扩展的前提，基础的东西如果掌握的不牢靠，那么在前沿事物的钻研过程中也不会取得更大的建树。因此，小编分享这些基础知识，既是对初学者的帮助，也是对自己的巩固与总结。

最近几期，小编会给大家分享一个有意思，且实用的东西——分类模型的评估指标。

分类模型的评估指标有很多，今天小编给大家准备的是混淆矩阵。

简介

首先我们来解释一下什么是分类模型的评估指标。

分类模型，也可称为分类器，即一个可以经过训练，实现将数据集合中的所有元素分配给一个现有类别的模型。

评估指标，即评估分类模型所能实现的分类结果质量高低的指标。其有两种表现形式：定量指标和图表指标；定量指标即以具体数值来表示分类质量；图表指标即以图表的形式来表示分类质量，以达到增强可视化评估的效果。

我们今天介绍的混淆矩阵就是一个图表形式的指标。

基础知识

01

样本一级指标

一级指标分为以上四类：

TP：模型预测值为正，真实情况亦为正的样本数量；

FP：模型预测值为正，但真实情况为负的样本数量，亦称误报，是统计学中的第一类错误；

FN：模型预测值为负，但真实情况为正的样本数量，亦称漏报，是统计学中的第二类错误；

TN：模型预测值为负，真实情况亦为负的样本数量。

由以上内容可以获得结论：对于一款分类模型，TP值与TN值的数量越多，FP值与FN值的数量越少，模型的分类精度就越高。

02

样本二级指标

混淆矩阵统计的是样本在各个一级指标的数量。但是当样本数量过于庞大时，我们就很难再通过一级指标的数目进行明显的分析了，这时我们就引入了基于一级指标计算得来的二级指标：

准确率（Accuracy）：在整个模型中，所有判断正确的结果占总样本数量的比重，即：(TP+TN)/(TP+FP+FN+TN)

精确率（Precision）：在模型预测为正的结果中，模型预测对的数量所占的比重，即：TP/(TP+FP)

灵敏度（Sensitivity）【召回率（Recall）】：在所有真实值是正的结果中，模型预测对的数量所占比重，即：TP/(TP+FN)

特异度（Specificity）：在所有真实值是负的结果中，模型预测对的数量所占比重，即：TN/(FP+TN)

由以上内容可知，我们可以通过二级指标，将单纯的数目结果归纳为几个百分比比率，这样就更加便于比较。

03

样本三级指标

在二级指标的基础上，利用精确率和灵敏度（召回率）可得到第三个指标——F1 Score。

F1 Score=2PR/(P+R)，取值范围为（0，1），越接近1代表模型的精度越高。

04

小栗子

之前我们解释概念时是以两个类别展示的，下面我们以三个类别进行进一步深入的理解。

以A类为例：

1

---一级指标

TP值，即预测为A，真实就是A的样本数量，为20；

FP值，即预测为A，真实却不是A 的样本数量，即10+10=20；

FN值，即预测不是A，但实际情况就是A的样本数量，即5+2=7；

TN值，即预测不是A，实际情况也不是A的样本数量，即10+15+10+18=53。

2

---二级指标

准确率：(TP+TN)/(TP+TN+FP+FN)=(20+53)/(20+20+7+53)=73%

精确率：TP/(TP+FP)=20/(20+20)=50%

灵敏度（召回率）：TP/(TP+FN)=20/(20+7)≈74%

特异度：TN/(TN+FP)=53/(53+20)≈73%

3

---三级指标

F1 Score=2PR/(P+R)=(2*0.5*0.74)/(0.5+0.74) ≈0.6

以上就是在机器学习领域中的混淆矩阵及它所引申出的几个评估指标。下一期我们会将其具体到遥感影像的分类中，其评估指标又会有所不同。