知识总结:模型评估与选择检验误差与过拟合模型的选择错误率精度查全率、查准率、F1 对于二分问题

检验误差与过拟合

1、错误率:分类错误的样本数a占总样本数m的比例  E=a/m

2、精度:1-E=1-(a/m) 误差:学习器预测输出与样本的真实输出之间的差异叫“误差”。

学习出来的学习器在训练集上的误差叫‘“训练误差”。

在新样本上的误差叫“泛化误差”。

过拟合:学习能力过于强大,学习到不是一般特征的特征。

欠拟合:通常由于学习能力过于弱导致。

模型的选择

1、理想方案:

对候选模型的泛化误差进行评估,选择泛化误差最小的模型。

通常泛化误差无法直接获得,而训练误差又存在过拟合现象。

2、评估方法 需要用测试集来测试学习器在新的样本上的预测能力,通过“测试误差” 来近似“泛化误差”

3、交叉验证法

先将数据集D划分为k个大小相似的互斥子集,即D=D1∪D2....

每个子集尽可能保持数据分布的一致性。

每次用k-1个子集的并集作为训练集,余下的那个子集作为测试集;这样

就获得K组训练/测试集,从而可以进行k次训练和测试,最终返回的就是

k个测试结果的均值。显然,交叉验证法评估结果的稳定性和保真性在很大程度上

取决于k的取值,通常交叉验证法又叫“k折交叉验证”。k最常用的取值是10。

4、调参与最终模型 基于验证集上的性能来进行模型选择和调参。

5、性能度量 即模型泛化能力的衡量

错误率

精度

查全率、查准率、F1 对于二分问题

根据真实样本和分类器的预测可以分为: 真正例TP、假正例FP、真反例TN、假反例FN

查准率P=TP/TP+FP

查全率p=TP/TP+FN

本文来源于牛客网

作者:图灵95

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ACM算法日常

第十篇:《机器学习之神经网络(四)》

j 代表下一层中误差单元的下标,是受到权重矩阵中第行影响的下一层中的误差单元的下标。

1182
来自专栏本立2道生

特征,特征不变性,尺度空间与图像金字塔

在计算机视觉领域,特征是为了完成某一特定任务需要的相关信息。比如,人脸检测中,我们需要在图像中提取特征来判断哪些区域是人脸、哪些区域不是人脸,人脸验证中,我们需...

1802
来自专栏PPV课数据科学社区

【计算机视觉必读干货】图像分类、定位、检测,语义分割和实例分割方法梳理

【导读】本文作者来自南京大学计算机系机器学习与数据挖掘所(LAMDA),本文直观系统地梳理了深度学习在计算机视觉领域四大基本任务中的应用,包括图像分类、定位、检...

2988
来自专栏计算机视觉战队

通过部分感知深度卷积网络进行人脸特征点定位

人脸特征点定位是一个非常具有挑战性的研究课题。由于纹理和形状的不同,不同人脸特征点的定位精度差异很大。但大多数现有的方法不能考虑特征点的部分位置。 为了解决这个...

3146
来自专栏SIGAI学习与实践平台

反向传播算法推导-全连接神经网络

反向传播算法是人工神经网络训练时采用的一种通用方法,在现代深度学习中得到了大规模的应用。全连接神经网络(多层感知器模型,MLP),卷积神经网络(CNN),循环神...

1631
来自专栏AI科技评论

零示例学习中的映射域迁移 (projection domain shift) 问题

AI 科技评论按:本文由上海交通大学副教授牛力为 AI 科技评论提供的独家稿件,未经许可不得转载。

1883
来自专栏SnailTyan

YOLO,You Only Look Once论文翻译——中英文对照

You Only Look Once: Unified, Real-Time Object Detection Abstract We present YOLO...

3200
来自专栏人工智能

通过部分感知深度卷积网络进行人脸特征点定位

人脸特征点定位是一个非常具有挑战性的研究课题。由于纹理和形状的不同,不同人脸特征点的定位精度差异很大。但大多数现有的方法不能考虑特征点的部分位置。 为了解决这个...

21410
来自专栏机器学习从入门到成神

机器学习之深入理解SVM

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/sinat_35512245/articl...

1312
来自专栏向治洪

实战卷积神经网络

在近些年,深度学习领域的卷积神经网络(CNNs或ConvNets)在各行各业为我们解决了大量的实际问题。但是对于大多数人来说,CNN仿佛戴上了神秘的面纱。 CN...

2356

扫码关注云+社区

领取腾讯云代金券