前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >机器学习性能度量

机器学习性能度量

作者头像
吕海峰
发布于 2018-04-03 07:43:53
发布于 2018-04-03 07:43:53
6180
举报
文章被收录于专栏:BrianBrian

概述

我们在进行机器学习时需要衡量机器学习的优劣和本身模型的准确程度,比如简单的衡量数据的准确率和错误率,但是我们更关心的是模型的泛化能力的指标,即基于模型的所选的item相关性以及模型分类指标的好坏。

机器学习度量

  • error rate(错误率):把分类错误的样本数占样本总数的比例。E=a/m
  • accuracy(精确度):分类正确的样本数占样本总数的比例。acc=1-E
  • training error(训练误差):学习器在训练集上的误差。
  • generalization error(泛华误差):在新样本上的误差。

在机器学习中由很多机器学习算法,那么如何选择这些算法和模型,如何评估这些算法和模型。我们先来看一下评估方法。

评估方法 …博客更新中…

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2017-08-30,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
机器学习(六)构建机器学习模型
整个过程包括了数据预处理、模型学习、模型验证及模型预测。其中数据预处理包含了对数据的基本处理,包括特征抽取及缩放、特征选择、特征降维和特征抽样;我们将带有类标的原始数据划按照82原则分为训练数据集和测试集。使用训练数据集用于模型学习算法中学习出适合数据集的模型,再用测试数据集用于验证最终得到的模型,将模型得到的类标签和原始数据的类标签进行对比,得到分类的错误率或正确率。
Maynor
2023/11/01
5990
机器学习(六)构建机器学习模型
《机器学习》-- 第二章:模型评估与选择
(1) 误差:学习器的实际预测输出与样本的真实输出之间的差异;其中学习器在训练集上的误差称为”训练误差“(training error),在新样本上的误差称为”泛化误差“(generalization error)。值得一提的是,学习器就是在训练集上训练出来的,但实际上在回到训练集上对样本预测结果时,仍有误差。(即结果值与标记值不同)
fireWang
2019/07/31
9570
机器学习之模型评分
错误率和精度是分类任务中最常用的两种性能度量,既适用于二分类任务,也适用于多分类任务。错误率是分类错误的样本数占样本总数的比例,精度则是分类正确的样本数占样本总数的比例。
py3study
2020/01/16
1.2K0
机器学习之模型评分
图解 72 个机器学习基础知识点
来源:尤而小屋 R语言统计与绘图本文约5500字,建议阅读11分钟本文梳理了机器学习最常见的知识要点。 图解机器学习算法系列 以图解的生动方式,阐述机器学习核心知识 & 重要模型,并通过代码讲通应用细节。 1. 机器学习概述 1)什么是机器学习 人工智能(Artificial intelligence)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。它是一个笼统而宽泛的概念,人工智能的最终目标是使计算机能够模拟人的思维方式和行为。 大概在上世纪50年代,人工智能开始
数据派THU
2023/03/29
7500
图解 72 个机器学习基础知识点
机器学习-07-分类回归和聚类算法评估函数
本系列是机器学习课程的系列课程,主要介绍机器学习中分类回归和聚类算法中的评价函数。
用户2225445
2024/04/10
2690
机器学习-07-分类回归和聚类算法评估函数
《机器学习》学习笔记(二)——模型评估与选择
错误率(error rate):分类错误的样本占样本总数的比例 精度(accuracy):1 - 错误率误差(error):学习器的实际预测输出与样本的真实输出之间的差异 错误率和精度相反 (错误率+精度=1) 训练误差(training error)(即经验误差(empirical error)):学习器在训练集上的误差 泛化误差(generalization error):在新样本(即测试样本)上的误差
荣仔_最靓的仔
2021/02/02
2.1K0
《机器学习》学习笔记(二)——模型评估与选择
图解机器学习 | 机器学习基础知识
教程地址:http://www.showmeai.tech/tutorials/34
ShowMeAI
2022/03/09
7670
图解机器学习 | 机器学习基础知识
图解机器学习 | 模型评估方法与准则
教程地址:http://www.showmeai.tech/tutorials/34
ShowMeAI
2022/03/10
1.6K0
图解机器学习 | 模型评估方法与准则
简单聊聊模型的性能评估标准
在机器学习领域中,对模型的评估非常重要,只有选择和问题相匹配的评估方法,才能快速发现算法模型或者训练过程的问题,迭代地对模型进行优化。
kbsc13
2019/08/16
1.2K0
什么是算法评价指标
在我们建立一个学习算法时,或者说训练一个模型时,我们总是希望最大化某一个给定的评价指标(比如说准确度Acc),但算法在学习过程中又会尝试优化某一个损失函数(比如说均方差MSE或者交叉熵Cross-entropy)。
zhangjiqun
2024/12/14
1610
什么是算法评价指标
周志华《机器学习》第2章部分笔记
①误差(error):学习器的预测输出与样本的真实输出之间的差异 ②训练误差(training error)或经验误差(empirical error):在训练集上的误差 ③测试误差(test error):在测试集上的误差 ④泛化误差(generalization error):学习器在所有新样本上的误差 ⑤过拟合(overfitting):学习能力过于强大,把训练样本自身的一些特点当成所有潜在样本都会有的一般性质,导致泛化能力下降 ⑥欠拟合(underfitting):学习能力太差,对训练样本的一般性质尚未学好 在过拟合问题中,训练误差很小,但测试误差很大;在欠拟合问题中,训练误差和测试误差都比较大。目前,欠拟合问题容易克服,如在决策树中扩展分支,在神经网络中增加训练轮数;但过拟合问题是机器学习面临的关键障碍。 ⑦模型选择:在理想状态下,选择泛化误差最小的学习器。
Natalia_ljq
2020/06/03
7980
周志华《机器学习》第2章部分笔记
深度学习500问——Chapter02:机器学习基础(3)
2. 投影思想:找出最能够代表原始数据的投影方法。被PCA降掉的那些维度只能是那些噪声或是冗余的数据。
JOYCE_Leo16
2024/03/19
1470
深度学习500问——Chapter02:机器学习基础(3)
【吴恩达】机器学习模型评估
在机器学习中,模型评估是指对训练好的模型进行性能评估的过程。评估模型的性能是为了确定模型在解决特定问题或任务上的效果如何。是机器学习流程中至关重要的一步,它可以帮助我们了解模型的优劣,并做出进一步的改进或决策。
统计学家
2024/03/26
1960
【吴恩达】机器学习模型评估
一文读懂机器学习分类模型评价指标
解决一个机器学习问题都是从问题建模开始,首先需要收集问题的资料,深入理解问题,然后将问题抽象成机器可预测的问题。在这个过程中要明确业务指标和模型预测目标,根据预测目标选择适当指标用于模型评估。接着从原始数据中选择最相关的样本子集用于模型训练,并对样本子集划分训练集和测试集,应用交叉验证的方法对模型进行选择和评估。
统计学家
2019/07/17
2.6K0
一文读懂机器学习分类模型评价指标
机器学习模型评估指标
实际应用中,评估指标依具体问题灵活使用,在选择模型和调整参数过程中选择正确的指标十分重要。模型评估目标应以业务目标为导向,选择最合适的评估指标。
aiplus
2021/11/04
2.4K0
【机器学习】一、机器学习概述与模型的评估、选择
阿瑟.萨缪尔Arthur Samuel,1952年研制了一个具有自学习能力的西洋跳棋程序,1956年应约翰.麦卡锡John McCarthy(人工智能之父)之邀,在标志着人工智能学科诞生的达特茅斯会议上介绍这项工作。他发明了“机器学习”这个词,将其定义为“不显示编程地赋予计算机能力的研究领域”。
Twcat_tree
2023/10/31
3580
【机器学习】一、机器学习概述与模型的评估、选择
机器学习模型性能的10个指标
尽管大模型非常强大, 但是解决实践的问题也可以不全部依赖于大模型。一个不太确切的类比,解释现实中的物理现象,未必要用到量子力学。有些相对简单的问题,或许一个统计分布就足够了。对机器学习而言, 也不用言必深度学习与神经网络,关键在于明确问题的边界。
半吊子全栈工匠
2023/12/28
3.8K0
机器学习模型性能的10个指标
第十二章 机器学习系统设计
该系列文章为,观看“吴恩达机器学习”系列视频的学习笔记。虽然每个视频都很简单,但不得不说每一句都非常的简洁扼要,浅显易懂。非常适合我这样的小白入门。 本章含盖 12.1 确定执行的优先级 12.2
tomas家的小拨浪鼓
2019/03/15
5650
大数据技术之_19_Spark学习_08_Spark 机器学习_01_机器学习概述 + 机器学习的相关概念 + 算法常用指标
  一组数据的集合被称作数据集,用于模型训练的数据集叫训练集,用于测试的数据集叫测试集。一个数据集包含多条数据,一条数据包含多个属性。
黑泽君
2019/05/14
5470
大数据技术之_19_Spark学习_08_Spark 机器学习_01_机器学习概述 + 机器学习的相关概念 + 算法常用指标
第一章(1.3)机器学习概念图谱
机器学习(machine learning)是最近非常火的一个领域,关于其一些基本定义百度百科、维基百科或者网上随便都可以找到很多资料,所以这里不做过多解释。
两只橙
2019/01/23
4190
第一章(1.3)机器学习概念图谱
相关推荐
机器学习(六)构建机器学习模型
更多 >
领券
社区富文本编辑器全新改版!诚邀体验~
全新交互,全新视觉,新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能,全面提升创作效率和体验
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文