交叉验证并获得每个类别标签的精确度、召回率、F分数
交叉验证是一种常用的机器学习模型评估方法，用于评估模型的性能和泛化能力。它通过将数据集划分为训练集和测试集，并多次重复这个过程来进行评估。
在交叉验证过程中，数据集首先被分成K个大小相等的子集，其中K-1个子集被用作训练集，剩下的1个子集被用作测试集。然后，使用训练集训练模型，并在测试集上进行预测。这个过程会重复K次，每次都使用不同的子集作为测试集。最后，将每次测试的结果进行平均，得到模型的评估指标。
精确度（Precision）是指模型预测为正例的样本中，真正为正例的比例。召回率（Recall）是指真正为正例的样本中，被模型预测为正例的比例。F分数（F-score）是精确度和召回率的加权调和平均，用于综合评估模型的性能。
交叉验证可以帮助我们更准确地评估模型的性能，避免过拟合或欠拟合的问题。它可以用于各种机器学习任务，如分类、回归等。
腾讯云提供了多个与机器学习和数据分析相关的产品，可以用于支持交叉验证和模型评估的工作。以下是一些推荐的腾讯云产品和产品介绍链接地址：
- 云服务器（Elastic Compute Cloud，简称CVM）：提供可扩展的计算能力，用于训练和部署机器学习模型。详情请参考：https://cloud.tencent.com/product/cvm
- 人工智能引擎（AI Engine）：提供了丰富的人工智能算法和模型，可用于构建和评估机器学习模型。详情请参考：https://cloud.tencent.com/product/aiengine
- 数据库（TencentDB）：提供高性能、可扩展的数据库服务，用于存储和管理数据集。详情请参考：https://cloud.tencent.com/product/cdb
- 云存储（Cloud Object Storage，简称COS）：提供安全可靠的对象存储服务，用于存储和管理大规模的数据集。详情请参考：https://cloud.tencent.com/product/cos
- 人工智能机器学习平台（AI Machine Learning Platform）：提供了丰富的机器学习工具和算法，支持模型训练、评估和部署。详情请参考：https://cloud.tencent.com/product/tiia
请注意，以上推荐的腾讯云产品仅供参考，具体选择应根据实际需求和项目要求进行。
相关·内容
我正在做一些关于医学数据的实验。我即将转移，学习预先训练的网络，以解决我的问题。
首先，我必须选择一个网络架构。其次，对优化器的参数/参数进行优化，以获得更好的性能。
我想选择基于10倍交叉验证的几种架构的网络体系结构。我将执行交叉验证的方式，我有数据分割训练:测试以80:20的方式，然后列车被分割成10个分裂。测试集不应该改变。基于交叉验证，我想选择一个模型，我将进一步优化验证集。
在优化参数之前，也可以测试测试数据上最好的体系结构，看看我正在朝着正确的方向移动，还是作弊？
数据集是不平衡的，具有相对较高的类方差，所以我甚至不确定测试的2倍将显着地表示数据集。
谢谢
浏览 0提问于2019-03-09得票数 0
据我所知，机器学习算法通过输入(自变量)来预测输出(因变量)。我相信，哪条线/曲线最能定义培训数据将取决于培训数据。当它确定最佳的线或曲线时，绘制新的输入，并在绘图的基础上找到目标变量。
我的问题是，在交叉验证过程中，由于分割的不同，训练数据会发生变化，这难道不应该改变最佳拟合线吗?这难道不应该使K个不同的模型(=分裂数)发生变化吗？如果是(它使K不同的模型)，那会有什么用呢？如果没有，那我哪里出错了？
浏览 0提问于2021-02-12得票数 0
回答已采纳
请描述您的问题
标题：快速入门 Windows 云服务器 - 云服务器 - 产品文档 - 帮助与文档 - 腾讯云
地址：https://cloud.tencent.com/document/product/213/2764
浏览 1757提问于2018-01-31
我使用20%的数据集作为我的测试集，并使用GridSearchCV来实现K折交叉验证来调优超参数。
通过使用管道，我们可以将列转换器和机器学习算法一起放入GridSearchCV中。如果我为GridSearchCV设置了5折交叉验证，该函数将使用5个不同的训练和验证集来训练和验证每个超参数组合。据我所知，GridSearchCV使用5折分数的平均值来选择最好的模型。
那么我的问题是，它是如何转换测试集的？
我对此感到非常困惑，因为为了避免数据泄漏，我们应该只使用训练集来拟合转换器，但在本例中，我们有5个不同的训练集，而我不知道GridSearchCV函数使用哪一个来拟合和转换验证和测试集。
我
浏览 10提问于2021-11-17得票数 0
5回答
在对机器学习模型进行训练、验证和测试之后，一种常用的技术是使用完整的数据集(包括测试子集)来训练最终模型，以便将其部署到产品上。
我的问题是:这样做是否总是为了最好？如果表演真的变坏了呢？
例如，让我们假设模型在分类测试子集时得分在65%左右。这可能意味着要么模型训练不够，要么测试子集由异常值组成。在后一种情况下，使用它们来训练最终模型会降低其性能，并且只有在部署它之后才会发现。
重新表述我最初的问题：
如果你曾经对模型进行过一次演示，比如在一次昂贵的火箭实验中将其部署在嵌入式电子设备上，那么你会相信一个在最后一步使用测试子集重新训练过的模型，而没有重新测试它的新性能吗？
浏览 0提问于2018-06-12得票数 53
1回答
我有一个算法，使用10倍交叉验证。在训练集中，我使用其中一个折叠来验证训练模型，然后再使用折叠上的学习模型进行测试。
我想创建一个学习曲线，这意味着我需要改变训练集的大小。这是否意味着我也会随着培训数据而改变验证集的大小？这是否意味着我也需要改变测试集的大小(除了训练和验证折叠之外)？
浏览 1提问于2015-04-15得票数 1
回答已采纳
2回答
( Confusion1)如果k=10，那么这是否意味着90%用于培训，10%用于测试？所以我们总是有k%来测试吗？
在下面的代码中，我使用了10倍的交叉验证来训练支持向量机( Confusion2)。一般来说，数据集将分为(a)训练集、meas(trainIdx,:) (b)测试集、meas(testIdx,:) c)验证集。在交叉验证方法中，我通过在循环中进行训练和验证来构建支持向量机学习者。根据我的理解，验证数据必须与培训和测试完全不同。但是，在许多在线资源中，据说经过交叉验证后，必须对整个数据集进行重新培训，在本例中，该数据集将是meas(:,1:end)。如果是这样的话，那么交叉验证
浏览 0提问于2018-06-25得票数 2
回答已采纳
2回答
我是深度学习的新手，我希望能够使用F1分数来评估经过特定时期训练的模型。我认为它首先需要计算精度和召回率。 训练的模型是SSD-300-Tensorflow。有没有代码或者什么东西可以产生这些结果呢？我没有使用sci-kit或任何东西，因为我不确定是否需要这些来计算分数，但任何指导都是非常感谢的。 在名为metrics.py的文件夹tf_extended中有一个用于评估的文件，该文件具有用于精度和召回率的代码。训练完我的文件后，我将检查点放在了logs文件夹中。如何计算我的指标？由于硬件限制(GPU问题)，我使用Google collab
浏览 72提问于2021-10-03得票数 0
回答已采纳
我能不能把我所有的训练数据，训练他们的基本模型，然后把他们的结果，并使用他们的训练水平2模型？这是一个好的做法，还是应该采取不同的做法？
浏览 0提问于2020-01-12得票数 1
回答已采纳
2回答
我使用k-折叠交叉验证，但不明白它的目的。在分割训练和测试数据集中的数据集之前，通常会对数据集的条目进行随机化。给定训练数据集，进行k次交叉验证，目的是预先估计模型的性能。在随机化的情况下，在交叉验证的循环中，不太可能出现从一次运行到下一次的戏剧性变化。最多可以观察到一些正常的波动。
考虑到交叉验证内部的性能，交叉验证回答了哪些问题？假设表现不佳，是否意味着我们应该放弃训练模式？
如果整个模型的训练时间或其他资源都很昂贵，我就能理解k折叠交叉验证的目的。在这种情况下，将训练集分割到进行验证的k个子集中，可能会为模型的性能提供预测。考虑到即使在大数据上，对整个训练集进行模型拟合是以可接受的时间复
浏览 0提问于2022-03-05得票数 10
4回答
我正在对一个回归分类问题运行xgboost，在这个问题上，该模型预测一个基因从0到1引起疾病的可能性有多大。
我试着避免在我所能想到的所有方法中过度拟合，嵌套交叉验证的平均输出是r2 0.88，我不确定我是否可以相信它，或者是否有其他方法可以看到这是否过度合适。仅对非嵌套的培训和测试的输出r2是:培训r2: 0.971测试r2: 0.868。
迄今为止，我：
删除相关性>0.9的特征，删除丢失数据>50%的特征(这很难增强，许多遗传特征只是缺少生物学研究的许多基因的缺失数据)。
由于xgboost接受丢失的数据，因此不需要进行估算以避免估算偏差。
scikit中的MinMaxSca
浏览 0提问于2020-07-07得票数 3
回答已采纳
以下两项计划有何分别，并不十分清楚：
📷
来自帮助文档：
测试和评分小部件:测试数据的学习算法。
预测小部件:显示模型对数据的预测。哪个模特？事先训练过的？从哪里拿来的？
显然，混淆矩阵的结果是不同的。所以我应该如何训练和测试我的模型还不清楚。
如果可以很容易做到这一点：
📷
一个单独的预测小部件与某个学习者连接有什么意义？它到底测试了什么？
浏览 0提问于2017-07-20得票数 0
回答已采纳
1回答
我知道交叉验证用于找到最大限度减少平均误差的最佳超参数。例如，将交叉验证的平均误差最小化的神经元数在ELM中估计。
但我想知道如何在EM-ELM网络中应用交叉验证(如K-折叠)：
冯，G，黄，G.B.，林，Q，& Gay，R. (2009)。误差最小化的极端学习机器增长的隐藏节点和增量学习。IEEE关于神经网络的交易，20 (8)，1352-1357。
其中，使用训练集自动估计体系结构。在EM-ELM中应用交叉验证的最佳和最标准方法是什么？是否有可能将交叉验证过程纳入到网络的增长中？
浏览 0提问于2018-07-05得票数 4
我有来自Firestore网站用户的数据。
为了运行机器学习模型，我在Google BigQuery中插入了一些这些数据。
我有训练机器学习模型的经验，但我没有获得新数据预测的经验。
我读到过，我可以在Google云存储中上传这个经过训练的模型，然后把它放到人工智能平台上，但是我不知道我必须遵循的过程，因为新的数据将被插入Bigquery中，使用这些新的数据，我想做预测，然后选择这个预测，然后再把它们放到Firstore中。
我认为这可以用Dataflow (Apache )或Dataflow(气流)来完成，我可以将这个过程自动化，并安排它每周运行所有过程，但我没有使用这种技术的经验，有人能推
浏览 5提问于2019-10-18得票数 2
回答已采纳
4回答
请描述您的问题
标题：自动诊断结果查看指引 - SSL证书 - 产品文档 - 帮助与文档 - 腾讯云
地址：https://cloud.tencent.com/document/product/400/6760
浏览 349提问于2018-01-28
我正在使用交叉验证来评估具有scikit-learn的分类器的性能，并且我想要绘制精度-召回率曲线。我在scikit-learn`s的网站上找到了来绘制PR曲线，但它没有使用交叉验证进行评估。
在使用交叉验证时，如何在scikit学习中绘制精确召回曲线？
我执行了以下操作，但我不确定这是否是正确的方法(psudo代码)：
for each k-fold:
precision, recall, _ = precision_recall_curve(y_test, probs)
mean_precision += precision
mean_recall += recall
浏览 2提问于2014-10-27得票数 7
1回答
大家好，我是数据科学世界的新手。所以我想知道我的模特是不是太合适了。通常我是比较训练的准确性和测试的准确性。但在一定的参考资料上，很多人使用roc_auc评分进行训练和测试，并对其进行比较，以判断模型是否过分合适。
哪些指标评价更好？我有不平衡的数据，但已经使用了过度抽样。
我想问的第二个问题是，如果我决定使用精度方法来判断我的模型是否过拟合，我是否应该尝试使用带有评分=“准确性”的k交叉验证来证明更多？
浏览 0提问于2022-10-11得票数 0
1回答
我有一个回归问题，所以我尝试了一些回归模型来选择最好的模型(基于RMSLE)，以下是结果：
📷
下面是所有的模型= ('LR'，LinearRegression()，(‘LR’，PolynomialFeatures())，('KNN'，KNeighborsRegressor()，('DT'，DecisionTreeRegressor())，('RF'，RandomForestRegressor()，('GBM'，GradientBoostingRegressor())，('XGB'，XGBRegre
浏览 0提问于2023-03-23得票数 1
2回答
我是从机器学习开始的，我对一些概念有疑问。我读过我们需要将数据集分成训练、验证和测试集。我会问四个与他们有关的问题。
1-训练集:在.fit()中用于学习神经网络中的权值等参数。
2-验证集:也可用于.fit()。验证集被使用，这样我们就可以在每个时代结束时验证我们的模型(调优一些超参数，比如隐藏层中的节点数)？
3-如果2是正确的(即，验证集已经在.fit()中使用)，我们还需要使用.evalute()吗？为什么？
测试集:模型从未见过的新输入(x)，所以我可以对它们进行预测？通过.predict()函数使用？
浏览 0提问于2021-12-03得票数 2
回答已采纳
3回答
在确定性(软件)系统中，我们有一组业务需求，这样的系统可以完全定义。这意味着，只要有足够的时间资源和相对较低的复杂性，我们就可以将所有场景和输入映射到预期的输出。这意味着，即使是可用性测试、兼容测试、压力测试、持久性测试、健壮性测试和所有其他类型的测试，也可以完全定义为需求的一部分，从而转换为功能测试。这意味着我们可以像我们想要的那样严格，因为系统是确定性的。
因此，鉴于人工智能系统是概率性的，你没有真正的输出，只有可以或多或少有用(但永远不会完全正确)的预测，而且模型的输入随着时间的推移而变化，因为整个世界都在变化，用户发送的数据在模型训练的那一刻是不寻常的。鉴于机器学习的上述和所有其他方面
浏览 0提问于2022-06-27得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
