交叉验证后，在独立数据上测试模型是正常的
交叉验证是一种常用的机器学习模型评估方法，它可以帮助我们评估模型的泛化能力。在交叉验证过程中，我们将数据集分成若干个子集，然后使用其中的一部分作为训练集，剩余部分作为测试集，重复多次进行模型训练和测试。最后，将每次测试的结果进行平均，得到最终的评估结果。
交叉验证的优势在于可以更准确地评估模型的性能，避免了单次划分数据集可能带来的偶然性。通过多次重复训练和测试，可以更好地反映模型在不同数据集上的表现，提高评估结果的可靠性。
交叉验证在机器学习领域有广泛的应用场景，特别是在模型选择、参数调优和特征选择等方面。通过交叉验证，我们可以比较不同模型的性能，选择最优的模型；也可以通过调整模型的参数，找到最佳的参数组合；还可以通过交叉验证来评估不同特征子集的效果，选择最具有代表性的特征。
腾讯云提供了一系列与机器学习和数据分析相关的产品和服务，可以帮助用户进行交叉验证和模型评估。其中，腾讯云机器学习平台（https://cloud.tencent.com/product/tcml）提供了丰富的机器学习算法和模型训练、部署的功能；腾讯云数据智能（https://cloud.tencent.com/product/tcdi）提供了数据分析和挖掘的工具和服务；腾讯云人工智能开放平台（https://cloud.tencent.com/product/ai）提供了多种人工智能相关的服务，如图像识别、语音识别等。
通过腾讯云的这些产品和服务，用户可以方便地进行交叉验证和模型评估，提高机器学习和数据分析的效率和准确性。
相关·内容
我想执行一个随机森林模型，所以我将我的数据拆分为70%的训练数据和30%的测试数据。我对我的训练数据(70%)应用了交叉验证程序，并获得了交叉验证的精度。之后，我在测试数据(30%)上测试我的模型，然后我
浏览 10提问于2018-09-08得票数 0
1回答
没有测试/火车分叉的滑行cross_validate
python、scikit-learn、cross-validation
的分数。这表明该函数是将训练数据分成训练子样本和测试子样本。这不是我想要的。我已经有了一个独立的测试样本，所以我不需要在这个函数中进一步拆分。也许我只是对sklearn所用的术语感到困惑：
案例1)“测试”分数是在测试集上运行度量的结果，只用于一个交叉验证分割(这很好)。或者“测试</
浏览 0提问于2018-08-02得票数 0
1回答
模型性能估计中交叉验证的有效性
machine-learning、cross-validation、model-evaluations
当应用交叉验证来估计预测模型的性能时，所报告的性能通常是所有验证折叠上的平均性能。由于在此过程中，创建了多个模型，必须选择一个模型作为实际用于预测真实世界样本的模型(例如在产品中)。我想知道，将验证性能报告为最终(选定)模型的估计性能是否真的有效(因为性能是使用在验证过程中创建的</e
浏览 0提问于2019-09-07得票数 1
回答已采纳
1回答
Keras CNN训练识别验证码:低损失，低准确率
python、tensorflow、machine-learning、keras、deep-learning
我想训练一个可以像这样识别验证码的模型所以我创建了下面的cnn模型print("Creating CNN model...")如下所示：1000/1000 [==============================] -
浏览 4提问于2019-01-01得票数 0
1回答
帮助理解交叉验证。
machine-learning、cross-validation
我对交叉验证的理解是，我们将数据集划分为第1-k部分，然后使用第1部分作为验证集，第2-k部分作为培训集，然后使用第2部分作为验证集，其余部分作为培训集等等，直到我们使用每个部分作为验证集。我不完全明白的是：
这里的实际目标是什么？我知道我们平均要做k轮交叉验证，但是我们的输出是什么？我读到过，在计算验证错误之
浏览 0提问于2019-05-07得票数 2
回答已采纳
1回答
基于交叉验证的模型选择和超参数整定工作流程
machine-learning、cross-validation、model-selection
我一直试图教自己机器学习，并希望确保我对模型选择、超参数优化和交叉验证有正确的想法。对吗？另外，对于步
浏览 0提问于2020-05-11得票数 -1
3回答
是否有必要将数据分成三个部分:训练、评估和测试？
python、tensorflow、keras、scikit-learn、conv-neural-network
描述了测试、训练和验证集的区别。在大多数关于训练神经网络的文档中，我发现这三个集合是使用的，但是它们通常是预先定义的。
我有一个相对较小的数据集(总共906张3D图像，分布是平衡的)。在我的模型中，我使用sklearn.model_selection.train_test_split函数来拆分火车和测试集中<e
浏览 4提问于2020-01-09得票数 1
回答已采纳
1回答
垃圾邮件分类-机器学习
machine-learning、classification、spam-prevention
我必须使用一些分类器(例如朴素贝叶斯、支持向量机和另一个分类器)来做垃圾邮件检测应用，并比较它们的效率，但不幸的是，我不知道我应该做什么。这是正确的吗:首先，我应该有trec2005，垃圾邮件或安然垃圾邮件等垃圾邮件.然后，我做文字预处理，如词干，停止字删除，标记等.在此之后，我可以使用tf-以色列国防军在垃圾邮件中衡量我的特征/术语的权重。接下来，我用非常低的频率和很高的频率去除这些特征。然后我就可以把我的</em
浏览 1提问于2014-03-15得票数 1
回答已采纳
1回答
预测外部测试集的最佳方法是什么？
machine-learning、keras、scikit-learn
我的问题是理论上的，相当技术性的，所以我不会在这里张贴我的代码，因为代码可以在sklearn网站上找到。
我建立了一个分类器和交叉验证与5倍使用学习。在我的代码中，我正在计算各种精度参数，如灵敏度、特异性、F1评分等。经过5倍交叉验证，平均所有精度参数完成后折叠.最后，我的脚本创建了一个ROC曲线以及AUC评分和其他精确参数<e
浏览 0提问于2019-08-14得票数 0
回答已采纳
1回答
如何在python/sklearn中交叉验证来自随机森林的预测？
random-forest、prediction、cross-validation
请有人告诉我，如果这是正确的方法，计算交叉验证的精度我的分类器？我将我的数据集划分为训练数据的xtrain和ytrain，以及测试集的xtest & ytest。构建模型：适合于训练集的：，这是我不确定的
浏览 8提问于2015-07-04得票数 3
2回答
将培训和验证集合并，以提高准确性
machine-learning、image-classification、machine-learning-model、training
我正在训练一个图像分类模型，我的测试集分布是80-20。📷在这种情况下，合并火车、测试集
浏览 0提问于2020-10-18得票数 2
回答已采纳
1回答
在培训和测试后可视化预测的和实际的课程
machine-learning、classification、visualization、cross-validation
数据集X有10个特征，50个实例标记为0和1个。这里只考虑了6个实例，假设YPred标签是[1,0,1,0,1,1]，实际的真实标签是YTest = [0,0,1,1,1,0]。由于数据集是多维的，分类后无法绘制决策边界.在下面的代码中，pred = predict(svmModel, X(testIdx,:));运行k时间。我不明白在交叉验证结束后应该使用哪种预测的</e
浏览 0提问于2018-06-11得票数 1
回答已采纳
5回答
交叉验证和网格搜索有什么区别？
cross-validation、definition、difference、grid-search
简单地说，交叉验证和网格搜索的区别是什么？网格搜索是如何工作的？我是不是应该先做交叉验证，然后再做网格搜索？
浏览 17提问于2013-10-12得票数 53
1回答
随机森林太合适了
python、machine-learning、scikit-learn、random-forest
我正在使用scikit学习一个分层的简历来比较一些分类器。我在计算:准确，回忆，auc。是来自我的问题是，我觉得我真的太适合了。我的简历代码是：
for i,j in enumera
浏览 2提问于2015-11-27得票数 5
回答已采纳
2回答
为什么需要k倍交叉验证？
machine-learning、cross-validation
我使用k-折叠交叉验证，但不明白它的目的。在分割训练和测试数据集中的数据集之前，通常会对数据集的条目进行随机化。给定训练数据集，进行k次交叉验证，目的是预先估计模型的性能。在随机化的情况下，在交叉验证的循
浏览 0提问于2022-03-05得票数 10
2回答
在交叉验证后对所有训练数据进行scikit-learn训练
python、scikit-learn
我还希望进行交叉验证，但在交叉验证之后，我希望对整个数据集进行训练。我发现cross_validation.cross_val_score()只返回分数。编辑:我想用我所有的数据来训练具有最佳交叉验证分数的分类器。
浏览 1提问于2014-03-24得票数 2
2回答
将k-折叠交叉验证应用于数据集的混淆
machine-learning、cross-validation
我有一个数据集，它已经被分成10倍，每个折叠都有训练、验证和测试集。我无法理解如何在这个数据集上应用10倍交叉验证。通常，如果我们想在数据集上应用k折叠交叉验证，步骤如下：在我的例子中，数据集已经被划分为10倍，除了训练集之外，每个折叠都包含验证和测试集。如果有人能指导我，如何对这种数据
浏览 0提问于2019-03-27得票数 1
2回答
拉索回归怀疑
r、regression、statistics、linear-regression
我试图解决一个基于线性回归的问题(预测销售额，这是一个连续变量)。对于这个问题，我使用了线性回归，但是有一个建议的解决方案是用Lasso回归。然而，用户已经使用了列车功能。是拉索的语法吗？岭回归也采用了类似的函数。
浏览 0提问于2018-06-24得票数 1
1回答
random_state在train_test_split中是否会影响模型的实际性能？
python、machine-learning、scikit-learn、linear-regression、train-test-split
我明白为什么一个模型的分数对于每个random_state是不同的，但是我确实期望最高和最低分数之间的差异(从random_state 0到100)是0.37，这是很多的。也尝试了十倍交叉验证，差别还是有点大。完整法典：
acc
浏览 4提问于2020-06-28得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频活动推荐
腾讯云开发者
