K交叉验证每次都有不同的结果
K交叉验证（K-fold Cross Validation）是一种常用的模型评估方法，用于衡量机器学习模型在未见过的数据上的性能。它通过将数据集分成K个子集（也称为折），然后使用K-1个折作为训练集，剩下的一个折作为验证集，多次重复这个过程，直到每个折都被用作了验证集。最后，将每次验证的结果进行平均，得到最终的评估结果。
K交叉验证的步骤如下：
- 将数据集分成K个相等的子集。
- 对于每个子集i，将其作为验证集，剩下的K-1个子集作为训练集。
- 使用训练集进行模型训练，并在验证集上进行评估，记录评估结果。
- 重复步骤2和3，直到每个子集都被用作了验证集。
- 对所有评估结果进行平均，得到最终的评估结果。
K交叉验证的优势在于：
- 充分利用数据：通过多次验证，能够充分利用数据集中的每个样本进行模型训练和评估，提高了评估结果的可靠性。
- 减少过拟合：由于每个子集都有机会作为验证集，可以更好地检测和减少过拟合的情况。
- 评估稳定性：由于每次验证都是使用不同的数据子集，因此可以评估模型在不同数据子集上的性能稳定性。
K交叉验证适用于各种机器学习算法和模型的评估，特别是在数据集较小或不平衡的情况下，能够更准确地评估模型的性能。
对于K交叉验证，腾讯云提供了多个相关的产品和工具，如：
- 腾讯云机器学习平台（Tencent Machine Learning Platform）：提供了丰富的机器学习算法和模型训练、评估、部署的功能，可以方便地进行K交叉验证等模型评估方法。
- 腾讯云数据集市（Tencent Data Lake）：提供了大量的开放数据集，可以用于进行K交叉验证和其他机器学习任务的数据集选择和准备。
你可以通过访问腾讯云的官方网站（https://cloud.tencent.com/）了解更多关于这些产品的详细信息和使用方式。
相关·内容
1回答
如何在交叉验证中选择参数？
、、、、
假设我正在使用K折叠交叉验证K折叠交叉验证训练一个线性回归模型。我每次用不同的训练和测试数据集训练K次。因此，每次我训练时，都会得到不同的参数(线性回归情况下的特征系数)。因此，在交叉验证结束时，我将得到K个参数。如何得出我的模型的最终参数？
如果我也使用它来调优超参数，那么在修复我的模型参数之后，我还需要进行另一次交叉验证吗？
浏览 0提问于2022-05-19得票数 3
1回答
我使用matlab序列函数进行前向特征选择，代码如下。我多次重复运行相同的代码，我注意到结果是完全不同的。虽然交叉验证对于每次运行都是不同的(折叠号是相同的)，但是我认为所选的特性应该大致相同。有人能帮我解释一下吗？谢谢。
cp = cvpartition(label,'k',cvNum); % Stratified cross-validation
opts = statset('display','iter');
fun = @(XT,yT,Xt,yt)...
(sum(yt ~= SVCpredict(Xt,yt,XT,yT)))
浏览 3提问于2013-12-31得票数 1
回答已采纳
对训练和测试数据进行腌制和加载。但是，即使分类器使用相同的训练数据进行训练，用相同的测试数据进行测试，结果(精度和f-测度)似乎每次都有所不同。这是怎么回事？我指的分类器是极限学习机器。
浏览 0提问于2015-01-14得票数 1
回答已采纳
您好，我正在使用MacMac3.4.0版本的Maxent软件，我想了解一个关于k-折交叉验证的问题。 基本上，我知道我的数据集被分成k个折叠，每个折叠或多或少都有相同的大小。因此，如果我的数据集有100个观察值，10次交叉验证将把数据集分成10个观察值，Maxent将训练10个模型，每个模型有9个观察值，第10个模型将对其进行测试。 我的问题是:我可以将我的数据集拆分成10倍以上(例如50倍)，但每个折叠有10个观察值吗？当然，在这种情况下，不会使用一次实例，而是使用它们在不同的文件夹中出现的次数。 我能做到吗(没有命令行，我不知道如何使用它)？结果会有意义吗？
浏览 60提问于2020-12-07得票数 1
6回答
从我所读到的情况来看，我一直认为交叉验证是这样执行的：
在k次交叉验证中，将原始样本随机分成k个子样本.在k个子样本中，保留一个子样本作为模型测试的验证数据，其余的k−1子样本作为训练数据。然后交叉验证过程被重复k次(褶皱)，每个k个子样本精确地使用一次作为验证数据。从褶皱中得到的k值可以被平均(或以其他方式组合)来产生一个单一的估计。
因此，建立了k个模型，最后一个模型是这些模型的平均值。在Weka中，指南写道，每个模型总是使用所有的数据集来构建的。那么Weka中的交叉验证是如何工作的呢？模型是根据所有数据建立的，而“交叉验证”是否意味着创建k折叠，然后对每个折叠进行评估，最终的输出结果就
浏览 8提问于2012-05-03得票数 29
回答已采纳
我在我的数据上拟合随机森林回归，并使用10K的交叉验证来评估模型的性能。在重新运行交叉验证时，我注意到每次运行的结果都不一样，有时会有很大的差异。因此，我决定重复交叉验证计算20次，创建一个for-循环，然后总结结果。为了说明一下，我做了这样的事情：
for (i in 1:20) {
trainIndex <- createDataPartition(data$response, p = .8, list = FALSE, times = 1)
data_train <- data[ trainIndex,]
data_test <- data[-trainIndex,
浏览 0提问于2021-05-14得票数 0
1回答
交叉验证Vs.列车验证测试
我还有一个问题是关于上述帖子中的“响亮回答”：
训练次数为k次，每次忽略训练集的不同部分。通常，这些k模型的误差是平均的。这是对要测试的每个模型参数进行的，并且选择误差最小的模型。
当我们说“选择误差最小的模型”时，这意味着：
选择平均误差最小的参数，从K模型中找出具有绝对最小误差的模型。
我们选择平均误差最小的参数，然后在整个训练集上训练一个新的模型，使用这些参数？
我们选取平均误差最小的参数，然后取所训练的K模型的平均权值。
艾恩
浏览 0提问于2019-09-27得票数 4
我定义了一个回归变量，如下所示：
nn1 = Regressor(
layers=[
Layer("Rectifier", units=150),
Layer("Rectifier", units=100),
Layer("Linear")],
regularize="L2",
# dropout_rate=0.25,
learning_rate=0.01,
valid_size=0.1,
learning_rule="adagrad",
verbose=False,
weight_deca
浏览 1提问于2015-10-03得票数 13
回答已采纳
1回答
我使用K-折叠交叉验证来获得支持向量机分类器的错误率。这是wich的代码，我得到了8倍交叉验证的错误率：
data = load('Entrenamiento.txt');
group = importdata('Grupos.txt');
CP = classperf(group);
N = length(group);
k = 8;
indices = crossvalind('KFold',N,k);
single_error = zeros(1,k);
for j = 1:k
test = (indices
浏览 0提问于2014-11-22得票数 2
回答已采纳
1回答
非确定性二进制分类器的比较
、、、、
我有两个分类器，我正在实现，它们都是不确定的，因为当您多次运行它们时，它们都可以给出不同的结果(FPR和TPR)。我想比较这两种算法来评估它们的性能。我该怎么做？通常人们大多数时间所做的是运行分类器，直到得到最佳的FPR和TPR值，然后发布结果。但是，这种方法的问题在于，它可能不能很好地表示这种分类器的性能。这是我目前计划做的，但不知道这是否正确：
将我的评估数据分成训练和测试，训练后用测试数据进行预测，得到FPR和TPR，再重复99次，形成100个FPR和TPR读数，然后取平均值。若要获得ROC，请使用平均FPR和TPR。或
对数据使用k折交叉验证，例如k=3或10，这将返回TPR和FPR的
浏览 0提问于2016-12-12得票数 2
回答已采纳
我试图在v_measure_score中使用GridSearchCV并比较结果。
使用另一种方法而不带GridSearchCV。
v_measure_score 评分最高的是0.69816019299，百分位数27；
GridSearchCV得分最好的是0.565562627046和百分位数12。
我认为，结果应该是一样的。
我检查了我的代码几次，但仍然找不出原因。以下是我的代码：
GridSearchCV
estimators = [('tfIdf', TfidfTransformer()), ('sPT', SelectPercentile()), (
浏览 4提问于2016-11-18得票数 0
嗨，如果我们要用以下方法来评估cv的准确性：
X_train, X_test, y_train, y_test = train_test_split(
X, y, random_state=42)
model=RandomForestClassifier(random_state=0)
k_folds = KFold(n_splits=5)
splits = k_folds.split(X_train, y_train)
cv_acc = cross_val_score(model, X_train, y_train, cv=splits, scoring='accurac
浏览 3提问于2020-09-14得票数 1
回答已采纳
我正在使用交叉验证来评估具有scikit-learn的分类器的性能，并且我想要绘制精度-召回率曲线。我在scikit-learn`s的网站上找到了来绘制PR曲线，但它没有使用交叉验证进行评估。
在使用交叉验证时，如何在scikit学习中绘制精确召回曲线？
我执行了以下操作，但我不确定这是否是正确的方法(psudo代码)：
for each k-fold:
precision, recall, _ = precision_recall_curve(y_test, probs)
mean_precision += precision
mean_recall += recall
浏览 2提问于2014-10-27得票数 7
根据此处的讨论，confused about random_state in decision tree of scikit learn 由于我将random_state设置为1，因此我确实具有一致的指标，因为我每次都生成相同的树。但是，当random_state设置为default -- > none时，每次生成的不同树都有不同的性能指标，有些比另一些好，有些则更差。那么我们如何获得可能的最佳度量，或者换句话说，如何找出为随机状态设置的int值，从而获得具有最佳精度和kappa统计数据的树。
浏览 88提问于2019-12-20得票数 0
1回答
我对交叉验证的理解是，我们将数据集划分为第1-k部分，然后使用第1部分作为验证集，第2-k部分作为培训集，然后使用第2部分作为验证集，其余部分作为培训集等等，直到我们使用每个部分作为验证集。
我不完全明白的是：
这里的实际目标是什么？我知道我们平均要做k轮交叉验证，但是我们的输出是什么？我读到过，在计算验证错误之后，我们放弃了每一轮的结果，那么我们如何从这个结果产生一个模型呢？
验证和测试集(如果有的话)有什么区别？也就是说，我们通常将我们的数据分为培训数据和测试数据，但是我们是将我们的培训数据进一步划分为验证集，并在交叉验证过程中将我们的测试数据放在一边，还是对整个数据集进行交叉验证？
浏览 0提问于2019-05-07得票数 2
回答已采纳
我正在尝试为XGBClassifier获取最佳的超参数，这将导致获得最具预测性的属性。我正在尝试通过KFold使用RandomizedSearchCV来迭代和验证。
当我总共运行这个过程5次(numFolds=5)时，我希望最好的结果保存在一个名为collector的数据帧中(如下所示)。因此，每次迭代时，我都希望将最好的结果和分数附加到收集器数据帧中。
from scipy import stats
from scipy.stats import randint
from sklearn.model_selection import RandomizedSearchCV
from s
浏览 0提问于2017-05-12得票数 4
回答已采纳
1回答
如何确定我的机器学习模型的最佳策略？例如，让我们考虑一个场景，其中我正在处理线性回归，并希望比较三种不同的方法。第一种方法涉及使用所有特征作为输入，第二种方法需要手动选择最相关的特征作为输入，第三种方法涉及到实现主成分分析(PCA)。考虑到这三种方法，是否应该使用k-折叠交叉验证来评估每一种方法，而不需要再培训模型，然后比较交叉验证的结果以确定最佳的方法而不使用测试数据集？
浏览 0提问于2023-06-01得票数 0
正如我所了解的cross-validation算法，从web上的大多数文章中，有各种各样的cross-validation方法。在这里，我想澄清一下k折叠交叉验证技术。
在k-折叠交叉验证算法中，我们可以将训练集分割成k个不重叠的折叠。
当我们将训练数据分解成k个折叠时，我们必须在k个迭代中对模型进行训练。
因此，在每次迭代中，我们用(k-1)折叠来训练，用保持折叠来验证。
在每一次分裂中，我们都可以计算出模型所需的度量。
最后，我们可以通过所有迭代的平均分数来报告训练误差。但是，最终训练的模型是什么？
这些文章中的一些观点对我来说不太清楚？
我应该在每次迭代中启动模型的参数吗？我问这个问
浏览 2提问于2022-07-26得票数 0
6回答
我一直在阅读决策树和交叉验证，我理解这两个概念。但是，我很难理解交叉验证，因为它涉及决策树。基本上，交叉验证允许您在数据集相对较小时在培训和测试之间进行交替，以最大限度地提高您的错误估计。一个非常简单的算法是这样的：
决定了您想要的折叠数(k) 将数据集细分为k折叠、，使用k-1折叠进行训练集来构建树。使用测试集来估计树中错误的统计信息。将您的结果保存到以后的中，为k次重复步骤3-6，为您的测试集省去了一个不同的折叠。在您的迭代中平均错误，以预测总体错误
我不知道的问题是，在最后你会有k个决策树，因为它们可能不会以相同的方式分裂，所以它们都可能略有不同。你选择哪棵树？我的一个想法是选择误差最小
浏览 0提问于2010-02-22得票数 37
回答已采纳
1回答
我对Weka提供的10倍交叉验证与传统的10倍交叉验证之间的区别感到有点困惑，我理解K交叉验证的概念，但从我在Weka中读到的10倍交叉验证的内容来看，有一点不同。
在Weka FIRST中，建立了一个基于所有数据的模型。只有这样，才能进行10倍的交叉验证。在传统的10倍交叉验证中，没有预先建立模型，而是建立了10个模型:每个迭代都有一个模型(如果我错了，请纠正我！)但是如果是这样的话，那么Weka在10倍交叉验证中到底做了什么呢？它是否再次为十个迭代中的每一个创建一个模型，还是使用以前组装的模型。谢谢!
浏览 3提问于2013-08-14得票数 3
回答已采纳
1回答
关于K次交叉验证的问题
、、、
在机器学习过程中，假设我们选择了k=10作为“K-折叠交叉验证”。在完成“K-折叠交叉验证”的k步后，如何选择分类器的最终模型？(我们将用它来预测新的数据)
浏览 0提问于2018-05-08得票数 2
回答已采纳
什么时候你会使用gridsearchcv而不是k-fold？gridsearchcv是否通过CV参数自动执行k折叠？ gridsearch实现示例： GridSearchCV(svc_gc, param_grid=parameter_grid, cv=10)
浏览 22提问于2020-04-28得票数 0
4回答
我对交叉验证方法和训练验证-测试方法有疑问。
有人告诉我，我可以将数据集分成3部分：
火车:我们训练模特。
验证:我们验证和调整模型参数。
测试:以前从未见过数据。我们得到了一个不偏不倚的最终估计。
到目前为止，我们已经分成了三个子集。在此之前一切都还好。附图如下：
📷
然后我遇到了K折叠交叉验证方法，而我不明白的是我如何将测试子集与上面的方法联系起来。也就是说，在5倍交叉验证中，我们将数据分解为5，在每次迭代中使用非验证子集作为训练子集，并使用验证作为测试集。但是，在上面提到的例子中，验证部分在k-折叠交叉验证中在哪里？我们要么有验证，要么有测试子集。
当我建议自己进行培训/验证/测试时，“
浏览 0提问于2019-05-26得票数 26
回答已采纳
1回答
火花K-交叉验证
、、、
我很难理解斯派克的交叉验证。我见过的任何示例都使用它来进行参数调整，但我假设它也会执行常规的K-折叠交叉验证？
我想要做的是执行k-折叠交叉验证，其中k=5。我想得到每个结果的准确性，然后得到平均精度。在scikit中，学习这是如何完成的，其中的分数会给出每个折叠的结果，然后您可以使用scores.mean()
scores = cross_val_score(classifier, y, x, cv=5, scoring='accuracy')
这就是我在星火中所做的事情，paramGridBuilder是空的，因为我不想输入任何参数。
val paramGrid = new
浏览 1提问于2016-06-20得票数 12
我读过一些关于k折叠交叉验证的文章。我知道它把每个模型的性能作为一个数字来衡量，并返回平均值。但我仍然不知道，哪个k模型是作为结果返回的。还是一个模特回来了？还是结果是所有数据的模型？
浏览 3提问于2016-10-31得票数 0
回答已采纳
1回答
我目前正在尝试使用交叉验证来训练一个神经网络，但我不确定我是否知道交叉验证是如何工作的。我理解这个概念，但我还不能完全理解这个概念是如何转化为代码实现的。下面是对我已经实现的内容的描述，这或多或少是一种猜测。
我将整个数据集分割成K-折叠，其中1折叠是验证集，1折叠是测试集，其余折叠中的数据被倾倒到训练集中。
然后，我循环K次，每次将验证和测试集重新分配到其他折叠。在每个循环中，我只使用训练集不断地训练网络(更新权重)，直到网络产生的错误达到某种阈值为止。但是，用于决定何时停止培训的错误是使用验证集产生的，而不是使用培训集产生的。培训结束后，将再次产生错误，但这次使用测试集。测试集中的此错误将
浏览 10提问于2016-12-19得票数 0
我正在对我的二元分类问题进行logistic回归，并使用k折叠交叉验证(k=10)对模型进行了验证。但是，我不明白为什么我需要一个最终的测试集:模型的性能不能基于k折叠验证(即，来自10个结果折叠的度量标准)进行评估吗？因为，模型没有真正“看到”测试数据，这不是K折叠的全部要点吗？因此，最终的测试集似乎是多余的，但它似乎也是常见的做法，我想知道为什么？我见过一些关于超参数调优/过拟合等的文章，但是logistic回归并没有太多的超参数可调。
那么，最终测试集的意义是什么?我需要它吗?还是从10倍中的每一次提供的性能度量都足以评估模型的性能？
浏览 0提问于2023-04-23得票数 0
我有一个数据集，它已经被分成10倍，每个折叠都有训练、验证和测试集。我无法理解如何在这个数据集上应用10倍交叉验证。
通常，如果我们想在数据集上应用k折叠交叉验证，步骤如下：
📷
在我的例子中，数据集已经被划分为10倍，除了训练集之外，每个折叠都包含验证和测试集。如果有人能指导我，如何对这种数据集进行10倍的交叉验证，这将是很有帮助的。
浏览 0提问于2019-03-27得票数 1
你把数据分成k个子样本。在k-1子样本上进行训练，在kth子样本上进行测试，用误差merric记录性能.
对每个k个子样本执行k次，每次记录错误。然后选择误差最小的模型？这和合奏技术一样吗？
浏览 0提问于2018-01-15得票数 1
回答已采纳
当执行k-折叠交叉验证时，对于每一个折叠，我们都有一个不同的验证集和一个略有变化的学习集。说你从第一次到第二次。υοu是如何从第二个折叠迭代中继承的第一个折叠中学到的？目前看来，你只计算精度，所学习的模型被丢弃，永远不会被保留。
我遗漏了什么？如果保留这样的模式呢？它是如何保留的，DQN和KNN的方法是否不同？
浏览 1提问于2020-06-05得票数 1
回答已采纳
2回答
如何在深度神经网络中进行交叉验证？我知道，执行交叉验证，将训练它在所有褶皱，除了一个，并测试它的排除褶皱。然后这样做k倍，并平均每一次的准确性。您如何在每次迭代中做到这一点。您是否在每次折叠时更新参数？还是为每次迭代执行k折叠交叉验证？或者，每一次训练都是在所有的折叠上进行的，只是一次迭代吗？
浏览 2提问于2017-06-10得票数 7
2回答
训练神经网络时的标准设置似乎是将数据分割成训练集和测试集，并一直运行到测试集上的分数停止提高为止。现在，问题是:测试分数中存在一定数量的噪声，因此单个最佳分数可能不符合网络状态，而网络状态最有可能是新数据上的最佳状态。
我见过一些论文指出训练中的一个特定时代或迭代是“交叉验证最好的”，但我不知道这是如何确定的(论文没有提供任何细节)。“交叉验证的最佳”点不是有最好的测试分数的点。
如何进行这种类型的交叉验证？会不会是在测试集上做k折叠？好吧，这给了k个不同的测试分数，而不是一个，然后呢？
浏览 0提问于2016-04-09得票数 6
回答已采纳
1回答
简而言之:在为xgboost选择参数值时，如何考虑变量的类型和分布？
上下文:我有一个数据集，我想使用binary:logistic目标进行分类(我正在使用R实现)。我想知道视觉检查我的数据集中的变量是否能为参数值的选择提供信息，如果是这样的话，人们通常如何处理它。
示例:具有二进制结果变量和二进制/连续预测器混合的数据集。
结果变量(每次观察一个值)：
📷
一组名为味道(~150个变量)和纹理(~80个变量)的预测器的二进制值为0、1。每个观察值都有一个或多个味道和纹理(水平轴上每个观察值的f/t数)：
📷
有些味道/纹理比其他的更有可能发生(在水平轴上的频率)：
📷
我添加了一些量化变量来
浏览 0提问于2020-10-09得票数 4
回答已采纳
2回答
K折叠验证：
在这种情况下，您可以将数据拆分为相同大小的K个分区。对于每个分区i，在剩余的K-1分区上训练一个模型，并在分区i上对其进行评估。
你最后的分数是得到的K分的平均值。当模型的性能显示出基于火车测试拆分的显着差异时，这种方法是有帮助的。
用改组：迭代K折叠验证：
在这种情况下，您的可用数据相对较少，您需要尽可能精确地评估模型。
它包括多次应用K折叠验证，每次对数据进行洗牌，然后再以K方式拆分数据。最后的分数是在每一次K折叠验证中获得的分数的平均值。
我无法理解一个实现迭代k折叠，如果有人可以帮助一个示例代码或流程图，显示k折叠和迭代K折叠之间的差异。
浏览 0提问于2018-11-17得票数 4
1回答
在k-折叠交叉验证中，为什么我们需要在每次折叠后重置权重，我们使用thia函数。
def reset_weights(m)：如果isinstance(m，nn.Conv2d)或isinstance(m，nn.Linear)：m.reset_parameters()，那么我们重新设置模型的权重，以便每个交叉验证折叠从一些随机的初始状态开始，而不是从以前的折叠中学习。
为什么我那么重要？我认为如果我们不这样做，那么模型最好从所有的折叠中学习，并从所有的折叠中更新其参数，而不是每个人都单独更新。
浏览 10提问于2022-03-25得票数 1
1回答
有人知道r中树包的cv.tree函数是如何工作的吗？默认设置为10倍，但结果显示8种树模型，而不是10种：
此外，如果我设置5倍，结果显示8个模型：
我使用的代码如下：
library (MASS)
library(tree)
set.seed (1)
train = sample (1: nrow(Boston ), nrow(Boston )/2)
tree.boston =tree(medv~.,Boston ,subset =train)
summary (tree.boston )
cv.boston =cv.tree(tree.boston,K=10)
cv.bos
浏览 0提问于2018-12-09得票数 5
回答已采纳
1回答
这个能行吗？
我们要训练一个神经网络。
我们有50个数据点，并且想要一个30用于火车，10个用于验证，10个用于测试。
我们想做5倍的交叉验证。
我们使用下面的伪代码来计算超参数的配置。
For each of the 5 folds:
Randomly split the 50 datapoints between train, val, test.
While validation loss decreases:
Train model on training dataset (training to minimise loss).
Calc
浏览 0提问于2022-09-12得票数 1
1回答
验证集的验证过程-非k次交叉验证
、、、、
我对python和机器学习很陌生，我很难理解验证步骤，我也想对当我不想使用k-折叠交叉验证，而只是使用验证集时，应该做什么有一个建议。我一直在阅读，似乎无法正确理解k-折叠交叉验证：
我是否将初始数据分割成k个折叠，然后在k-1上进行训练，在左1上进行测试，保持向后旋转--所以每个折叠都用于测试等等。
或者我把初始数据分割成列车数据和测试数据，然后将列车数据分割成k个折叠，然后进行交叉验证，然后对未见的测试数据进行准确性测试？
在k-折叠交叉验证过程中如何选择最佳参数？cross_val_score在返回分数列表后，是否在验证步骤中应用最佳参数，在验证步骤中准确性最好？(代码如下)
浏览 2提问于2019-05-23得票数 1
1回答
我正在使用包"TuneRanger“来调优射频模型。它工作良好，我取得了很好的结果，但我不确定它是否过分适合我的模型。我想使用一个重复的简历，为每一个实例，包是调优模型，但我找不到一个方法来做。另外，我想知道是否有人知道这个包如何验证每次尝试的结果(火车测试，cv，重复cv?)我一直在阅读这个包裹()的说明，但它并没有提到它。
谢谢你的帮助。
浏览 3提问于2020-08-22得票数 0
回答已采纳
1回答
使用轻型GBM回归器，对数据进行训练，利用网格搜索得到最佳参数，但每次用最佳参数进行测试时，每次得到不同的结果，这意味着模型对每一次测试迭代产生不同的结果。
我使用相同的参数运行了两次lightgbm，但是在验证中得到了不同的结果。我发现唯一的随机种子参数是baggingSeed。修复baggingSeed后，也会出现问题。我还需要修改其他参数吗？
浏览 0提问于2021-07-09得票数 0
我在用：
sklearn.cross_validation.cross_val_score
进行交叉验证，并获得每次运行的结果。
这个函数的输出就是分数。
是否有一种方法来获取在cross_val_score函数中内部分区的折叠(分区)本身？
浏览 8提问于2014-07-08得票数 1
回答已采纳
1回答
我对Matlab中的K折交叉验证有一个问题，实际上我已经使用了前面提到的函数。问题是我每次运行我的程序时都会得到不同的CP值。我使用函数来执行特征选择过程，因此每次都会得到一个不同的子集特征。您能帮我找到解决方案或找出问题的根源吗？
浏览 3提问于2013-09-18得票数 1
2回答
我想知道对分类问题选择哪种类型的模型交叉验证:K次抽样还是随机次抽样(引导抽样)？
我的最佳猜测是使用2/3的数据集(约1000项)进行培训，1/3用于验证。
在这种情况下，K折叠只提供三次迭代(折叠)，这不足以看到稳定的平均误差。
另一方面，我不喜欢随机次抽样特性:有些项目将永远不会被选择用于培训/验证，而有些项目将被多次使用。
使用的分类算法:随机森林和logistic回归。
浏览 0提问于2014-06-20得票数 13
回答已采纳
我正在使用sklearn 'gridsearchcv‘找到我的特性选择方法的最佳超参数，这里是'selectkbest’。我使用的管道‘特征选择’和我的脊线回归在上面。
这类管道的一个例子是。
但是，我使用的是，它选择了自己的正则化器，并有一个高效的内置loocv。在这种情况下，我无法访问Ridgecv的参数。
k_range = [10, 15, 30, 50, 150, 300, 500]
alpha_range = [0.01, 0.05,
0.1, 0.5,
1,
2,
5,
浏览 1提问于2018-03-05得票数 0
回答已采纳
1回答
数据集X有10个特征，50个实例标记为0和1个。这里只考虑了6个实例，假设YPred标签是[1,0,1,0,1,1]，实际的真实标签是YTest = [0,0,1,1,1,0]。由于数据集是多维的，分类后无法绘制决策边界.在下面的代码中，pred = predict(svmModel, X(testIdx,:));运行k时间。
我不明白在交叉验证结束后应该使用哪种预测的类别标签，说这是最后的“好”预测。
浏览 0提问于2018-06-11得票数 1
回答已采纳
2回答
我正在运行一个4倍交叉验证的超参数调优使用sklearn的'cross_validate‘和'KFold’函数。假设我的训练数据集已经被洗牌了，那么在分割成批/折叠(即KFold函数中的洗牌参数)之前，我是否应该对每一次超调参数调优重新洗牌数据？我注意到，超参数调优过程的结果将是不同的，这取决于在将数据分割成折叠之前对数据进行洗牌。
我假设，如果结果取决于洗牌，那么模型就不稳定了。这是正确的吗？然而，这也可能对模型“不公平”，因为结果是不可复制的，因为每次我运行交叉验证时，每个折叠的数据都是不同的(也就是说，每个超参数组合都在完全不同的褶皱上进行评估。例如，第一次调优迭代的折叠
浏览 0提问于2020-02-27得票数 3
回答已采纳
1回答
我想知道我们是如何从k折交叉验证方法中选择模型的。在k折交叉验证中，我们可以得到k个模型和使用k个模型精度的平均值的准确度分数。您能提供一种从交叉验证中获得最终最佳模型的方法吗？
浏览 5提问于2017-10-21得票数 1
2回答
我使用k-折叠交叉验证，但不明白它的目的。在分割训练和测试数据集中的数据集之前，通常会对数据集的条目进行随机化。给定训练数据集，进行k次交叉验证，目的是预先估计模型的性能。在随机化的情况下，在交叉验证的循环中，不太可能出现从一次运行到下一次的戏剧性变化。最多可以观察到一些正常的波动。
考虑到交叉验证内部的性能，交叉验证回答了哪些问题？假设表现不佳，是否意味着我们应该放弃训练模式？
如果整个模型的训练时间或其他资源都很昂贵，我就能理解k折叠交叉验证的目的。在这种情况下，将训练集分割到进行验证的k个子集中，可能会为模型的性能提供预测。考虑到即使在大数据上，对整个训练集进行模型拟合是以可接受的时间复
浏览 0提问于2022-03-05得票数 10
我在GridSearchCV和K折叠交叉验证之间有很多混淆。我知道GridSearch只用于超参数优化，K折叠将我的数据分割成K折叠并在它们上迭代(cv值)。那么，我应该先将数据分割成训练集和验证集，然后将GridSearch应用于训练数据以获得“最佳参数”，然后使用从GridSearch获得的“最佳参数”对训练数据使用K折叠，然后对整个数据(训练+验证集)进行训练。还是有其他的顺序去做上面的事情？
浏览 6提问于2021-06-27得票数 0
回答已采纳
1回答
library(glmnet)
library(boot)
data(iris)
x <- model.matrix(Sepal.Length~., iris)[,-1]
y <- iris$Sepal.Length
m <- cv.glmnet(x, y)
> cv.glm(x, m, K = 10)
Error in UseMethod("predict") :
no applicable method for 'predict' applied to an object of class "c('matrix&
浏览 3提问于2017-01-11得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
