基于标称值的Weka交叉验证
是一种在机器学习领域中常用的模型评估方法。它通过将数据集划分为训练集和测试集，并重复多次进行模型训练和测试，以评估模型的性能和泛化能力。
在交叉验证过程中，数据集被划分为k个大小相等的子集，其中k-1个子集用作训练集，剩下的一个子集用作测试集。然后，使用训练集训练模型，并在测试集上进行预测。重复这个过程k次，每次选择不同的测试集，最后将k次的评估结果进行平均，得到模型的最终性能指标。
基于标称值的Weka交叉验证适用于分类问题，其中标称值指的是离散的类别标签。它的优势在于能够更准确地评估模型的性能，减少由于数据集划分不合理而引起的偏差。此外，交叉验证还可以帮助选择合适的模型参数，以提高模型的泛化能力。
在腾讯云的产品中，可以使用腾讯云机器学习平台（Tencent Machine Learning Platform）来进行基于标称值的Weka交叉验证。该平台提供了丰富的机器学习算法和工具，可以方便地进行模型训练、评估和部署。您可以通过以下链接了解更多关于腾讯云机器学习平台的信息：腾讯云机器学习平台
请注意，以上答案仅供参考，具体的产品选择和链接地址可能需要根据实际情况进行调整。
相关·内容
1回答
何时使用交叉验证？
machine-learning、random-forest、cross-validation
Cross-validation
嗨，我正在使用Weka在我的MSc论文中部署机器学习模型。我已经注意到，当我在训练数据集中使用10倍交叉验证时，与在整个数据集上没有交叉验证的情况下训练模型相比，我得到了较低的评估指标，如果我在测试数据集上测试该模型时获得更好的性能，这将是有意义的，然而，它保持相同的性能。例如，我为一个回归问题训练了一个随机森林模型，这些是我得到的结果：
1.没有交叉验证：
培训：
R = 0.97; Mae = 1.31; Rmse = 1.78
测试：
R = 0.91; Mae = 2.70; Rmse = 3.57
2.具有10倍交叉验证：
培训：
R = 0.76;
浏览 0提问于2021-01-23得票数 0
1回答
当训练数据在交叉验证中发生变化时，模型(最佳拟合线/曲线)是否发生变化？
machine-learning、predictive-modeling、cross-validation
据我所知，机器学习算法通过输入(自变量)来预测输出(因变量)。我相信，哪条线/曲线最能定义培训数据将取决于培训数据。当它确定最佳的线或曲线时，绘制新的输入，并在绘图的基础上找到目标变量。
我的问题是，在交叉验证过程中，由于分割的不同，训练数据会发生变化，这难道不应该改变最佳拟合线吗?这难道不应该使K个不同的模型(=分裂数)发生变化吗？如果是(它使K不同的模型)，那会有什么用呢？如果没有，那我哪里出错了？
浏览 0提问于2021-02-12得票数 0
回答已采纳
6回答
Weka中的交叉验证
validation、weka、fold
从我所读到的情况来看，我一直认为交叉验证是这样执行的：
在k次交叉验证中，将原始样本随机分成k个子样本.在k个子样本中，保留一个子样本作为模型测试的验证数据，其余的k−1子样本作为训练数据。然后交叉验证过程被重复k次(褶皱)，每个k个子样本精确地使用一次作为验证数据。从褶皱中得到的k值可以被平均(或以其他方式组合)来产生一个单一的估计。
因此，建立了k个模型，最后一个模型是这些模型的平均值。在Weka中，指南写道，每个模型总是使用所有的数据集来构建的。那么Weka中的交叉验证是如何工作的呢？模型是根据所有数据建立的，而“交叉验证”是否意味着创建k折叠，然后对每个折叠进行评估，最终的输出结果就
浏览 8提问于2012-05-03得票数 29
回答已采纳
2回答
术语.分类任务的交叉验证试验和验证集
classification、cross-validation、matlab、terminology
( Confusion1)如果k=10，那么这是否意味着90%用于培训，10%用于测试？所以我们总是有k%来测试吗？
在下面的代码中，我使用了10倍的交叉验证来训练支持向量机( Confusion2)。一般来说，数据集将分为(a)训练集、meas(trainIdx,:) (b)测试集、meas(testIdx,:) c)验证集。在交叉验证方法中，我通过在循环中进行训练和验证来构建支持向量机学习者。根据我的理解，验证数据必须与培训和测试完全不同。但是，在许多在线资源中，据说经过交叉验证后，必须对整个数据集进行重新培训，在本例中，该数据集将是meas(:,1:end)。如果是这样的话，那么交叉验证
浏览 0提问于2018-06-25得票数 2
回答已采纳
2回答
神经网络训练时交叉验证？
neural-network、cross-validation、training
训练神经网络时的标准设置似乎是将数据分割成训练集和测试集，并一直运行到测试集上的分数停止提高为止。现在，问题是:测试分数中存在一定数量的噪声，因此单个最佳分数可能不符合网络状态，而网络状态最有可能是新数据上的最佳状态。
我见过一些论文指出训练中的一个特定时代或迭代是“交叉验证最好的”，但我不知道这是如何确定的(论文没有提供任何细节)。“交叉验证的最佳”点不是有最好的测试分数的点。
如何进行这种类型的交叉验证？会不会是在测试集上做k折叠？好吧，这给了k个不同的测试分数，而不是一个，然后呢？
浏览 0提问于2016-04-09得票数 6
回答已采纳
1回答
如何从交叉验证的数据创建学习曲线？
validation、machine-learning、artificial-intelligence、neural-network、cross-validation
我有一个算法，使用10倍交叉验证。在训练集中，我使用其中一个折叠来验证训练模型，然后再使用折叠上的学习模型进行测试。
我想创建一个学习曲线，这意味着我需要改变训练集的大小。这是否意味着我也会随着培训数据而改变验证集的大小？这是否意味着我也需要改变测试集的大小(除了训练和验证折叠之外)？
浏览 1提问于2015-04-15得票数 1
回答已采纳
2回答
为什么需要k倍交叉验证？
machine-learning、cross-validation
我使用k-折叠交叉验证，但不明白它的目的。在分割训练和测试数据集中的数据集之前，通常会对数据集的条目进行随机化。给定训练数据集，进行k次交叉验证，目的是预先估计模型的性能。在随机化的情况下，在交叉验证的循环中，不太可能出现从一次运行到下一次的戏剧性变化。最多可以观察到一些正常的波动。
考虑到交叉验证内部的性能，交叉验证回答了哪些问题？假设表现不佳，是否意味着我们应该放弃训练模式？
如果整个模型的训练时间或其他资源都很昂贵，我就能理解k折叠交叉验证的目的。在这种情况下，将训练集分割到进行验证的k个子集中，可能会为模型的性能提供预测。考虑到即使在大数据上，对整个训练集进行模型拟合是以可接受的时间复
浏览 0提问于2022-03-05得票数 10
1回答
weka机器学习分类与预测
classification、weka、prediction
我对机器学习很陌生。如果我的英语有任何错误，很抱歉。
我使用weka J48分类来预测真假。我几乎有999K的训练集，我用来训练模型。采用3倍交叉验证方法对模型进行训练，精度达到84%。
现在在存储模型之后。我试着在50k数据集上测试它。结果非常糟糕，其中50%是错配的。我有11个带有名词和数字字段的属性。
我不知道为什么会这样。
我有两个问题。
如何在测试集上进行更好的训练。
什么是可能的问题。
我在java中使用weka api。
浏览 7提问于2015-11-23得票数 1
5回答
是否总是更好地使用整个数据集来训练最终模型？
machine-learning、dataset、training、accuracy
在对机器学习模型进行训练、验证和测试之后，一种常用的技术是使用完整的数据集(包括测试子集)来训练最终模型，以便将其部署到产品上。
我的问题是:这样做是否总是为了最好？如果表演真的变坏了呢？
例如，让我们假设模型在分类测试子集时得分在65%左右。这可能意味着要么模型训练不够，要么测试子集由异常值组成。在后一种情况下，使用它们来训练最终模型会降低其性能，并且只有在部署它之后才会发现。
重新表述我最初的问题：
如果你曾经对模型进行过一次演示，比如在一次昂贵的火箭实验中将其部署在嵌入式电子设备上，那么你会相信一个在最后一步使用测试子集重新训练过的模型，而没有重新测试它的新性能吗？
浏览 0提问于2018-06-12得票数 53
2回答
对模型进行培训是否需要验证集？
validation、machine-learning、cross-validation
为了我的研究，我用CNN建立了一个三维图像分类模型。我只有5000张图像，训练用4500张图像，测试集用500张图像。我尝试了不同的结构和参数的训练和F1评分和训练集的准确性高达0.9。幸运的是，我没有花很多时间来寻找这些设置的高精度。
将该模型应用于测试集，得到了较满意的预测结果，F1评分为0.8~0.85。
我的问题是，是否有必要进行验证？当我当时参加机器学习课程时，我被教导使用一个验证集来调整超参数。我没有做k-折叠交叉验证的原因之一是因为我没有太多的数据，并且希望使用尽可能多的培训数据。我的模型对测试集进行了很好的预测。我的模型还能说服人们，只要精确度/F1分数/ROC足够好吗？或者，
浏览 0提问于2018-03-02得票数 1
回答已采纳
1回答
要求澄清分类器的准确性
machine-learning
我正在使用MATLAB中的分类学习者。在训练模型时，一些分类器的精度较高，而另一些分类器的精度较低。由于我是机器学习的新手，所以我想问一问，我们应如何从这一点出发，即我们是否只需要考虑精度最高的分类器？
浏览 4提问于2020-05-20得票数 0
回答已采纳
1回答
机器学习中不同方法的比较
machine-learning
如何确定我的机器学习模型的最佳策略？例如，让我们考虑一个场景，其中我正在处理线性回归，并希望比较三种不同的方法。第一种方法涉及使用所有特征作为输入，第二种方法需要手动选择最相关的特征作为输入，第三种方法涉及到实现主成分分析(PCA)。考虑到这三种方法，是否应该使用k-折叠交叉验证来评估每一种方法，而不需要再培训模型，然后比较交叉验证的结果以确定最佳的方法而不使用测试数据集？
浏览 0提问于2023-06-01得票数 0
1回答
如何在Tensorflow中的训练之间进行评估
python、tensorflow、machine-learning、tensorboard
根据我对机器学习的理解(尽管我对机器学习非常陌生)，需要在训练过程中对模型进行评估。这将避免过度拟合或减少错误预测的可能性。
我尝试修改Tensorflow官方网站提供的鲍鱼示例，以适应我的项目，我发现代码只在模型训练完成后进行一次评估。
这对我来说非常奇怪，因为只有一次评估似乎使“评估阶段”变得无用。换句话说，如果培训已经完成，那么评估有什么用呢？它不能帮助建立一个更好的模型，不是吗？
下面是我的代码的一部分：
nn = tf.estimator.Estimator(model_fn=model_fn, params=model_params, model_dir='/tmp/nm
浏览 0提问于2018-06-30得票数 2
1回答
EM-ELM交叉验证
machine-learning、neural-network、cross-validation
我知道交叉验证用于找到最大限度减少平均误差的最佳超参数。例如，将交叉验证的平均误差最小化的神经元数在ELM中估计。
但我想知道如何在EM-ELM网络中应用交叉验证(如K-折叠)：
冯，G，黄，G.B.，林，Q，& Gay，R. (2009)。误差最小化的极端学习机器增长的隐藏节点和增量学习。IEEE关于神经网络的交易，20 (8)，1352-1357。
其中，使用训练集自动估计体系结构。在EM-ELM中应用交叉验证的最佳和最标准方法是什么？是否有可能将交叉验证过程纳入到网络的增长中？
浏览 0提问于2018-07-05得票数 4
1回答
如何在这些模型之间进行选择？
scikit-learn、regression、beginner
我有一个回归问题，所以我尝试了一些回归模型来选择最好的模型(基于RMSLE)，以下是结果：
📷
下面是所有的模型= ('LR'，LinearRegression()，(‘LR’，PolynomialFeatures())，('KNN'，KNeighborsRegressor()，('DT'，DecisionTreeRegressor())，('RF'，RandomForestRegressor()，('GBM'，GradientBoostingRegressor())，('XGB'，XGBRegre
浏览 0提问于2023-03-23得票数 1
1回答
机器学习--“train_test_split”函数在scikit中的作用--学习:我应该重复几次吗？
machine-learning、python、scikit-learn
我是一个机器学习的初学者，我希望有人能帮助我。
在Python的“scikit-learn”库中，函数“train_test_split”将数据集分成训练集和测试集。这是一种随机的方式(可能使用种子在重复执行中获得相同的结果)。但是，在一个随机分裂的情况下，我们能相信通过“拟合”方法得到的结果(分类精度)吗？我是说..。如果我们是“不幸的”，我们可能会得到一个非常糟糕的结果(或相反，如果我们是“幸运的”)。我们不应该多次重复拆分/拟合过程(例如100次)，然后平均获得分类精度吗？(可能是在通过交叉验证进行参数调整之后)。
我之所以问这个问题，是因为我以前使用了Python的Orange数据挖掘
浏览 0提问于2018-08-22得票数 6
2回答
用测试样本来比较算法可以吗？
machine-learning、scikit-learn、sampling
我正在做一个小项目，我的数据集有6k行和大约300个特性，有一个简单的二进制结果。
因为我还在学习ML，所以我想尝试所有我能找到并比较结果的算法。
正如我在教程中所读的，我将我的数据集分成一个训练样本(80%)和一个测试样本(20%)，然后用交叉验证(5倍)训练我的算法。
我的计划是以这种方式训练我的所有模型，然后在测试样本上衡量它们的性能，以选择最佳的算法。
这会导致过度适应吗？如果是这样的话，由于我无法比较model_selection.GridSearchCV内部的几种模型，我如何才能防止它过度适应呢？
浏览 0提问于2019-04-21得票数 3
回答已采纳
2回答
交叉验证--使用测试集还是验证集来预测？
validation、machine-learning
我有个关于交叉验证的问题。
在机器学习中，我们知道有训练，验证，测试集。测试集是最终运行，以查看最终模型/分类器的性能。
但是在交叉验证的过程中:我们将数据分成训练集和测试集(大多数教程都使用这个术语)，所以我很困惑。我们是否需要将整个数据分成三个部分:培训、验证、测试？因为在交叉验证中，我们一直在谈论与2组的关系:训练和另一组。
有人能帮我澄清一下吗？
谢谢
浏览 2提问于2017-04-27得票数 7
回答已采纳
1回答
交叉验证过程
matlab、neural-network
我正在研究一种声音变形系统。我有源语音信号(分为测试、训练和验证)和目标语音信号(分为测试、训练和验证数据)。现在我正在设计一个具有三重交叉验证的径向基神经网络来寻找变形的语音小波系数。我需要用源和目标训练数据初始化网络，并使用训练和验证样本执行3折交叉验证。
我认为根据交叉验证，我需要将我的数据集划分为3个部分，然后使用其中的2个用于训练，另一个用于测试。(对所有折叠重复此过程)。现在的问题是，我想知道我是否需要将我的源训练数据分成3部分或目标训练...？？
因此，我需要知道如何应用交叉验证？有没有人能为我详细解释一下这个过程？
浏览 0提问于2012-02-23得票数 2
回答已采纳
1回答
列车试验分裂后不平衡数据的欠采样
machine-learning、resampling、train-test-split
我是机器学习的新手，目前正在从事一个数据不平衡的项目。我想用随机抽样来平衡数据。我很困惑是应该在测试列车分裂后进行欠采样，还是应该先进行欠采样，然后再进行列车测试分割？
我的方法是: 1.我用火车测试拆分得到: X_train，y_train用于培训，X_test和y_test用于测试。2.将X_train和y_train合并为一个数据集，进行欠采样。3.在欠采样后，进行了基于F1评分的交叉验证和模型选择，并利用X_test、Y_test进行了预测。
我的方法正确吗？如果我错了，请纠正我。
浏览 1提问于2020-05-22得票数 5
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
