当样本数量不匹配时，如何将数据集拆分为训练和测试？
当样本数量不匹配时，可以采取以下方法将数据集拆分为训练和测试集：
- 留出法（Holdout Method）：将数据集按照一定比例（如70%训练集，30%测试集）随机划分为训练集和测试集。这种方法简单直观，但可能会导致样本分布不均衡的问题。
- 交叉验证法（Cross Validation）：将数据集划分为K个大小相似的子集，其中K-1个子集用于训练，剩余的1个子集用于测试，然后重复K次，每次选择不同的子集作为测试集，最后将K次的结果进行平均。常用的交叉验证方法有K折交叉验证、留一交叉验证等。
- 自助采样法（Bootstrap）：从原始数据集中有放回地随机采样生成新的训练集，未被采样到的样本作为测试集。自助采样法可以有效利用数据集，但可能会引入一些重复样本。
- 分层采样法（Stratified Sampling）：当样本不匹配时，可以根据样本的特征进行分层采样，保证训练集和测试集中各类别样本的比例相似。这种方法适用于样本不平衡的情况。
- 过采样和欠采样（Oversampling and Undersampling）：对于样本不匹配的情况，可以通过过采样（增加少数类样本）或欠采样（减少多数类样本）来调整样本数量，使得训练集和测试集的样本分布更加平衡。
以上是常用的将数据集拆分为训练和测试集的方法，具体选择哪种方法取决于数据集的特点和需求。在腾讯云中，可以使用腾讯云机器学习平台（https://cloud.tencent.com/product/tiia）来进行数据集的拆分和模型训练。
相关·内容
2回答
scikit了解用于交叉验证的不平衡数据的欠采样
python、machine-learning、scikit-learn
如何在scikit-learn中生成用于交叉验证的随机折叠？
假设我们有一个类的20个样本，另一个类的80个样本，我们需要生成N个训练集和测试集，每个训练集的大小为30，在每个训练集中，我们有50%的类1和50%的类2。
我找到了这个讨论()，但我不明白如何获得折叠。理想情况下，我认为我需要这样一个函数：
cfolds = np.cross_validation.imaginaryfunction(
[list(itertools.repeat(1,20)), list(itertools.repeat(2,80))],
n_iter=100, test_size=0.70)
我遗漏了什么？
浏览 3提问于2013-12-21得票数 6
2回答
不平衡分类问题的k-折叠CV估计测试AUC
machine-learning、classification、r、cross-validation、class-imbalance
我有一个不平衡的分类问题。
我首先将数据划分为训练集(数据集A)和测试集(数据集B)。
然后，我使用R包ROSE同时对Dataset A中的多数类进行了欠采样，并对少数类进行了过采样。这产生了一个平衡集(Dataset C)，其行数与Dataset A一样多。
我已经在数据集C和计算训练AUC上训练了我的模型。现在我想使用k倍交叉验证来估计(即不使用Dataset B)测试AUC。我该怎么做才好呢？
浏览 0提问于2018-04-04得票数 1
4回答
不平衡数据集分类的训练、测试分割
python、classification、training
我有一个做二进制分类的模型。
我的数据集是高度不平衡的，所以我认为在训练模型之前，我应该用不适当的抽样来平衡它。因此，平衡数据集，然后随机分割它。这条路对吗？还是应该平衡测试和训练数据集？
我只试着平衡整个数据集，我获得了80%的训练精度，但是在测试集上，我得到了30%的准确率。这看起来不对？
但我也不认为我应该平衡测试集，因为它可以被认为是偏见。
怎样才是正确的方法？
谢谢
更新:我有40万个样本，10%是1s，90%是0。我无法获得更多的数据。我试着保存整个数据集，但我不知道如何将其分割成训练集和测试集。在列车和测试数据集中是否需要相同的分布？
浏览 0提问于2018-06-08得票数 20
回答已采纳
2回答
不平衡数据集的交叉验证模式
classification、cross-validation、class-imbalance、imbalanced-learn
基于以前的帖子，我理解在使用不平衡数据集训练二进制分类模型时，需要确保CV过程中的验证折叠具有与原始数据集相同的不平衡分布。我的问题是关于最好的训练模式。
假设我有一个包含500万个样本的不平衡数据集，其中90%是pos类，10%是neg类，我将使用5倍的CV进行模型调优。另外，让我们假设我将提供一个随机的100 K样本进行测试(90K样本w/ pos类与10K样本w/ neg类)。现在我有两个选择：
选项1)
步骤1:随机抽取200 K不平衡的训练数据(180 K样本pos类与20K样本neg类)
步骤2:在每个CV迭代期间：
训练区将有160 K样本(144 K pos vs 16 K n
浏览 0提问于2020-06-16得票数 1
2回答
我们需要关心训练中的目标变量分布和回归问题中的验证集吗？
machine-learning、scikit-learn
在分类问题中，我们关心的是标签在训练和验证集中的分布。在sklearn中，train_test_split中有stratify选项，以确保训练和验证集中的标签分布相似。
在一个回归问题中，假设我们想要根据一系列特征来预测房价。我们需要关心房价在训练集和验证集上的分布吗？
如果是，我们如何在sklearn中实现这一点
浏览 2提问于2019-03-03得票数 1
1回答
测试组比火车组大
machine-learning、training、class-imbalance、accuracy、multilabel-classification
有两个类数据集，总共有1121个值，其中230来自同一类，891来自另一个类。训练集被从两个类中选择为230+230=460，测试集被选择为整个1121数据。
1)精度值小于0,50，甚至有些低到0,18和0,20。这有意义吗？对于两个等级的结果，如果我掷硬币，就有更多的机会做出准确的预测。对于两类预测，是否有小于0.50的精度？
(2)当从460列平衡列中选择两个测试组，并进行k倍(1:10)时，精度较高，可达0,90。
(3)测试结果之间的差异是否因为测试集比列车组大得多？
浏览 0提问于2021-01-21得票数 1
回答已采纳
1回答
列车/试验劈开前后的欠采样
machine-learning、classification、resampling、imbalanced-data
我有一个信用卡数据集，98%的交易是非欺诈，2%是欺诈.
我一直在试着在训练和测试分裂之前对专业课程进行低采样，并在测试集上获得了很好的召回率和精确性。
当我只对训练集做欠采样，在独立集上进行测试时，我的查全率很低，但召回率是一样的！
我的问题是：
我是否应该在分裂成训练和测试之前少采样，这会不会扰乱数据集的分布，而不是真实世界的代表？
还是上述逻辑仅适用于过采样时？
谢谢
浏览 3提问于2021-02-09得票数 2
回答已采纳
1回答
is分区和交叉between的区别是什么？
matlab、classification
load fisheriris;
y = species; %label
X = meas;
%Create a random partition for a stratified 10-fold cross-validation.
c = cvpartition(y,'KFold',10);
% split training/testing sets
[trainIdx testIdx] = crossvalind('HoldOut', y, 0.6);
crossvalind用于执行交叉验证，通过返回索引，将整个特性集X随机分成训练和测试数据。利用这些
浏览 1提问于2018-06-06得票数 1
回答已采纳
2回答
是什么使验证集成为测试集的良好代表？
python、scikit-learn、cross-validation、class-imbalance
我正在开发一个使用不平衡数据集的分类模型。我试图使用不同的抽样技术来提高模型的性能。
对于我的基线模型，我定义了如下所示的AdaBoost模型：
from sklearn.model_selection import KFold
kf = KFold(n_splits=5, shuffle=False)
ada = AdaBoostClassifier(n_estimators=100, random_state=42)
params = {
'n_estimators': [50, 100, 200],
浏览 0提问于2020-09-29得票数 0
回答已采纳
6回答
Weka中的交叉验证
validation、weka、fold
从我所读到的情况来看，我一直认为交叉验证是这样执行的：
在k次交叉验证中，将原始样本随机分成k个子样本.在k个子样本中，保留一个子样本作为模型测试的验证数据，其余的k−1子样本作为训练数据。然后交叉验证过程被重复k次(褶皱)，每个k个子样本精确地使用一次作为验证数据。从褶皱中得到的k值可以被平均(或以其他方式组合)来产生一个单一的估计。
因此，建立了k个模型，最后一个模型是这些模型的平均值。在Weka中，指南写道，每个模型总是使用所有的数据集来构建的。那么Weka中的交叉验证是如何工作的呢？模型是根据所有数据建立的，而“交叉验证”是否意味着创建k折叠，然后对每个折叠进行评估，最终的输出结果就
浏览 8提问于2012-05-03得票数 29
回答已采纳
1回答
不重叠群的多标号分层k-折叠分裂
machine-learning、cross-validation、multilabel-classification
对于多标签分层，我们有一个很好的解决方案，由scikit-multilearn实现，我相信它是基于“多标签数据分层”中提出的算法。但是，在某些情况下，当我们的数据集中的一些样本缺乏独立性时，我们需要分离的数据来包含不重叠的组。例如，如果我们有来自A组的10个样本和来自B组的5个样本，那么所有的A组样本都需要在一个分离的数据集中，而来自B组的所有样本都需要在另一个集合中。有谁知道实现这一目标的算法或近似算法吗？我可以用不相交的组生成训练和测试集，也可以创建标签分层培训和测试集，但我还没有找到一种好的方法来实现这两种方法。
浏览 0提问于2023-01-26得票数 0
3回答
如果学习曲线显示验证误差低于训练误差，预测是否可信？
tensorflow、machine-learning、keras、neural-network
我正在使用神经网络(NN)作为我的地球物理学论文的一部分，并且正在使用TensorFlow和Keras来训练我的网络。
我目前的任务是使用神经网络来近似热力学模型，即非线性回归问题。它接受13个输入参数，并输出450个参数的速度剖面(速度与深度)。我的数据由100,000个合成示例(即没有噪声存在)、训练(80k)、验证(10k)和测试(10k)组成。
我已经针对许多不同的架构测试了我的网络:更宽(5-800个神经元)和更深(最多10层)，不同的学习率和批量大小，甚至是许多时期(5000)。基本上所有交易的标准技巧...
但是，令我困惑的是，学习曲线显示验证误差低于训练误差(对于我的所有测试)
浏览 0提问于2019-01-29得票数 2
1回答
如何提高模型的预测精度
deep-learning、image-classification、accuracy
我正在使用InceptionV3模型进行培训。下面是代码(https://github.com/maxmelnick/tensorflow/blob/no_随机/tensorflow/示例/图像_再培训/再培训)的链接，最初我有一个小的数据集。因此，我使用了增强技术来增加数据集的大小。
培训阶段数据集分为培训、验证和测试。在训练阶段，11个班的准确率为96%。但当我预测任何新的输入图像(未见数据)时，它的准确率为56%。模型有什么问题？
我已经使用了Dropout，交叉验证，OverSampling技术，但在新的输入图像上没有取得好的效果。
训练时使用的参数。
训练样本-每班800张图片
培训
浏览 0提问于2020-09-01得票数 1
2回答
将验证集与交叉验证方法一起使用是否有意义？
machine-learning、neural-network、weka
我想用Weka训练一个有大约200个样本和6个属性的MultiLayerPerceptron。我在考虑将训练和测试分成两部分，在火车上，指定训练中的某个%作为验证集。但后来我考虑使用折叠交叉验证，以便更好地利用我的样本集。
我的问题是:在进行交叉验证方法时，指定验证集有意义吗？
而且，考虑到样本的大小，你能给我一些关于这两种方法的数字吗？(例如，2/3用于训练、1/3测试和20%验证...对于简历:10折、2折或LOOCV ...)
提前谢谢你！
浏览 3提问于2012-12-06得票数 0
回答已采纳
2回答
测量分类算法的性能
artificial-intelligence、machine-learning、nlp、classification、bayesian
我手头有一个分类问题，我想用机器学习算法来解决这个问题(贝叶斯或马尔可夫，这个问题与要使用的分类器无关)。在给定大量训练实例的情况下，我正在寻找一种方法来衡量实现的分类器的性能，同时考虑到数据过拟合问题。
也就是说:给定N1..100个训练样本，如果我在每个样本上运行训练算法，并使用这些完全相同的样本来测量适应度，它可能会陷入数据过拟合问题-the分类器将知道训练实例的确切答案，而没有太多的预测能力，导致适应度结果无用。
一个显而易见的解决方案是将手工标记的样本分成训练样本和测试样本；我想了解选择统计上有意义的样本进行训练的方法。
白皮书，书籍指针，和PDF非常感谢！
浏览 3提问于2009-01-02得票数 8
回答已采纳
1回答
具有过采样/不平衡数据的模型决策阈值优化
cross-validation、model-selection、smote、grid-search
我正在开发一个具有高度不平衡数据集(0.7%的少数类)的模型。为了纠正这种不平衡，我打算使用不平衡的学习库中的算法进行过度抽样。我有一个工作流程，我想要分享，并获得一个意见，如果我是朝着正确的方向，或者我可能错过了什么。
分离式列车/测试/Val
为GridSearch设置流水线并优化超参数(管道只对训练折叠进行过采样)
评分标准将是AUC，因为训练集在这一点上是平衡的。
由于模型是在平衡数据集上训练的，因此它可能非常保守，并且预测了许多假阳性。
考虑到上述因素，将对模型进行校准，以获得更精确的概率(CalibratedClassifierCV)。
在验证集上查看具有校准概率阈值的精度/召回曲
浏览 0提问于2018-09-21得票数 2
1回答
列车试验分裂后不平衡数据的欠采样
machine-learning、resampling、train-test-split
我是机器学习的新手，目前正在从事一个数据不平衡的项目。我想用随机抽样来平衡数据。我很困惑是应该在测试列车分裂后进行欠采样，还是应该先进行欠采样，然后再进行列车测试分割？
我的方法是: 1.我用火车测试拆分得到: X_train，y_train用于培训，X_test和y_test用于测试。2.将X_train和y_train合并为一个数据集，进行欠采样。3.在欠采样后，进行了基于F1评分的交叉验证和模型选择，并利用X_test、Y_test进行了预测。
我的方法正确吗？如果我错了，请纠正我。
浏览 1提问于2020-05-22得票数 5
1回答
在交叉验证中，weka是否平衡了跨类的训练/测试集？
machine-learning、weka、cross-validation
当我对m类执行n折交叉验证时，在每一折中，训练集和测试集是否平衡？所谓平衡，我的意思是问，是否有(几乎)相同的样本集，从每个类别的火车和测试集。
浏览 8提问于2013-01-31得票数 0
2回答
不同训练图像个数的图像分类
machine-learning、neural-network、deep-learning、training
我试着用4种不同的类别训练神经网络来进行图像分类：
汽车(22k训练例子)
大楼(8k培训实例)
行人(5k训练例子)
树木(1k训练实例)
问题是训练图像的数量偏向于一个/两个类(Es)。
我想知道是否有一种方法来训练神经网络，根据每堂课训练样本的数量？
我是否必须将每堂课的训练样本数目限制在所有课程的最少数目？
浏览 0提问于2018-07-29得票数 3
回答已采纳
3回答
如何将不平衡数据集分割和重采样成列车、验证和测试
python、classification、scikit-learn、class-imbalance、imbalanced-learn
我想了解如何用二进制目标变量分割不平衡的数据集，其中87%的样本为负，13%的样本为正。现在，我知道，在进行任何类型的重采样以避免信息泄漏之前，您应该始终将数据分割成训练和测试集，但是怎样才能提供更好的结果--随机train_test_split或StratifiedShuffleSplit？普遍的看法是，在数据集不平衡的情况下，后者的表现似乎优于前者。顺便问一下，StratifiedShuffleSplit是如何工作的？
此外，如何考虑交叉验证集和如何处理它？
它是否还应包含相同数量的阳性和阴性样本，按照在培训集上进行的抽样？
浏览 0提问于2019-10-10得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频活动推荐
腾讯云开发者
