如何用WeightedRandomSampler平衡PyTorch中的不平衡数据？

文章/答案/技术大牛

发布

1回答

python、machine-learning、pytorch

我有一个2级的问题，我的数据不平衡。类0有232550个样本，类1有13498个样本。PyTorch文档和互联网告诉我在我的DataLoader中使用WeightedRandomSampler类。我尝试过使用WeightedRandomSampler，但一直收到错误。classcount, dtype=torch.float) tr

浏览 40提问于2019-01-29得票数 2

1回答

如何平衡(过采样) PyTorch中的不平衡数据(与WeightedRandomSampler)？

python、machine-learning、pytorch、data-cleaning

我有一个二级问题，我的数据非常不平衡。我有一个类别的232550个样本和第二个类别的13498。PyTorch文档和互联网告诉我使用WeightedRandomSampler类作为我的DataLoader。 train_sampleweights = train_weights[trainset.labels] tr

浏览 0提问于2019-01-29得票数 3

回答已采纳

1回答

CNN学习不正确

deep-learning、regression、pytorch、conv-neural-network、multiclass-classification

我有一个包含500张植物图像的小数据集，我必须预测1，10范围内的单个图像的数字。这些数字之间存在顺序关系(10 >9> ... > 1)。这个问题类似于基于一张照片的年龄估计。他们都没有给出一个很好的结果。有趣的是，当我绘制一些图像的热图时，它显示模型选择了错误的点来预测答案。这就像，如果我想根据面部照片来预测年龄，cnn给了背景更多的价值，而不是实际的脸。我也尝试了其他方法，

浏览 35提问于2020-04-06得票数 0

2回答

在PyTorch中使用WeightedRandomSampler

machine-learning、deep-learning、computer-vision、pytorch

我需要在PyTorch中实现一个多标签图像分类模型。但是我的数据不平衡，所以我使用PyTorch中的WeightedRandomSampler创建了一个自定义数据加载器。但是当我遍历定制的dataloader时，我得到了错误：IndexError: list index out of range 使用此链接实现了以下代码:https://discuss.pytorch</

浏览 256提问于2020-03-23得票数 5

回答已采纳

2回答

加权随机取样器-过采样还是欠采样？

pytorch、oversampling、pytorch-dataloader

问题我正在PyTorch中为二进制分类训练一个深度学习模型，并且我有一个包含不平衡类比例的数据集。我的少数派阶级在给定的观察中补充了关于10%的内容。为了避免模型学习只预测大多数类，我想在我的WeightedRandomSampler中使用来自torch.utils.data的DataLoader。假设我有1000观测(900在0类中，100在类1中</

浏览 9提问于2021-06-02得票数 7

2回答

Pytorch -如何使用加权随机采样器进行欠采样

neural-network、pytorch、imbalanced-data、conv-neural-network

我有一个不平衡的数据集，并希望对类进行欠采样，即overrepresented.How do I go。我想使用称重随机采样器，但我也对其他建议持开放态度。到目前为止，我假设我的代码必须像下面这样的结构。但我不知道该怎么做。trainset = datasets.ImageFolder(path_train,transform=transform) ... sampler = data.WeightedRandomSampler

浏览 2提问于2020-02-20得票数 1

4回答

如何查找数据集是平滑的还是不平衡的？

machine-learning、classification、class-imbalance、sampling、imbalanced-learn

我没有几个数据集可以实验分类(多类).这些数据集大约有400 are。我想知道数据集是平衡的还是不平衡的。如何用任何科学方法来了解数据集是平衡的还是不平衡的？

浏览 0提问于2019-10-13得票数 0

1回答

如何在PyTourch中创建平衡循环迭代器？

python、pytorch

我希望每个时期的每个类都有相同数量的数据(在这种情况下意味着17乘17 )。此外，我还想在每个时期(第一个17个，下一个17个，...)有更多数据的类中滑动采样窗口。_next_epoch() return next(self.iterator) 我想知道如何强制每个类的所有样本在每个时期具有相等的计数？

浏览 19提问于2020-07-13得票数 0

回答已采纳

1回答

当标签是logit时，应该如何创建WeightedRandomSampler的权重以进行对象检测？

pytorch、conv-neural-network、image-classification、overfitting-underfitting

我一直在尝试用CNN对VOC2007数据集进行分类。数据集存在不平衡，多个图像具有“person”类，而所有其他类的图像非常少，我的模型一直存在过度拟合的问题。为了过采样，我一直在我的数据加载器中使用WeightedRandomSampler。idx, (data, label) in enumerate(ds_train): sample_weights[idx]=np.dot(weights, label) samp

浏览 14提问于2021-10-04得票数 0

1回答

如何在PyTorch中根据标签量调整批次数据

pytorch

n_grams.append(n_gram) return n_grams, document_ids train_data = create_pytorch_datasets但是，正如您所知道的，根据文档的长度，根据标签的</e

浏览 25提问于2020-07-16得票数 0

回答已采纳

1回答

为什么被过度表示的类的数据不是不平衡的？

class-imbalance、terminology、imbalanced-data

我见过一个术语“不平衡”，用来描述具有一个类的过度表示的数据。将这类数据命名为不平衡而不是不平衡的原因是什么，它似乎已经完全符合预期的含义了？

浏览 0提问于2022-11-09得票数 3

回答已采纳

2回答

对于不平衡类(使用PyTorch)使用什么丢失函数？

neural-network、pytorch

我有一个包含3个类的数据集，其中包含以下项：第2类: 15000种元素我需要预测1级和3级，这表明偏离了常模。第2类是我不关心的默认“正常”情况。我在这里会使用什么样的损失函数？我在考虑使用CrossEntropyLoss，但是由于存在类不平衡，所以需要加权吗？这在实践中是如何运作的？像这样(使用PyTorch)？这是一种正确的方法，还是我可以使用的其他/更好

浏览 0提问于2019-04-01得票数 49

回答已采纳

1回答

一组训练中有多少不平衡是个问题？

classification、class-imbalance

在一个简单的二元分类问题中，多数阶级到少数群体阶级在什么时候变得显着性？直觉地说，我认为3:1的比例不是问题，甚至不是10:1的比例。但是，100:1的比例确实需要一些行动。这个截止点可能是什么？作为后续行动，除了过抽样和过抽样之外，可能会出现什么潜在的解决方案？

浏览 0提问于2021-03-12得票数 2

回答已采纳

3回答

在Auto-Sklearn中处理多类分类的不平衡数据集的最佳方法

python、machine-learning、scikit-learn、multiclass-classification

我正在使用Auto-Sklearn，并且有一个包含42个严重不平衡的类的数据集。处理这种不平衡的最好方法是什么？据我所知，在机器学习中存在两种处理不平衡数据的方法。要么使用重采样机制，如过采样或欠采样(或两者的组合)，要么在算法级别上通过选择需要深入了解Auto-Sklearn中使用的算法的归纳偏差来解决它。我不太确定如何处理这个问题。有没有可能

浏览 2提问于2020-02-21得票数 2

1回答

数据增强-如何为每个类生成不同数量的新数据？

python、machine-learning、data-augmentation

我只想为特定的标签生成新的增强图像。例如，数据库FER2013： sns.countplot(df.emotion) 所以，我得到了每一种情感的</em

浏览 4提问于2021-07-20得票数 0

2回答

验证显示出巨大的波动。可能是什么原因？

image-classification、cnn、loss-function

我的训练损失平稳地减少了，这是预期的行为。然而，我的验证损失显示出很大的波动。这是我应该担心的事情，还是我应该选择在我的业绩衡量(准确性)上得分最好的模型？附加信息:我正在微调一个Resnet-18的最后一层，它是在ImageNet数据上接受过PyTorch预培训的。我必须指出，我在训练阶段使用了一个加权损失函数，因为我的数据非常不平衡。如

浏览 0提问于2018-05-02得票数 10

回答已采纳

1回答

EasyEnsemble解释

python、random-forest、pandas、class-imbalance、ensemble-modeling

有人能解释一下EasyEnsemble算法是如何工作的吗？我用它作为一个不平衡的少数民族阶级的预测模型。我在Pandas中使用算法，并在UnbalancedDataset库中使用GitHub UnbalancedDataset 我得到了一个矩阵数组，作为O/P，我不知道如何用它来训练随机森林

浏览 0提问于2016-05-09得票数 2

回答已采纳

1回答

为什么不平衡的数据集会使预测模型偏向于更常见的类？

machine-learning、neural-network、deep-learning、bigdata、optimization

正如我们所知，不平衡的数据集在训练深度学习模型方面有一个缺点.但是，我不知道如何用数学来解释它？

浏览 0提问于2018-09-09得票数 4

1回答

进行类不平衡正则化的正确位置(数据级或批次级)

python、machine-learning、pytorch

我有两个二进制不平衡数据集，标签是0或1，预测输出在0到1之间。正样本有10000个样本，负样本有90000个样本。我在训练的时候用了一批100。当计算BinaryCrossEntropyLoss (以pytorch为单位)时，可以提供每个批次元素的正则化权重。我的问题是:要计算一般类别权重，更有意义的是在开始时计算1次(因此1/(10000/(100000)对于正例)，并用这个值衡量每个样本的损失或者：通过首先找出批次类别<e

浏览 25提问于2019-10-04得票数 0

1回答

加权随机取样器在PyTorch中的应用

python、pytorch

我试图使用WeightedRandomSampler来处理数据集中的不平衡(class1: 2555，类2: 227，类3: 621，类4: 2552 )。然而，我调试了这些步骤，但它背后的直觉对我来说并不清楚。我的目标标签是一个热编码向量的形式，如下所示。如果我对任何步骤的解释有误，请纠正我。计数数据集中每个类的样本数。权重= 1. / class_sample_count权重数组(0.00039139

浏览 1提问于2021-09-24得票数 0

回答已采纳

点击加载更多