我正在尝试使用ROSE来帮助采样不平衡。我的ovun.sample代码创建了空值，我如何解决这个问题？
首先，感谢您提供的问题。根据您的描述，您正在尝试使用ROSE来帮助采样不平衡的数据集。然而，您在使用ovun.sample代码时遇到了创建空值的问题。下面是我对这个问题的完善且全面的答案：
ROSE是一种用于处理不平衡数据集的Python库，它通过合成新的少数类样本来平衡数据集。在使用ROSE时，如果您的ovun.sample代码创建了空值，可能是由于以下几个原因导致的：
- 数据集中的少数类样本数量太少：如果数据集中的少数类样本数量非常少，ROSE可能无法生成足够的合成样本来平衡数据集。这种情况下，您可以尝试使用其他采样方法或者考虑收集更多的少数类样本。
- 数据集中存在缺失值：如果数据集中存在缺失值，ROSE在生成合成样本时可能会遇到问题。在使用ROSE之前，您可以先对数据集进行缺失值处理，例如使用插补方法填充缺失值或者删除包含缺失值的样本。
针对您遇到的问题，您可以尝试以下解决方法：
- 检查数据集中的样本分布：确保您的数据集中的少数类样本数量足够，如果数量太少，可以考虑收集更多的少数类样本。
- 处理数据集中的缺失值：在使用ROSE之前，对数据集进行缺失值处理，可以使用插补方法填充缺失值或者删除包含缺失值的样本。
- 调整ROSE的参数：ROSE提供了一些参数可以调整，例如生成合成样本的数量、合成样本的分布等。您可以尝试调整这些参数来解决空值的问题。
如果您需要更详细的帮助，建议您查阅ROSE的官方文档或者寻求ROSE相关的社区支持。
此外，腾讯云也提供了一些与不平衡数据集处理相关的产品和服务，例如腾讯云机器学习平台（https://cloud.tencent.com/product/tcmlp）和腾讯云数据处理平台（https://cloud.tencent.com/product/dp）等，您可以根据具体需求选择适合的产品和服务来处理不平衡数据集。
希望以上信息对您有所帮助！如果您还有其他问题，请随时提问。
相关·内容
2回答
我有多类分类问题，数据严重倾斜。我的目标变量(y)有3个类，它们在数据中的百分比如下：- 0=3% - 1=90% - 2=7%
我正在寻找包在R，可以做多类过采样，欠采样或这两种技术。
如果在R中做不到，那么我可以在哪里处理这个问题。？
PS:我尝试在R中使用ROSE包，但它只适用于二进制类问题。
浏览 1提问于2019-02-20得票数 0
回答已采纳
在使用搅动数据集时，我们通常会发现不平衡的数据集。我的问题是如何决定我们应该在什么基础上重新整理数据。例如:在训练前分割数据时，我们在训练中分开测试(70-30或70-25)，同样地，如果我有0级的62%，在这种情况下是1级的38%，我们需要重采样数据吗？
浏览 0提问于2021-05-28得票数 2
我正在尝试对高度不平衡的数据集执行二进制分类。我的目标值是0(84%)和1 (16%)。我在模型中使用了class_weight，但少数类的精度和召回率始终为0。我不确定我是否正确使用了class_weights。非常感谢大家在这方面的帮助！
下面是我的代码：
class_weight = {0:1,1:50}
numpy.random.seed(5)
model = Sequential()
model.add(Dense(13,input_dim = 5, activation='relu'))
model.add(Dense(13, activation='re
浏览 0提问于2018-04-13得票数 0
我有一个名为yeast4的不平衡数据集。记录分为两类目标“积极”和“消极”。正类只占总比例的3%。我使用了kNN算法进行分类，我没有指定k，但我在训练数据上使用了5折交叉验证。我发现: auc_knn_none = 0.7062473。我很感兴趣地添加了一个过采样算法来提高模型的质量。所以我使用了SMOTE算法，而且我没有指定k ok kNN，我在训练数据上使用了5折交叉验证。但这次，我发现: auc_knn_smote = 0.56676。通常情况下，auc_knn_smote必须高于auc_knn_none，所以有一些问题，我不知道问题出在哪里。下面是我的代码：
library(imbal
浏览 9提问于2020-08-30得票数 0
2回答
我正在开发一个数据集，它有一个二元变量，但包含98%的0's和2%的1's，我试图用Logistic回归来预测产品的购买。但由于0's人数众多，模型预测效果不佳，得到了大量的假阳性结果。
请建议我如何处理这件事。
浏览 0提问于2018-03-12得票数 0
回答已采纳
我的训练数据具有极不平衡的类{0:8725，1:3335}，具有100个特征。我使用xgboost通过贝叶斯优化来构建分类模型，以在{learning rate:(0.001,0.1)，min_split_loss:(0.10)，max_depth:(3,70)，min_child_weight:(1:20)，max_delta_step:(1,20)，subsample:(0:1)，colsample_bytree:(0.5,1)，λ：(0，10)，alpha:(0,10)，scale_pos_weight:(1,262)，n_estimator:(1,20)}范围内对模型进行超调优。我还使
浏览 6提问于2021-02-27得票数 0
我已经为一个bug分类项目工作了一段时间了。
我的目标是：“给定一个新的bug，我想预测哪个‘最终所有者组’它将被分配给(6个标签作为目标)”
我从数据库中提取了几个特性(大约17000个示例)：
自由textdescription texthas_errors ===>>布尔(“是”或“'no')has_panics ===>>布尔”(“是”或“'no')has_images ===>>布尔”)(“是”或“'no')committer组”)(“是”或“‘no’)committer组”)
最后，目标标签(如前所
浏览 6提问于2021-07-23得票数 1
1回答
我需要任何熟悉我面临的问题的人的帮助。 我想使用SVM、随机森林和深度神经网络(DNN)对两个不同的数据集进行分类。我的一个数据集是平衡的，另一个数据是高度不平衡的。下面是我的数据集的图像，它对于分类是不平衡的。 ? 我想要比较用于这两个数据的所有机器学习的分类结果。哪个数据集产生更好的分类结果。对于平衡数据集，我没有问题，因为可以正常处理它，但对于不平衡数据集，我有点困惑。 我的问题是，我对使用不平衡数据进行分类的步骤感到困惑。据我所知，为了处理不平衡的数据，我们应该进行抽样。 我是必须先分类并获得结果，还是应该先进行过采样并分类并获得结果？对不平衡数据集进行分类的正确步骤是什么？
浏览 20提问于2019-04-12得票数 0
2回答
我对数据科学和机器学习相当陌生，并且一直在尝试更多地阅读一些方法，比如为我正在从事的项目之一做助推。这个项目的研究人员对利用xgboost进行这个项目很感兴趣，但是一旦我们得到数据，我们就会发现一些主要的问题。
会出现阶级不平衡，就像1's比0's少。我看到人们使用xgboost中的D2参数来处理这个问题，但据我所知，xgboost允许定制的目标函数。我想知道人们是如何产生自定义的目标函数的，以及他们所选择的目标函数背后的基础。我对一个定制的目标函数感兴趣，它可以惩罚更多的假负片，我想知道网络上是否有推荐的东西。我们正在处理一个分类问题，因此在默认情况下，我们将使用日志丢失函数
浏览 0提问于2019-10-14得票数 2
2回答
我正在使用逻辑回归处理流失预测数据集。该模型的预测准确率为95%，但混淆矩阵给出了以下输出：
array([[1517, 0],
[ 70, 0]], dtype=int64)
我怎样才能建立模型来预测真实的负值呢？
浏览 2提问于2020-01-16得票数 0
2回答
我拥有的数据集是由路径名组成的一些文本数据。我正在使用TF-国防军向量器和决策树。数据集中的类严重不平衡。有几个大类的样本数超过500个，而其他一些小类的样本数少于100个。有些甚至更小(不到20)。这是实际收集的数据，因此模型在实际实现中看到次要类的可能性也很小。我现在遇到的问题是，模型大部分时间预测小班为主修班，使我的准确率一直在45%左右。如果我重新整理数据，我认为由于模型学习主修班的能力降低，准确性会更差。
因此，我想问一问，我是否应该考虑重新整理我的数据，或有人对如何提高我的模型的准确性有任何建议？任何帮助都是非常感谢的。
浏览 0提问于2021-07-14得票数 0
我正在寻找包，可以做多类过度抽样，欠采样或这两种技术。我尝试使用ROSE包，但它只适用于二进制类。
我的目标变量有4个类，其中%是。"0"-70% "1"-15% "2"-10% "3"-5% "4"-5%
浏览 1提问于2018-01-11得票数 0
回答已采纳
我有一个包含bool结果的arff表。
大多数行都以"0“结尾(比如95%)。但我对"0“并不感兴趣。我希望weka找到以"1“结尾的行。
但不幸的是，大多数算法总是选择"0“。这对我一点帮助都没有。
如何让weka只达到"1“？(如果可能)？
浏览 0提问于2014-04-11得票数 0
我正在通过IMDB审查分类问题来学习keras
import numpy
from keras.datasets import imdb
from keras.models import Sequential
from keras.layers import Dense
from keras.layers import LSTM
from keras.layers import Dropout
from keras.layers.embeddings import Embedding
from keras.preprocessing import sequence
import os
#
浏览 2提问于2020-04-28得票数 0
回答已采纳
2回答
如何提高F1评分进行分类
、、、、
我正在预测是否有任何任务违反了指定的期限(二进制分类问题)
我使用了Logistic回归，随机森林和XGBoost。对于类别标签1(即仅为阳性类的F1评分)，他们都给出了大约56%的F1评分。
我用过：
StandardScaler()GridSearchCV用于超参数TuningRecursive特性消除(对于selection)SMOTE(the数据集是不平衡的，因此我使用SMOTE从现有示例创建新示例)
尝试改进该模型的F评分。
我还用EnsembleVoteClassifier.As创建了一个集成模型，你可以从图片中看到，加权F分数是94%，而第1类的F分数(也就是表示任务将超过截止日
浏览 2提问于2020-07-01得票数 1
1回答
我正在尝试将基线模型应用于我的数据集。但是数据集是不平衡的，只有11%的数据属于正类。我在没有抽样的情况下拆分数据，正面记录的召回率非常低。我想平衡训练数据( 0.5负0.5正)，而不平衡测试数据。有人知道怎么做吗？ #splitting train and test data
train,test = train_test_split(coupon,test_size = 0.3,random_state = 100)
##separating dependent and independent variables
cols = [i for i in coupon.columns if
浏览 41提问于2019-12-24得票数 1
1回答
垃圾邮件分类数据集的重采样
、、、、
以下数据集存在类不平衡问题：
Text is_it_capital? is_it_upper? contains_num? Label
an example of text 0 0 0 0
ANOTHER example of text 1 1 0 1
What's ha
浏览 11提问于2021-02-17得票数 4
回答已采纳
1回答
我正在尝试在不平衡的数据集上训练CNN模型。我想知道一批数据在训练数据集中的分布有多接近。在keras中的内置函数中是否有任何参数可以指定为批量维护相同的分布？
浏览 2提问于2018-03-09得票数 0
1回答
我有一个分类问题，有两个数据集，分别有200和50个点。在这40个数据点中，将其作为测试集。考虑到最近的五个邻居，我选择了kNN作为分类器。
n_neighbors = 5
std = 5
# generate data
X0, y0 = make_blobs(n_samples=200, centers=2, n_features=2, cluster_std = std, random_state=42)
h = .1 # step size in the mesh
X1, y1 = make_blobs(n_samples=50, centers=2, n_features=2,
浏览 0提问于2016-12-16得票数 0
我正在建立一个模型来预测一个客户是否会在一个特定的活动中使用优惠券。我是用logistic回归来建立这个模型。我以前参加过5次竞选，一般每次竞选的转化率都在10%左右。因此，为了处理这个不平衡的数据集和获取更多的信息，我从这个数据中抽取了一个分层样本(整个5次运动)，这样就有50%的样本带有负片和50%的阳性。因此，我夸大了我的积极之处。
我的怀疑是，如果我使用逻辑回归，它估计系数的最大对数似然。这种过度采样会产生偏倚结果吗？
而且，我认为这种过度采样不会对随机森林造成任何问题？
浏览 0提问于2020-07-25得票数 0
我发现，当我在不平衡的训练数据上训练一些CNN和RNN时，我的训练收敛得相对较快，准确率大约是较大类别的百分比(因此，如果有80%是的例子，它可能总是会输出是)。我觉得这是可以解释的..这个解决方案是局部最优的，网络在训练时不能逃脱它。这种解释正确吗?这种行为在这些情况下最常见吗？我能对它做些什么呢？合成更多的训练数据以使集合更均匀？还有什么？非常感谢!
浏览 4提问于2017-04-22得票数 1
1回答
我目前正在做一个小项目。
所以我的问题就像我有多个交付伙伴，并且有两个参数，第一个是每个交付伙伴分配的总订单和他们的成功率。
喜欢
Partner | Total Order Assigned | Success Rate(IN percent)
A | 100 | 70
B | 10 | 50
C | 50 | 40
D | 4 | 90
因此，如果有新订单到达，我希望根据到目前为止分配的成功率和总订单
浏览 8提问于2019-08-06得票数 0
我有一个二进制分类问题，在标签0和1(少数)中存在巨大的不平衡。由于测试集的标签为1的行太少，因此我将训练测试设置为至少70-30或60-40，因此仍然有重要的观察结果。由于我并没有测量太多的准确性(由于类别不平衡)，而是更多地测量了精确度-召回率，这一点尤其重要，因为True Positives中的一些差异是显着的。
在Python / sklearn中是否有KFold (或交叉验证方法)的变体，其中我选择K= 5，并将分割设置为60-40？如下图所示：
浏览 0提问于2018-09-26得票数 1
我试图理解何时使用$rose作为断言中的信号。例如，下面两个断言在哪些方面会有不同的表现？
first:assert property
(@(posedge clk) $rose(reset) |-> (data == 0));
second: assert property
(@(posedge clk) reset |-> (data==0));
$rose是与异步信号一起使用的吗？
浏览 2提问于2014-09-03得票数 0
回答已采纳
我有一个不平衡的数据集，它有两个分类值。一个有大约500个特定类别的值，另一个只有一个数据点和另一个class.Now，我想将这些数据分成80-20比率的测试序列。但由于这是不平衡的，我希望第二类出现在测试和训练数据中。我尝试使用sklearn中的test-train-split，但它没有给出在它们中都存在的第二类数据。我甚至尝试了分层混洗拆分，但这也没有给出我认为的数据。我们有没有办法将数据从数据帧中分离出来，强制测试和训练数据集都有一个数据点？我是python的新手，所以很难理解它。
数据如下所示：
B、C、D标签
1 0 0 1 1
1 1 1 0 1
..
1 0 0 1 0。
标注只
浏览 1提问于2018-05-28得票数 0
3回答
我有一个不平衡的数据集，有88个阳性样本和128575个阴性样本。因为这是一个生物数据集，所以我不愿意对这些数据进行过多/欠采样，我不想介绍合成数据。我用这个原始数据集构建了一个随机森林分类器。我的正面课的F1分数是0。零精度。零召回。我反复核对了预测和测试数据。该模型预测了一些积极因素，但实际上没有一个是积极的。最糟糕的表现。
所以，我试图过高样本的正面类。我把阳性样本加到1000个样本上。令我惊讶的是，这个数据集的F1分数为0.97，对于正类。然后我尝试了较少的样本。在200个阳性样本中，我的F1评分为0.83，仅为原始阳性样本的2.25倍。
我想知道为什么会发生这种情况。对于88个样本，
浏览 0提问于2019-09-25得票数 7
回答已采纳
如果在不平衡二元目标变量的情况下使用欠采样来训练模型，则预测方法在假设数据集平衡的情况下计算概率。如何将这些概率转换为不平衡数据的实际概率？转换参数/函数是否在mlr包或其他包中实现？例如：
a <- data.frame(y=factor(sample(0:1, prob = c(0.1,0.9), replace=T, size=100)))
a$x <- as.numeric(a$y)+rnorm(n=100, sd=1)
task <- makeClassifTask(data=a, target="y", positive="0")
浏览 2提问于2017-07-18得票数 8
回答已采纳
3回答
带有偏差的不平衡分类
、、、
问题：
为客户提供特殊待遇的业务历史启发式规则在试图使用机器学习时在dataset中造成了偏差，以便为该特定交易进行更复杂的客户选择。
更详细的
：
对于所有customer performance metric得分> 90%的客户，提供了一项交易。其中10%似乎是一个糟糕的决定，因为他们接受了这笔交易，但之后未能满足要求。因此，在掌握了这些信息之后，我用以下方式给我的数据贴上了标签:每一位接受交易但未能满足要求的客户都是0，其他接受交易的人都是1。
class 1: 90%
class 0: 10%
然而，即使这是一种非常直观的标记类的方法，已经存在的启发式在数据中产生了一种偏差，这
浏览 0提问于2021-06-01得票数 0
1回答
为了检查clk freq，我有这个断言：
assert property clk_freq;
int cnt;
@(posedge fast_clk, clk_1MHz) disable_iff(!enable_check)
($rose(clk_1MHz), cnt=0) |=> (!$rose(clk_1MHz),cnt++) [*0:$] ##1 $rose(clk_1MHz), cnt==fast_clk_freq;
endproperty
fast_clk在disable_check断言之后(而不是从一开始)就开始切换。问题是，断言似乎忽略了disable_iff问题:即使断言
浏览 4提问于2015-06-22得票数 1
回答已采纳
2回答
我有一个不平衡的分类问题。
我首先将数据划分为训练集(数据集A)和测试集(数据集B)。
然后，我使用R包ROSE同时对Dataset A中的多数类进行了欠采样，并对少数类进行了过采样。这产生了一个平衡集(Dataset C)，其行数与Dataset A一样多。
我已经在数据集C和计算训练AUC上训练了我的模型。现在我想使用k倍交叉验证来估计(即不使用Dataset B)测试AUC。我该怎么做才好呢？
浏览 0提问于2018-04-04得票数 1
因此，我有一个数据集，其中我必须预测类二进制标签(1或0)，问题是，在120 k数据点中，只有200个有标签'1‘。目的是尽量减少FN和FP。
我应该使用哪种ML模型？梯度增强或XGBoost或logistic回归。如何计算类的权重？
哪一种精度指标能捕捉到FP和FN的最小化？
浏览 0提问于2018-04-14得票数 0
回答已采纳
3回答
我有一个具有二进制类属性的数据集。其中623例为+1级(癌阳性)，101 671例为1级(癌阴性)。
我尝试过各种算法(朴素贝叶斯、随机森林、AODE、C4.5)，它们都有不可接受的假负比。随机森林总体预测准确率最高(99.5%)，假阴性率最低，但仍漏报79% (即未能检测到79%的恶性肿瘤)。
有什么办法可以改善这种情况吗？
谢谢!
浏览 0提问于2015-11-12得票数 13
我在scikit学习中使用了一个，其中包含两个类的不平衡数据集。我更担心的是假阴性而不是假阳性。有没有可能修复假阴性率(比方说，1%)，并让scikit以某种方式优化假阳性率？
如果这个分类器不支持它，有没有其他分类器支持它？
浏览 1提问于2015-09-18得票数 14
2回答
我有数千个数据源，从类似类型的硬件中生成数据。然而，不同的来源在数据集中产生了不同的动态！
尽管这些特性是相同的，但是数据集具有非常不同的特性。
我正在研究一个多类分类问题，试图了解可以使用多少特定的模型来处理该领域。
不同数据源上的类数不同，因此需要建立不同的模型。这意味着，在最后，我有许多不同的模型要评估。类似的输入，但在输出时要预测的类数是不同的。
由于这是一个多类分类问题，所以使用了混淆矩阵和多条ROC曲线。
现在，我正试图在更多的细节中，看看在最糟糕的模型中，是什么导致了糟糕的表现。通常的原因是:1.测量不够；2.严重不平衡的数据集；3. 1和2的组合
问题是，对于多类问题(什么是不
浏览 0提问于2019-12-09得票数 3
对于小类DecisionTreeClassifier，类权重=‘balanced’能被解释为有相同的重复数据点吗？
我知道这不是这样的，class_weight作为一个错误的分类成本。但我想知道，这是否会与过度抽取少数族裔阶级的结果相同。
浏览 0提问于2019-10-08得票数 2
回答已采纳
4回答
情境：
当我的训练数据在两个标签之间的标签分布不平衡时，我想知道如何最佳地使用TensorFlow。例如，假设被简化为只区分1和0，其中我们可以使用的所有图像要么是1，要么是0。当我们有大约50%的每种类型的图像需要训练和测试时，使用提供的TensorFlow教程进行训练是很简单的。但是，如果我们的数据中90%的图像是0，而只有10%是1，那该怎么办呢？我观察到，在这种情况下，TensorFlow例行公事地预测我的整个测试集为0，实现了无意义的90%的准确率。
我曾经使用过的一种策略是随机选择一批具有0和1均匀分布的训练数据进行训练，这种方法可以确保我仍然可以使用所有的训练数据并产生良好的结果
浏览 168提问于2016-01-28得票数 29
回答已采纳
1回答
我正在开发一个具有高度不平衡数据集(0.7%的少数类)的模型。为了纠正这种不平衡，我打算使用不平衡的学习库中的算法进行过度抽样。我有一个工作流程，我想要分享，并获得一个意见，如果我是朝着正确的方向，或者我可能错过了什么。
分离式列车/测试/Val
为GridSearch设置流水线并优化超参数(管道只对训练折叠进行过采样)
评分标准将是AUC，因为训练集在这一点上是平衡的。
由于模型是在平衡数据集上训练的，因此它可能非常保守，并且预测了许多假阳性。
考虑到上述因素，将对模型进行校准，以获得更精确的概率(CalibratedClassifierCV)。
在验证集上查看具有校准概率阈值的精度/召回曲
浏览 0提问于2018-09-21得票数 2
我正在对不平衡数据进行二进制分类，比率为( 22 :1)意味着如果有22个正面例子，那么就有1个负面例子。我通过使用Over-Sampling来处理这个不平衡问题，它添加了来自少数类的示例副本，以平衡正类和负类。 现在我训练了神经网络模型。对于评估，我对低假阳性率(FPr)和低假阴性率(FNr)感兴趣，但它给了我意想不到的结果，非常低的假阳性率(0.02%)和非常高的假阴性率(82.1%)。此外，对于参考模型，准确率为90%，损失为23%。 我们通过以下公式来计算速率： FPr = FP/(FP+TN) and
FNr = FN/(Fn+TP) 这里，FP表示假阳性，TN表示真阴性，FN
浏览 54提问于2019-12-13得票数 0
2回答
不平衡类的离群点检测
、、、
我必须建立一个预测模型，根据其他一些数值数据来预测一个布尔变量韩元/丢失变量，并进一步找出“Won”观测值的特征。
然而，在我的数据集中‘韩元’的数量是0.05%。我试过过抽样和过抽样，但都没成功。即使我取了等量的“韩元”和“失落的”，这个模型对于其余的“丢失”值也是不准确的。我也试过举重，但效果不太好。理想情况下，我认为我必须把一个非常高的重量'Won‘。
PS:使用RandomForestClassifier，并使用混淆矩阵进行验证。
我并不热衷于尝试SMOTE，因为我听说它在Python中很难。
所以现在我试着用另一种方式来看待它，并对“韩元”案例进行异常检测，因为数据中很少有“
浏览 0提问于2016-05-05得票数 3
回答已采纳
我使用solr搜索名称列表，并使用ngram说明部分字符串匹配。如果我有"Rose“、"Rosen”、"Rosenberg“和"Rosenthal”的名字，我希望"Rose“的查询会返回：
Rose
Rosen
Rosenberg
Rosenthal
但我得到的是：
Rosenberg
Rosenthal
Rose
Rosen
所有的结果都是一样的。我试着创建了一个精确的匹配字段和一个ngram字段，但这也没有给我带来什么。当我搜索“玫瑰”时，我得到：
Rose
Rosenberg
Rosenthal
Rosen
只有精确的匹配有一个较高的分数和所有其他
浏览 5提问于2016-10-13得票数 1
回答已采纳
1回答
我有一个标记的数据集。最后一列(78)包含4种类型的攻击。下面的代码混淆矩阵是正确的两种类型的攻击。有谁能帮助修改keras多类攻击检测和修正代码以获得正确的混淆矩阵？对于精度的正确编码，FPR、TPR适用于多类。谢谢。
import pandas as pd
from sklearn.preprocessing import LabelEncoder, StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.model_selection import GridSearchCV
浏览 4提问于2019-09-17得票数 1
1回答
我需要一些建议来提高我的模型的准确性。
训练数据的形状为：(166573，14)
📷
它有所有int列和float列。我已经删除了claims_daysaway列，因为大多数值都是NaN，并将Nan值替换为mean列。
X_train = train.drop(['outcome','testindex','claims_daysaway'], axis=1)
y_train = train['outcome']
📷
由于值在不同的尺度上，我使用StandScaler()对值进行标准化。
📷
此数据集高度不平衡。
列车“结果”.v
浏览 0提问于2019-04-21得票数 1
我正在使用scikit学习的RandomForrestRegressor，但我不能让它工作，或者至少看起来是这样。我使用的数据有分类数据，我用LabelBinarizer编码，所以我的数据看起来像这样：
Id Cat1 Cat2 Cat3 .... Cat50
123 0 1 0 0
...
每行只能有一个给定的类别。现在，我用每个项目的给定评分来训练我的模型，这是使用scikit learns RandomForrestRegressor进行数值计算的。
我的y是一个等级。
我的X是包含类别的项目的特征。
所以我的y和x看起来像这样：
y = [
浏览 0提问于2019-12-12得票数 1
目前，我正在从事一个项目，其目标是找到谁有更多的可能性购买您的project.Its分类模型(0 &1 )的客户。我已经创建了使用RF和XGB两者的模型& calculated gain score (数据不平衡).Not我的超过80%的客户覆盖了前3位的训练数据，但当我在验证数据集上运行模型时，它在两个模型中都回落到56-59%。
假设我有20个客户&为了更好的准确性，我对他们进行了集群，现在模型在集群1客户上给出了完美的结果，但在集群2客户上表现很差。
任何调整同样的建议。
浏览 18提问于2019-12-04得票数 0
我阅读了很多关于如何专门为不平衡的数据集使用不同的度量(例如，存在两个类，但80%的数据是一个类)，以及如何处理不平衡数据集的问题。
一个技巧是过采样，因此获取更多(甚至重复一些)属于未充分表示的类的数据。我尝试过这一点，并取得了更好的结果(在我的模型能够很容易地预测每件事情的单个类，达到80%的准确性lol之前)。
然而，我在想，这个模型与现实生活中的数据相吻合吗？数据科学/机器学习的“规律”之一是，您的培训数据必须具有与您打算使用模型的真实数据相同/相似的属性。但是，通过过度抽样，我创建了一个数据集，其中一个类占50%，另一个类占50%，而“自然”、现实生活中有80%是一个类，另一个类占2
浏览 0提问于2021-04-29得票数 5
回答已采纳
2回答
我正在用python和Keras库构建一个分类ANN。我使用的训练神经网络的不平衡数据集与3个不同的类。第一班的流行率是第二班和第三班的7.5倍。作为补救，我采纳了的建议，并将我的班级权重设置如下：
class_weight = {0 : 1,
1 : 6.5,
2: 7.5}
然而，的问题是：人工神经网络以相同的速度预测这三个类！
这是没有用的，因为数据集是不平衡的，预测结果，因为每个有33%的机会是不准确的。
这里的问题是：如何处理不平衡的数据集，这样人工神经网络就不会每次预测第1类，而是使人工神经网络不能以相同的概率预测类？
浏览 2提问于2018-01-31得票数 5
我使用Scikit学习实现了一个。由于我所处理的是班级不平衡(96%至4%)，我希望支持向量机能在训练期间从每班抽取相等数目的样本。我如何通过Scikit学习来实现这一点？
浏览 5提问于2017-10-23得票数 1
回答已采纳
2回答
我有一个二元分类任务，具有实质性的类不平衡(99%的负- 1%的正)。我想开发一个随机森林模型来进行预测，在建立了一个基线(带有默认参数)之后，我将使用scikit-learn的GridSearchCV进行超参数调优。
在设置了一些参数(如max_depth、min_samples_split等)之后，我注意到，在完成GridSearch之后，最好的参数是最高最大参数(max_depth)和最小的最小参数(min_samples_split、min_samples_leaf)。换句话说，GridSearchCV倾向于将最适合训练集的参数组合起来，即过度拟合它。我一直认为交叉验证可以防止这种情况
浏览 0提问于2022-12-05得票数 1
2回答
收集要设置的火花数据栏值
、、、
在这种情况下，我需要收集spark中的Set()列值，以找出与其他集合的区别。我有2条数据
DF1
+----+---------+----------+----+-----------------+
|Lily|Sunflower|Windflower|Rose|Snapdragon Flower|
+----+---------+----------+----+-----------------+
|1 |2 |3 |4 |5 |
+----+---------+----------+----+--------------
浏览 1提问于2020-07-14得票数 1
回答已采纳
1回答
如何在LSTM中应用词嵌入层前的平滑算法。
我有一个文本二值分类的问题(好(9500)或坏(500个)，总共有10000个训练样本和它的不平衡训练样本)，意思是当我使用LSTM和预先训练的单词嵌入(每个单词的100个维空间)，所以每个训练输入都有一个id(当文本描述小于50个单词，当描述超过50个字符时，每个训练输入有一个id's (50个id的总数，当文本描述小于50个单词，并且当描述超过50个字符时被修剪到50个)。
下面是我的大致流程，
输入-1000(批)X 50 (序列长度)
单词嵌入-200(唯一词汇表词)X 100 (单词表示)
字嵌入层之后(LSTM的新输入
浏览 0提问于2018-11-19得票数 6
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
