我想做一些带有交叉验证的预处理(缩放，特征工程，例如目标编码)。我知道最好的和理论上正确的方法是为交叉验证的每个训练/测试步骤分别预处理数据。但是，我使用的是H2O，除非我弄错了，否则它不允许我创建预处理管道。在
浏览 12提问于2018-08-23得票数 0
回答已采纳
1回答
如何进行实时数据的特征工程？
、、、、
我用以下步骤建立了一个很好的线性回归模型：
我的问题是，如果我们在生产环境中使用这个模型，那么我们如何进行实时数据的特征工程，因为这个模型是用特征归一化和缩放的来建立的，那么如何对实时数据进行规范化和缩放以得到一个很好的预测呢？对于交叉验证和测试步骤，我们不需要显式的
浏览 2提问于2017-03-01得票数 0
1回答
K折叠交叉验证和数据泄漏
、、、
我想做K折叠交叉验证，我也想对每个折叠进行规范化或功能缩放。假设我们有k个折叠。在每一步，我们采取一倍作为验证集，其余的k-1倍作为训练集。现在，我想对该培训集进行功能缩放和数据填充，然后对该验证集应用相同的转换。我想对每一步都这么做。我尽量避免数据泄漏，同时增加我的验证集，以获得更好的结果。
我怎样才能用几行代码来完成这个任务呢？因为我不认为很
浏览 0提问于2020-12-23得票数 1
1回答
在特征选择之前或之后采样
、、、
我对特征选择、采样和交叉验证的顺序感到困惑，我的数据集有468行和23000列，其中269个属于I类，199个属于II类，当拆分训练和测试时，训练.Due中的数据有215个I类和159个II类，以减少样本数量我不得不对训练数据应用或者我应该在这里应用采样，这会导致数据丢失，从而导致更小的样本。I)先应用过采样，然后应用特征选择技术，然后进行交叉验证:在交叉
浏览 133提问于2020-08-12得票数 1
在使用scikit-learn对文本文档进行分类时，您是先进行交叉验证，然后再进行特征提取，还是采用其他方式？FeatureExtractor()), ], n_jobs = -1)
我用下面的方法来做，但是我想知道我是否应该首先提取特征并进行交叉验证在本例中，X是文档列表，y是标签。
浏览 2提问于2015-09-23得票数 0
五重交叉验证的方法如下，迭代地在4组上拟合一个模型，并在rest集上测试性能。谢谢!添加：如果您所拥有的数据并不代表您要预测的数据，则交叉验证对外部数据的性能
浏览 0提问于2017-03-01得票数 9
3回答
大多数人对kaggle进行培训和测试，然后对数据进行预处理，这似乎在得分时提供了很好的结果，但我认为这是数据泄漏和在现实世界解决方案中执行的不正确过程。我的问题是，如果我把定标器放进管道中，简历的每一倍的比例尺都会发生变化，如果我在进行超参数调整之前预先对整个数据集进行标度，结果就会大相径庭。
浏览 0提问于2020-02-17得票数 2
目的:比较预处理方法、模型和超参数，而不泄漏到最终的泛化估计，应用交叉验证(cv)，即不使用任何固定的训练/测试分割。到目前为止发现的“嵌套cv"：在外部cv中对不同的超参数(来自内部SearchCVs)的分数进行平均，并选择最佳得分。此外，我如何在搜索中包括不同的预处理方法，因为预处理定义了X(必须在分割X之前完成)？
整个数据集X_all上的连续cvs
浏览 0提问于2023-02-25得票数 1
我刚刚阅读了k-折交叉验证，并意识到我在当前的预处理设置中无意中泄漏了数据。我真的应该根据80%的训练来推算这20%
浏览 9提问于2018-01-28得票数 11
1回答
这个问题通常与所有自动特征选择方法有关。在我的特定场景中，我们有一个称为茶鲜和多类分类的python包。我想实现什么？在正式的档多类选择文档之后，一个合理的做法是在使
浏览 0提问于2022-06-20得票数 1
1回答
对于需要澄清的数据预处理，我有一个问题。据我所知，当我们通过交叉验证来调优超参数和评估模型性能时，而不是对整个数据集进行预处理时，我们需要在交叉验证中这样做。换句话说，在交叉验证中，我们对训练褶皱进行预处理，然后使用相同的预处理参数对测试褶皱进行处理和预测。
在下面的示例代码
浏览 0提问于2018-05-11得票数 5
我已经对数据进行了预处理，对其进行了培训/测试，并在测试之前运行了一个具有交叉验证的模型。我在预处理过程中遵循的步骤概述如下：通过使用nth根来移除倾斜(对于每一列，n是不同的，我绘制了数据并做了任何看起来最能减少倾斜的事情)，从而转换了一些列。训练/测试分割数据我将步骤4中的转换应用</
浏览 0提问于2022-08-18得票数 1
回答已采纳
1回答
给定一个包含1000个数据样本的样本数据集，假设我想对数据进行预处理以获得10000行数据，因此每一行原始数据将导致10个新的样本。此外，在培训我的模型时，我也希望能够执行交叉验证。评分函数我使用原始数据来计算分数，所以我希望交叉验证评分也能处理原始数据，而不是生成的数据。由于我将生成的数据提供给训练器(我使用的是RandomForestClassifier)，所以我不能依靠交叉验证来根据原始样本正确地分割数据。我想
浏览 2提问于2013-06-03得票数 0
回答已采纳
我在预处理方面有点困惑。一般来说，
场景1:我将数据集分解为训练、测试和验证，并应用诸如列车上的fit_transform和测试上的转换。场景2:另一种方法是首先对整个数据集应用转换，然后将数据集拆分为训练、测试和验证。在预处理和特征工程之前，或者在预处理和特征工程之后，我对数据的选择、划分有些困惑。寻找一个很好的答案与效果和棺材。
浏览 0提问于2019-03-07得票数 4
回答已采纳
1回答
GridsearchCV的预处理
、、、、
我使用GridsearchCV来调优超参数，现在我想在训练和验证step.But时做一个min Normalization(StandardScaler())，我想我不能这样做。问题是：
如果我用滑雪
浏览 2提问于2019-04-15得票数 4
回答已采纳
作为一个没有任何预处理的交叉验证的例子，我可以这样做： from sklearn.linear_modelGridSearchCV clf.fit(x_train, y_train)
我想使用以下方法对我的数据进行预处
浏览 2提问于2015-09-16得票数 14
回答已采纳
1回答
我尝试使用python包"Orange“进行交叉验证。这个库看起来很不错，但我对它有一些问题。在这里，如您所知，在交叉验证循环中处理离散化和特征选择是很重要的。换句话说，对于每个交叉验证
浏览 6提问于2016-12-07得票数 1
1回答
编码和交叉验证
、、
最近，我一直在考虑如何在交叉验证方案中正确使用编码。通常建议的编码特征的方式是：
将数据分割成火车和测试(等待)集。有人声称这样做是为了防止任何数据泄漏。然而，在交叉验证过程中，这似乎经常被忽略。假设我在前面提到的火车集合上执行交叉验证。如果我编码训练集，然后执行交叉验证，它并不真正模仿上面的步骤。那么，编码不应该在交叉验证中执行吗？例如，假设我
浏览 0提问于2020-08-17得票数 3
1回答
可以说，特征选择/提取、降维、核、分类器已经得到了广泛的应用。所以我不想尝试这些。
在每个子数据集x上，我执行10次交叉验证(使用主数据集X的所有样本)。我在Y上训练一个分类器，同时遵循交叉验证规则.令人惊讶的是，我可以预测
浏览 2提问于2014-09-01得票数 2
1回答
分类变量处理过程中的数据泄漏？
、、、、
我对机器学习相当陌生。我偶然发现了数据泄漏的概念。这篇文章说，在执行预处理步骤之前，总是对数据进行拆分。我的问题是，诸如离散化、将类别分组为单一类别以减少基数、将范畴变量转换为二进制变量等步骤是否会导致数据泄漏？
在应用这些步骤之前，我是否应该将数据分割成训练和测试集？另外，为了避免数据泄漏，我真正需要谨慎的主要预处理步骤是什么？
浏览 12提问于2021-05-15得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
