如何根据列值将数据拆分成训练和测试，并对组合进行打乱？

文章/答案/技术大牛

发布

2回答

python、pandas、dataframe

我有一个数据集，我希望根据列值拆分数据集。在每次迭代中，训练集将包括所有数据，除了那些属于2个值的数据，这些值将保留用于测试集。例如，我们有值为a、b、c、d、e和f的列x。目前我正在做手动选择，但由于我想尝试每种可能的组合，我不确定如何做得最好。train = df.lo

浏览 6提问于2018-08-13得票数 0

回答已采纳

1回答

mAP应该在验证集或测试集上计算？

machine-learning、deep-learning、computer-vision、object-detection

验证集和测试集(未见数据)在计算度量(例如mAP)方面有什么不同？文学中通常做些什么?为什么？

浏览 0提问于2022-02-15得票数 0

2回答

用支持向量机预测时间序列的未来值

r、svm、forecasting

我在R中使用支持向量回归来预测单变量时间序列的未来值。将历史数据分成测试集和训练集，使用R中的svm函数对测试数据建立模型，然后对训练数据使用predict()命令来预测训练集的值。我们有一个模型，通过对训练数据检查该模型，我们发现该模型是有效的。我如何使用

浏览 9提问于2015-04-14得票数 2

3回答

何时停止训练-洛夫MLP

machine-learning、statistics、neural-network、keras

我正在运行一个MLP来将一组值分类为10个不同的类。对于每个对象，我将数据分成一个由99个对象组成的训练集和一个其余对象的测试</em

浏览 4提问于2016-06-01得票数 0

回答已采纳

1回答

新测试数据( TFLearn )上的LSTM/RNN模型失败

machine-learning、lstm、audio-recognition、tflearn

我对ML相当陌生，目前我正试图开发一个可以通过从音频文件中提取classify spoken digits (0-9)的模型。我在一个由15位演讲者和2400个培训示例(每个数字有240个音频示例)组成的数据集上对模型进行了培训。经过3000 epochs后，该模型的精度达到97%。

浏览 0提问于2018-06-06得票数 0

2回答

取多个神经网络的平均值？

machine-learning、neural-network、deep-learning、cross-validation、ensemble-modeling

我用一个非常小的数据集来拟合一个神经网络，所以试着把数据分成训练和验证集。(有一个单独的测试集)如果我将训练/验证随机分成几次，为每个训练/验证分裂构造一个神经网络，并取测试集上神经网络预测值的平均值，它是否可以称为集成模型？或者，这种技术是否有一个特定的名称？编辑:我刚刚发现一种类似的技术叫做“重复随机次抽样验证”，但是RRSSV将<

浏览 0提问于2018-01-29得票数 2

1回答

生产数据规范化

data-science-model、normalization

在训练模型时，我们将数据集分成训练集和测试集。如果需要对任何列进行规范化/标准化，则对培训集和测试集分别进行此过程，以防止数据泄漏。对训练集的参数进行了归一化处理。MinMaxScaler()test = sc

浏览 0提问于2021-06-29得票数 1

2回答

一次热编码后的预测

dataset、regression、prediction、dummy-variables

我有一个回归模型，我想根据从最终用户那里得到的值进行预测。但我对我的模型如何预测新的价值感到困惑。由于我将只从最终用户那里得到一个区域

浏览 0提问于2019-07-24得票数 2

1回答

“对培训集的交叉验证”，而开发和测试集与培训是不同的:这有意义吗？语义错误？

cross-validation、bert

衡量新闻情绪”中的这段文字卡住了：https://www.sciencedirect.com/science/article/pii/S0304407620303535#tbl3 “作为最佳实践，我们将标记的数据集分成一个训练集、一个开发集和一个持久测试集。开发和测试集各有100个观测值，为训练集留下600个观测值。(.)超参数优化是通过网

浏览 0提问于2022-10-10得票数 3

3回答

机器学习:基于测试数据的训练模型

machine-learning

我想知道一个模型是否也是从测试数据中训练自己，同时对它进行多次评估，从而导致了一个过度拟合的场景。通常，我们将训练数据分成train-test分割，我注意到有些人将它分成3组数据-- train、test和eval。eval是对模型的最终评价。我可能错了，但我的观点是，如果上面提到的场景不是真的，那么就不需要eval数据集。需要澄清一下。

浏览 5提问于2018-01-03得票数 1

回答已采纳

2回答

Matlab机器学习培训，验证，测试分区

matlab、validation、machine-learning

我使用Matlab的统计和机器学习工具箱创建决策树、集合、Knn模型等。我希望将数据分离到训练/测试分区中，然后让模型使用训练数据进行训练和交叉验证(实际上是将训练数据分成训练数据和验证数据)，同时保存测试数据以进行</e

浏览 1提问于2016-01-27得票数 3

回答已采纳

5回答

交叉验证和网格搜索有什么区别？

cross-validation、definition、difference、grid-search

简单地说，交叉验证和网格搜索的区别是什么？网格搜索是如何工作的？我是不是应该先做交叉验证，然后再做网格搜索？

浏览 17提问于2013-10-12得票数 53

1回答

如何优化叠加模型中的超参数？

machine-learning、ensemble-modeling、hyperparameter、meta-learning

我想知道是否有人能解释如何为基础学习者优化超参数，以及叠加时的元算法？在许多教程中，他们似乎是从稀薄的空气中拔出来的！杰克

浏览 0提问于2019-07-29得票数 0

回答已采纳

1回答

众所周知，在模型训练期间，我们坚持测试集。然而，我实际上在部署过程中发现，如果在整个数据集(train+test)上使用新的模型序列，实际上在预测真正的“未见”数据方面也会产生相当好的结果。我正在寻找对这种方法的评论。有什么问题吗？特别是，在这种方法中，我将对整个数据集应用任何类型的转换，例如标准化/规范化/分类编码。对部署来说不是更好吗？(与传统方法相比，所有这些转换只在火车集中进行，有时无法对火车集中缺少的某些类别的数

浏览 0提问于2022-04-06得票数 0

回答已采纳

1回答

什么形式的数据用于预测广义堆叠集合？

ensemble-modeling、generalization、ensemble-learning

我非常困惑如何分割训练数据，以及在使用广义叠加时对0级数据的预测。这个问题类似于我的问题，但答案还不够清楚： 1个级模型的预测如何成为一种新模型的训练集。我的理解是训练集是分裂的，基本模型是在一个分裂上训练的，而预测是在另一个分裂上进行的。这些预测现在成为新数据集的特性。一个列用于每个模型的预测，另一个列包含这些预测的基本事实。将训练</

浏览 0提问于2020-05-16得票数 1

回答已采纳

1回答

标准化/分解培训/测试一起还是分开？

machine-learning、standards

X数据的两个常见的ML预处理步骤是标准化(例如，缩放到单位方差)和分解(将特征映射到一个新空间AIUI)。在ML管道中实现这些步骤(包括培训/测试/验证集)的两种可能方法是： 1)对整个训练/测试/验证X数据集进行标准化/分解，然后分解成训练/测试集，并使用最小误差模型对验证集进行预测。

浏览 2提问于2015-05-12得票数 1

回答已采纳

3回答

如何用另一个数组的值填充两个numpy数组

python、arrays、numpy

我对裸体很陌生。我需要一个数据集，并创建一个测试集，并从中设置一个培训。如果我的dataset是一个由150行和4列组成的numpy数组(最后一列是标签)，那么正确的方法是如何用数据集的值填充训练和测试数组?也就是说，我不想手动编写用于测试和训练集的形状？我想要做的是，提供一个拆分值，它将接受一个数据<

浏览 7提问于2017-03-23得票数 1

回答已采纳

1回答

在选择最佳超参数组合后，SparkML CrossValidator是否重新适合完整的训练数据集？

apache-spark、pyspark、cross-validation、apache-spark-mllib、apache-spark-ml

在训练数据集上交叉验证超参数网格后，SparkML的CrossValidator是否重新适合整个训练数据集？如果不是，它会从交叉验证的哪一部分中选择用于推断的bestModel？为此，CrossValidator是否使用最佳超参数在整个训练/交叉验证数据集上重新训练，并使用重新拟合的模型进行推理？或者，bestModel用于推断所有交叉验证文件夹中的最佳性能模型(即，来自最佳性能超参数组合的最佳文件夹中的模

浏览 22提问于2021-03-23得票数 0

2回答

标记数据异常检测中的交叉验证

scikit-learn、cross-validation、anomaly-detection、autoencoder、isolation-forest

我正在从事一个项目，在那里我训练异常检测算法，隔离森林和自动编码器。我的数据是标记的，所以我有基本的真实性，但问题的性质需要无监督/半监督异常检测方法，而不是简单的分类。因此，我将只使用标签进行验证。既然我不会用标签来训练模型，而不像在有监督的学习中使用X_train、X_test、y_train和y_test，那么在这里进行模型验证的正确方法是什么？如果这是监督学习，我会把数据分成3部分:训练<

浏览 0提问于2020-07-16得票数 1

3回答

使用OneHotEncoder后的不同特性数

scikit-learn、feature-engineering、feature-scaling

我在两个独立的文件中有训练和测试数据。 OneHotEncoder根据不同的值为列车和测试数据提供了不同数量的特性。但是分类器要求测试和训练数据的特征数应该相等，如何解决这个问题？

浏览 0提问于2018-03-13得票数 2

回答已采纳

点击加载更多