使用单独的数据集进行模型验证

文章/答案/技术大牛

发布

1回答

machine-learning、scikit-learn、svm

我正在尝试使用外部数据集对文本字符串进行二进制分类来验证模型。我已经训练了模型，但希望将其用于不同大小的另一个数据集进行预测，而不是将数据包括在初始数据集拆分中。这有可能吗？total_requests) X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.1

浏览 32提问于2020-03-23得票数 0

回答已采纳

1回答

如何使用Rapidminer在testset上进行测试？

performance、evaluation、rapidminer

我对几个模型进行了交叉验证，以获得最好的工作模型。现在，我想使用此模型在一个单独的测试集上进行测试，该测试集使用拆分数据来估计性能。如何使用测试集？据我所知，所有的验证模块都使用模型所在的训练集。我可以在模型</

浏览 0提问于2013-04-08得票数 1

回答已采纳

1回答

在同一循环中进行训练和测试时的验证准确性

deep-learning、pytorch

因为我是在同一个循环中训练和测试的(对于training set上的每个时期，网络都应用于整个validation set)。现在，我在某个时刻(第n个时期)得到的最高验证精度是我的网络的最高精度，这有意义吗?或者我应该只在图形稳定并且权重不变的情况下使用验证精度吗？

浏览 2提问于2020-10-07得票数 0

1回答

在多层感知器中进行交叉验证时，我要初始化哪些模型？

neural-network、cross-validation、training、mnist

因此，据我所知，交叉验证是用来确定最佳模型的。假设我使用的是5倍交叉验证，这意味着我必须制作5种不同

浏览 0提问于2018-09-29得票数 1

回答已采纳

1回答

训练验证.基于神经网络和网格搜索的测试分割

machine-learning、neural-network、artificial-intelligence

我在机器学习环境中工作，使用神经网络。测试集:用于评估模型的性能。单独拟合一个神经网络(例如，使用keras)，因此只要学习权重，就可

浏览 0提问于2019-08-10得票数 1

回答已采纳

1回答

如何在python/sklearn中交叉验证来自随机森林的预测？

random-forest、prediction、cross-validation

请有人告诉我，如果这是正确的方法，计算交叉验证的精度我的分类器？我将我的数据集划分为训练数据的xtrain和ytrain，以及测试集的xtest & ytest。构建模型：适合于训练集的：，这是

浏览 8提问于2015-07-04得票数 3

1回答

在H2O中训练RMSE高于验证RMSE

validation、deep-learning、regression、h2o

我使用H2O-深度学习模型来解决回归问题。我观察到的是，培训RMSE高于验证RMSE。我使用的是默认参数的模型，即两个隐层，每个层有200个神经元，没有l1/l2正则化。激活是整流器。我想知道如何在验证RMSE下面调优两个获得训练RMSE的超参数？我正在使用单独的列车，验证和测试集

浏览 0提问于2018-11-26得票数 1

1回答

交叉验证和单独的“提供的测试集”

weka、cross-validation

在执行10折交叉验证之后，是否可以使用单独的“提供的测试集”执行重新评估？

浏览 2提问于2013-04-17得票数 1

回答已采纳

2回答

对模型进行培训是否需要验证集？

validation、machine-learning、cross-validation

为了我的研究，我用CNN建立了一个三维图像分类模型。我只有5000张图像，训练用4500张图像，测试集用500张图像。我尝试了不同的结构和参数的训练和F1评分和训练集的准确性高达0.9。幸运的是，我没有花很多时间来寻找这些设置的高精度。我的问题是，是否有必要进行

浏览 0提问于2018-03-02得票数 1

回答已采纳

2回答

培训集交叉验证后是否需要测试集？

machine-learning、python、cross-validation、training、hyperparameter-tuning

我想引用Aurelien的“与Scikit学习和TensorFlow一起进行机器学习的手”一书中的一段，关于在使用k-折叠交叉验证对训练集进行超参数调整之后对最终测试集的评估： “如果您进行了大量的超参数优化(因为您的系统最终对验证数据进行了很好的调整，并且在未知数据

浏览 0提问于2020-08-14得票数 1

回答已采纳

1回答

是否可以使用经过验证的模型对整个数据集进行预测？

r、validation、machine-learning、cross-validation、gbm

我们已经在大约15k行的数据集上运行了'gbm‘模型。我们已经直接实现了10折交叉验证，以提出一个交叉验证模型，我们正在使用该模型在同一数据集上再次进行预测。这导致了可能过拟合的模型约为0.99训练AUC和0.92cv AUC。预测AUC也很高，约为0.99。审查者要求我们使用坚持数据集</

浏览 1提问于2018-04-18得票数 2

2回答

使用验证、培训和测试集之间的顺序

machine-learning、cross-validation、train-test-split

我试图了解机器学习中的模型评估和验证过程。具体而言，培训、验证和测试集的使用顺序和方式。假设我有一个数据集，我想使用线性回归。我在各种多项式度(超参数)之间犹豫不决.之后，使用验证集来找到最佳的超参数(在这种情况下，多项式度)(维基百科的文章说：“连续地，拟合模型用于预测第二个数据集中<em

浏览 1提问于2019-01-10得票数 1

回答已采纳

2回答

我们是在cross_val_score上评估准确性，然后评估测试数据的准确性吗？

python、pandas、dataframe、scikit-learn、classification

嗨，如果我们要用以下方法来评估cv的准确性： X, y, random_state=42X_train, y_train)然后评估测试集上的性能是常见的吗for value in y_pred] accuracy = accura

浏览 3提问于2020-09-14得票数 1

回答已采纳

2回答

ML模型部署体系结构？

machine-learning、machine-learning-model、databases、data-product

我来自一个软件开发背景，我们拥有相同数据库的独立服务器(dev、test、prod)。之所以如此，是因为我们开发了针对dev DB的应用程序，针对Test运行了测试，而prod就是prod。这样我们就可以创建一个清晰的分离，并且不会降低我们构建应用程序的难度。你们用同样的方式训练你们的模特吗？有三个相同数据库的环境，当您的模型从开发到测试到测试，它是针对相应的环境进行</

浏览 0提问于2019-05-14得票数 1

1回答

机器学习中不同方法的比较

machine-learning

如何确定我的机器学习模型的最佳策略？例如，让我们考虑一个场景，其中我正在处理线性回归，并希望比较三种不同的方法。第一种方法涉及使用所有特征作为输入，第二种方法需要手动选择最相关的特征作为输入，第三种方法涉及到实现主成分分析(PCA)。考虑到这三种方法，是否应该使用k-折叠交叉验证来评估每一种方法，而不需要再培训模型，然后比较交叉验证的结果以确定最佳的方法而不使用测

浏览 0提问于2023-06-01得票数 0

1回答

在Mask-R-CNN中，测试和验证之间有什么区别？

validation、neural-network、instance、loss、faster-rcnn

我有自己的图像数据集，并使用Mask-R-CNN进行训练。在这里，您可以将数据集分为训练、验证和测试。我想知道验证和测试之间的区别。我知道，验证通常用于在每个时期之后查看NN的质量。但我想知道神经网络是否基于验证集进行学习。基于训练集，神经网络在每幅图像之后学习，并调整每个神经元以减少损失。在神经网络完成学

浏览 68提问于2019-04-16得票数 0

回答已采纳

1回答

只有在验证改进的情况下，我才能更新keras神经网络的权重吗？

validation、tensorflow、keras、neural-network、backpropagation

我正在keras中训练神经网络，我达到了一个经典的极限-我的训练精度随着时代的增加而提高，但我的验证精度在9个时代之后会下降(见图)。 ? 我想知道我是否可以通过执行以下操作来避免验证精度的下降:如果时期导致验证精度的提高，则使keras net仅接受每个时期之后对权重的更改，否则重置为时期之前的状态？我假设验证在很大程度上开始偏离，因为在每个时期>9之后，神经网络<e

浏览 15提问于2019-09-01得票数 0

1回答

我自己的模型对完整的数据进行了培训，比我从best_estimator获得的GridSearchCV和refit=True更好吗？

xgboost、data-science-model、hyperparameter-tuning、gridsearchcv

我使用XGBoost模型对一些数据进行分类。我有一个独立的测试集，我从来没有用过，直到结束。我使用GridSearchCV来确定最佳参数，并将cv拆分(5倍)输入其中，并设置refit=True，以便一旦它计算出它在完整数据上训练的最佳超参数(所有折叠，而不是仅4/5倍)并返回best_estimator然后，我在最后的测试集上测试这个最好的模型。然后

浏览 0提问于2021-06-25得票数 2

1回答

在学习中，火车测试拆分得分较高，CV得分较低

python、scikit-learn、virtual-machine、random-forest、cross-validation

我是数据科学的新手，一直在为Kaggle的问题而奋斗。用随机森林回归预测评分时，发现列车测试分割得分较高，而CV得分较低。

浏览 2提问于2020-07-05得票数 0

3回答

为什么我们每次都需要重新创建模型？

python、logistic-regression、k-fold

X_train, y_train)print(scores)我的问题是，我是否需要在每次拆分中创建一个新模型？我会把它放在前面，以节省计算时间，但由于它是以这种方式呈现的，我认为这是有原因的。

浏览 4提问于2020-09-10得票数 1

点击加载更多