我正在用R中的XGBoost拟合一个二进制分类模型。我的数据集有300k个观察值，有3个连续的预报器和1个具有90个水平的单热编码因子变量。因变量y为True或False。min_child_weight
gbtree binary:logistic 8 0.7708479 0.2861735 0.5338721 1 接下来，我在下面的XGBoost模型拟合中使用了这些超参数设置我的结论是，模型在训练数据上过度拟合，因为AUC在200次迭代后
浏览 23提问于2021-10-06得票数 0
回答已采纳
1回答
但它只能监控验证准确性或训练Acc。当验证精度达到最大时，它可以节省最佳模型权重。但该模型可能与验证数据过度拟合。因此，我觉得也有必要监控训练的准确性。我想保存验证精度最高且训练精度也很好的模型。
浏览 0提问于2018-08-17得票数 0
1回答
我没有分成训练/测试数据(以及进一步减少训练数据)，而是选择拉索，通过交叉验证选择lambda，作为最小化过度拟合的手段。在使用cv.glmnet对模型进行训练之后，我在相同的数据集上测试了它的分类精度(引导x 10000作为错误间隔)。我对评论员(和我一样是一位医生)解释cv.glmnet是如何做到这一点的：
在每一步10次交叉验证中，将数据随机分为
浏览 0提问于2017-12-21得票数 1
1回答
多项式回归中的过拟合，比较训练集的均方误差和验证集的均方误差。
我不太理解这张图。在训练模型以学习参数时，我们必须设置λ=0，因为已经选择了λ的值并继续进行培训是没有意义的。，那么，随着λ值的变化，训练错误是如何变化的呢？将数据集划分为有效数据集和训练数据集，在训练集中对模型进行训练，并通过有效集验证
浏览 3提问于2021-12-25得票数 1
回答已采纳
1回答
要部署的最终模型的预处理
、、、、
通常，对于ML工作流，我们导入数据(X和y)，将X和y划分为train、valid和test，对train、valid和test的数据进行预处理(缩放、编码、计算nan值等)，执行HP调优，在得到最佳HP模型后，将最终模型拟合到整个数据集(即X和y)。因此，当在X和y上拟合最终模型时，我们将得到一个错误，因为我们还没有对X和y进行编码(并执行其他预处理步骤)。那么我们应该如何在整个数据集上训练最终的
浏览 0提问于2021-11-29得票数 1
回答已采纳
1回答
我们已经在大约15k行的数据集上运行了'gbm‘模型。我们已经直接实现了10折交叉验证，以提出一个交叉验证模型，我们正在使用该模型在同一数据集上再次进行预测。这导致了可能过拟合的模型约为0.99训练AUC和0.92cv AUC。预测AUC也很高，约为0.99。
审查者要求我们使用坚持数据集来验证模型。我们假设我们会将数据分成坚持数据和训练数据</
浏览 1提问于2018-04-18得票数 2
2回答
我正在训练一个神经网络，并得到关于损失和验证损失的结果：
这些是200个时期，批量大小为16,500个训练样本和200个验证样本。正如你所看到的，在大约20个时期之后，验证损失开始做一个非常夸张的Z字形。我试图增加验证样本的数量，但这只会增加之字形，并使其更加夸张。此外，我向优化器添加了衰减值，但损失和验证损失看起来并不是很好。
你知道哪个是“之字形”的原因吗?我怎样才能最小化它？
浏览 0提问于2019-07-29得票数 1
请有人告诉我，如果这是正确的方法，计算交叉验证的精度我的分类器？我将我的数据集划分为训练数据的xtrain和ytrain，以及测试集的xtest & ytest。构建模型：适合于训练集的：，这是我不确定的部分：
scorescross_val_score(RFC, xtest, ytest, cv = 10, scoring='precisio
浏览 8提问于2015-07-04得票数 3
2回答
我想展示一个模型的例子，该模型过度拟合了测试集，并且不能很好地对未来的数据进行泛化。我将新闻数据集分成3组：test set length: 5500我正在使用一个文本数据集并构建一个CountVectorizer我正在创建一个网格搜索(没有交叉验证)，每个循环都会测试向量化器上的一些参数('min_df'，'max_df')和我的
浏览 0提问于2018-03-14得票数 1
我听说，对于随机模型，我们应该分成训练和测试两部分，以避免过度拟合，这一事实在确定性模型中不会发生，因为它们使用线性规划来寻找最佳参数。我的观点是这是真的。确定性模型只是求解方程，它根本不应该对数据进行过拟合，而且它不同于基于随机性的随机模型来进行预测。
但我发现每个课程都说要拆分每个数据集，独立于其确定性或非确定性。
浏览 19提问于2021-09-22得票数 1
我只是想知道用以下步骤组织数据以避免冗余的最佳方法是什么：数据缺口的核算(估算)将数据拆分为培训和验证集
然后对模型进行拟合和预测。我的主要问题是，在对数据进行编码之前，是否最好先进行拆分，还是只在完成编码后才进行拆分？
浏览 0提问于2018-08-09得票数 0
1回答
我正在训练一个yolov5模型，我有一个数据集，但是我无法理解验证和测试数据之间的区别。我应该分割我的数据集来训练/测试/val还是仅仅是训练/测试？
浏览 11提问于2022-02-13得票数 1
回答已采纳
1回答
我正在训练一个神经网络机器学习模型，对如何调整超参数感到有点困惑。我认为培训过程如下：
有人告诉我，验证数据也被用来调优超参数。我不明白如何做到这一点，因为您在之后使用了验证数据，您已经构建了模型并对</em
浏览 2提问于2016-08-02得票数 2
回答已采纳
2回答
对于一个类项目，我设计了一个神经网络来近似sin(x)，但最终得到的神经网络只是记住了我给出的数据点上的函数。我的神经网络接受批处理大小为200的x值。问题是，我的神经网络完美地“近似”了sin(x)，损失为0，但我知道它不会推广到其他数据点。
我在设计这个神经网络时做错了什么，我如何避免记忆，而是设计我的神经网络来“学习”我的数据中的模式？
浏览 3提问于2018-05-10得票数 1
2回答
特征选择和交叉验证
、、、、
我想训练一个回归模型，为了做到这一点，我使用随机森林模型。然而，我也需要进行特征选择，因为我的数据集中有太多的特征，我担心如果我使用了所有的特征，我就会过度拟合。为了评估我的模型的性能，我还执行了5折交叉验证，我对以下两种方法的问题是正确的，为什么？1-如果我将数据分成两半，在前半部分进行特征选择，并使用这些选择的特征在剩余的一半上进行5折叠交叉验证( CV ) (在这种情况下，5 CV将使用完全相同的选择特征)。2
浏览 1提问于2013-10-29得票数 5
我的logistic预测模型的训练准确率为80%，测试准确率为79%。训练模型准确率:0.8039535210772422测试模型准确率:0.7937496044721021使用超参数调整和打印我的分类报告：0.77 0.74 0.76 189620当我将结果与实际数据进行比较时，我只在40%的数据匹配上测试了预测模型。
浏览 20提问于2020-02-18得票数 0
1回答
在数据分类不平衡的情况下，我知道我们只是过采样了培训集(以防止数据从培训到测试子集的泄漏)，但是如果我的测试集中没有正数据点怎么办？测试集仍然非常偏斜，只有我的阳性类的1%。我使用XGBoost、随机森林、Logistic回归和KNN进行分类任务。同时，我也尝试过使用SMOTE、SMOTE和Class_weight来对我的训练集进行过采样.为了增加获得更多数据的机会，我将10倍改为5倍交叉验
浏览 0提问于2019-08-20得票数 2
回答已采纳
如果我建立一个机器学习模型，它使用来自另一个机器学习模型的输出，而两个模型都是在相同的数据上训练的，是否会过度拟合？基本上，我想知道是否可以使用KNN预测结果作为深度神经网络模型的输入，而这两个模型都是在完全相同的数据上训练的。
浏览 0提问于2018-11-06得票数 0
我的训练集具有与实际人口不同的类分布，但我的测试集是代表性的，并且像实际人口一样分布。我已经考虑过对
浏览 0提问于2015-01-09得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
对象存储
云直播活动推荐
腾讯云开发者
