1回答
我使用PyTorch训练单层神经网络，并在验证损失减少后保存模型。一旦网络完成了培训，我就加载保存的模型，并通过测试集特性(而不是上一个时代的模型)来查看它的性能。然而，更多的情况是，在大约150个时代之后，验证损失将停止下降，我担心网络正在过度拟合数据。如果验证损失在一些迭代中没有减少(例如，在5次迭代之后)，那么在培训期间加载保存的模型更好吗？另外，对于如何避免验证损失停止减少的情况，有什么建议吗？我曾经有过一些模型，即使在500个年代之后，验证损失</em
浏览 5提问于2022-03-11得票数 0
1回答
验证损失和训练损失之间的差距
、、、、
下面是我的CNN模型的验证损失和训练损失的图表。这是什么意思？模型不是过拟合，因为验证损失正在减少，但是模型是否有问题，因为两个函数之间存在差距？
我是个新手，所以请帮帮忙。
浏览 30提问于2020-05-19得票数 3
2回答
当我训练我的模型时，在这个时代的早期(前20 %)，损失减少了很多。然后在其余的时期(最后的80%)，损失是非常稳定的，并且在下一个时代之前不会有太大的变化。它也做同样的事。我正试着得到最好的损失函数。我使用的损失函数只是一个简单的均方误差(MSE)。我也在使用Adam优化器。有没有办法加快这一进程(比如提前停止
浏览 0提问于2020-05-19得票数 2
回答已采纳
1回答
训练损失减少，验证损失没有减少
、、、、
我想知道为什么这个回归问题的验证损失没有减少，而我已经实现了几种方法，例如简化模型、添加早期停止、不同的学习速率，以及正则化，但这些方法都没有正常工作。如有任何建议，将不胜感激。
浏览 0提问于2022-05-21得票数 0
我已经使用XGBOOST来减少对数损失，我还尝试了密集神经网络来减少对数损失，它似乎也工作得很好。现在，有没有一种方法可以将这两个模型堆叠在一起，以便进一步减少日志损失。
浏览 1提问于2020-03-07得票数 1
1回答
在神经网络中，正则化(如L2、退出)通常被用来减少过度拟合。例如，下面的情节显示了典型的损失相对于时代，有和没有辍学。实线=列车，虚线=验证，蓝色=基线(无辍学)，橙色=与辍学。正则化延迟了验证损失开始增加的时代，但正则化显然没有降低验证损失的最小值(至少在我的模型和教程中是如此)。如果我们在验证损失最小时使用早期停止训练(以避免过度拟合)，如果正则化只是延迟最小验证损失点(相对于降低最小验证损失值)，那么正则化似乎不会导致泛化程度更高的网络，而只是减慢了训练速度。如何
浏览 0提问于2019-09-11得票数 1
回答已采纳
1回答
我有一个自定义的损失函数，它为批次中的每个样本返回一个数字(因此，长度=批次大小的向量)。我如何还可以指定自定义的减少方法，以将这些样本损失聚合为整个批次的单个损失？在自定义损失函数中包含此减少，并让此函数仅返回单个标量而不是损失向量，这是可以接受的吗？
浏览 28提问于2021-10-14得票数 0
1回答
我的损失先是减少了几个时期，然后开始增加，然后上升到某个点，然后停止移动。我想现在它已经趋同了。现在，我们可以说我的模型不够合适吗？因为我的解释是，(幻灯片93 )如果我的损失下降，然后增加，这意味着我有一个较高的学习率，每两个时代我就会衰退一次，因此，在经历了几个时代的损失之后，因为现在的学习率很低，因为我的学习率还在下降，现在的损失应该重新开始减少我们能不能说，由于我的模型不合适，损失不会进一步减少吗？
浏览 3提问于2016-08-30得票数 0
回答已采纳
1回答
我正在学习和试验神经网络，并希望从更有经验的人那里获得以下问题的意见：
损失：(绿色=瓦尔，蓝色=火车]
准确性：(绿色=
浏览 1提问于2016-05-10得票数 13
由于我已经开始训练，每个时期的训练损失都在减少，因此每个时期之后训练的准确性都会提高。如何改进这一点，如何减少验证损失？
浏览 17提问于2020-02-22得票数 0
我是在一个LSTM网络工作，我得到了4.7e-4左右的损失金额.似乎增加了更多的层数和增加的时间并不能帮助减少它。我想知道这个损失金额吗？这是大的还是OK>有什么经验法则的损失？
为什么我不能减少我的损失？这里有什么问题吗？
浏览 0提问于2019-02-27得票数 1
--oplogSize 16--nojournal
将大小减少到32M，但文档称这“在某些情况下将缩短启动时间，但在正常操作期间可能会导致显着的性能损失。”这真的是mongoDB的最小起始数据库大小吗？
浏览 0提问于2012-11-01得票数 3
回答已采纳
1回答
解释验证损失
、、、
我是神经网络的新手，我不知道如何准确地解释我得到的验证损失的结果。我正在尝试使用tensorflow对图像进行分类。如果我绘制每个时期之后得到的结果，我会得到以下结果：enter image description here 我的训练精度和验证精度提高了，我的训练损失减少了，但验证损失虽然下降了一些，但并不是非常接近训练损失我不理解验证损失的变化。验证损失没有像训练损失减少那么多的事实是否意味着我有过度拟合？ (以防万一，我做了25个
浏览 53提问于2020-08-11得票数 1
回答已采纳
1回答
我在PyTorch中有一个多输出模型，当我使用相同的损失训练它们，然后反向传播时，我合并了两个输出的损失，但当一个输出损失减少时，其他输出损失增加，以此类推。我如何解决这个问题？loss1 = NLLL(out1, target1)loss = loss1 + loss2
loss.backward() 当loss1减少时，loss2增加，当loss2减少时，loss1增加，我如何解决这个问题。是否可以使用&#x
浏览 21提问于2019-07-02得票数 3
我问这个问题的原因是:我在训练一个网络，并且看到训练损失(两个嵌入的MSE)会像预期的那样减少(几个数量级)，但是验证损失保持不变。首先，我认为这可能是由于过度适应。因此，由于训练数据集相当大(200 k图像)，我决定减少时代大小，以便能够更经常地看到评估的验证集，从而导致比训练size /batchSize更小的历元。即使在那时，我也看到训练损失从一个时代减少到另一个时代(验证损失仍然保持不变)，我觉得这很有趣，因为网络仍然处于第一次看到培训数据的阶段。那么
浏览 0提问于2018-02-27得票数 6
回答已采纳
我试着递增地添加培训数据，并列出测试和培训的损失。结果如下，
很高兴看到测试损失正在减少，但正如我在Andrew Ng的ML类中了解到的那样，如果我有一个像DNN这样的强大模型，那么训练损失应该会随着我递增地添加更多的训练数据而增加，而测试损失应该会减少
浏览 3提问于2017-03-30得票数 4
回答已采纳
tensorflow如何单独优化批次的元素损失，而不是优化批次损失？ 在对每个批次的损失进行优化时，常用的方法是对所有批次的元素损失进行求和或取其平均值作为批次损失，然后对该批次损失进行优化。在我的例子中，我想单独优化每个元素的损失，而不是将它们一起减少为批量损失。 例如，在以下代码中。(通过这种方式，小批量实际上减少到批大小为1的情况。)我直接将损失降到最低，如下所示： optim = tf.nn
浏览 17提问于2019-04-19得票数 0
但是，调用estimator.train()函数会提供如下输出：也就是说，我的损失函数每一步都有很大的变化。但据我所知，我的损失函数应该随着迭代次数的减少而减小。另外，请查找随附的Tensorboard可视化屏幕截图以显示丢失功能：我无法弄清楚的疑问是：
是整体损失函数值(到目前为止处理的每一步的综合损失)还是仅仅是该步骤的损失值？如果是这一步的损失值，那么如何得到整体损失函数的值，并看到它的趋势，我觉得应该随着迭代次数的增
浏览 3提问于2017-10-03得票数 5
回答已采纳
1回答
我发现一些论文(Resnet论文)的图表如下：
正如您所看到的，随着迭代次数的增加，损失逐渐减少。但在某些时候(红色箭头)，损失会迅速减少(作为一个步骤)。这一点是什么？它是否改变了学习率点？
浏览 0提问于2017-06-11得票数 1
我正在使用MLPRegressor来解决一个问题，并希望绘制损失函数，即在每个训练时期损失减少了多少。但是，MLPRegressor可用的属性model.loss_只允许访问最后一个损失值。是否有可能访问整个损失历史记录？
浏览 2提问于2017-08-03得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
