我只想观察我的卷积层的权重在训练过程中的变化。我该怎么做呢？无论我做什么，权重似乎保持不变，即使损失在减少。尽管模型略有不同，但我在尝试遵循以下教程：https://pytorch.org/tutorials/beginner/blitz/cifar10_tutorial.html#sphx-glr-beginner-blitz-cifar10
浏览 93提问于2020-12-18得票数 0
如何在PyTorch中检查某些权重在训练过程中是否未更改？
据我所知，一种选择是在某些时期丢弃模型权重，并检查它们是否在权重上迭代更改，但也许还有更简单的方法？
浏览 3提问于2020-09-19得票数 3
在使用图形处理器训练PyTorch模型后，我可以使用保存的权重在TPU上继续训练模型吗？
浏览 6提问于2021-09-25得票数 0
以下面的假代码为例： def forward(input): x = some_torch_layers(x) x = sum(x) # or numpy or other operations return x
浏览 0提问于2018-12-11得票数 0
回答已采纳
3回答
假设我有一个定义好的神经网络的训练样本(带有相应的训练标签)(神经网络的结构对于回答这个问题并不重要)。让我们把神经网络称为“模型”。我用训练样本和训练标签来训练40个时代的“模型”。经过训练，神经网络将对整个神经网络有一组特定的权重和偏差，我们称之为WB_Final_experiment1。实验2
我用训练样本和训练标签来训练20个时代的“模型”。经过训练，神经网络将对整个神经网络有一组特定的权重和偏差，我们称之为
浏览 13提问于2020-03-20得票数 3
回答已采纳
我想加载一个预先训练的word2vec嵌入与gensim到一个PyTorch嵌入层。
如何将gensim加载到PyTorch嵌入层中的嵌入权值计算出来？
浏览 0提问于2018-04-07得票数 49
回答已采纳
我知道反向传播是如何随时间更新权重的，但是上下文神经元是如何更新的呢？为什么这些值实际上允许简单的递归神经网络随着时间的推移实际识别输入数据中的模式？
浏览 2提问于2013-05-25得票数 1
回答已采纳
1回答
在训练时，如果使用辍学，则在迭代中将一些权重设置为零。然后计算损失，并计算梯度进行权值更新。权重在下一次迭代之前更新。下坠的重量也更新了吗？
浏览 0提问于2021-03-15得票数 0
回答已采纳
我是深度学习和Pytorch领域的新手。所以我的问题是，在训练网络的过程中，嵌入应该改变吗？如果我想要将预先训练的嵌入(例如，经过训练的word2vec嵌入)加载到PyTorch嵌入层中，是否应该在训练过程中也更改预先训练的嵌入？谢谢。
浏览 12提问于2019-08-01得票数 3
我知道冻结早期层会停止后支柱的计算，但是如果在训练过程中每一步都计算早期层的前支柱，那么同样的东西就会被计算出来，直到到达解冻层。
如果每一步都要计算冻结层的前支柱，那么这不是浪费计算时间吗？有人知道只计算一次冻结层的输出并使用冻结层的输出来训练未冻结层的选项吗？
浏览 0提问于2020-03-08得票数 -1
这个问题的背景是，我正在尝试调试一个TensorFlow管道。我根据网络的当前预测手动计算每个示例的损失，并对误差项进行平均。我得到的数字与Keras报告的数字不同，所以问题是我是否找到了我的bug，或者如果我计算了错误的东西来与报告为“损失”的值进行比较。 Keras在这里计算的到底是什么？
浏览 87提问于2020-04-24得票数 1
回答已采纳
我很好奇，在神经网络中，对于不同的任务，是否有可能计算出哪些权重是重要的，哪些权重是冗余的(或有很高的冗余)？如果这是一种模型不可知论的方式(可能也是可微性的..)？
浏览 0提问于2020-08-14得票数 1
回答已采纳
如何从Tensorflow model Zoo 2中了解冻结了哪些层来微调检测模型？我已经成功地设置了fine_tune_checkpoint和fine_tune_checkpoint_type: detection的路径，并且在proto文件中我已经读到“检测”是指 // 2. "detection": Restores the entire feature extractor.
The only parts of the full detection model that are not restored are the box and class prediction
浏览 59提问于2021-11-04得票数 1
回答已采纳
1回答
可扩展的图形嵌入训练方法
、、、
我有一个用例来训练图形嵌入，寻找一种在PyTorch和TensorFlow中实现它的方法。限制是在计算过渡概率时应考虑边权值的方法。有人能建议最好的框架/库做什么吗？作者的node2vec实现仅仅是在火花中，然而，我当前的ML管道是更友好的PyTorch/TF。
浏览 0提问于2020-01-20得票数 2
2回答
我希望能够在我的训练中更广泛地使用自动混合精度，但我发现它太不稳定，常常以NaNs结尾。这里的人在训练中有什么一般的技巧来提高稳定性吗？
浏览 0提问于2022-12-02得票数 2
我在Google Pro+ (TeslaP100-PCIe GPU)下训练用PyTorch构建的神经网络，但遇到了以下奇怪现象：
se
浏览 0提问于2022-05-13得票数 0
我编写了简单的代码来学习Keras：
(x_train, y_train), (x_test, y_test) = keras.datasets.cifar10.load_data()
model.add(keras.layers.Flatten
浏览 1提问于2018-07-26得票数 0
回答已采纳
因此，我只需要冻结keras中完全连接的致密层中的一个或两个神经元，以便它的权重在训练过程中不会改变。有没有办法在keras中做到这一点？
浏览 9提问于2019-05-31得票数 0
1回答
预训练权值共享在float16 dtype中被优化和共享。
如何在PyTorch中转换模型参数的d型。我想将权重类型转换为float32类型。
浏览 5提问于2022-08-23得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
