pytorch模型在第一轮后返回NANs

文章/答案/技术大牛

发布

1回答

python、machine-learning、deep-learning、pytorch、backpropagation

这是我第一次写一个基于Pytorch的CNN。我终于让代码运行到了为第一批数据生成输出的地步，但在第二批数据中生成了nans。出于调试目的，我极大地简化了模型，但它仍然不能正常工作。这里显示的模型只是几个具有线性输出的完全连接的层。我猜问题出在反向传播这一步，但我不清楚问题出在哪里，为什么。以下是模型的一个非常简化的版本，它仍然会产生错误：数据加载器： batch_size = 36# note "rollaxis" to mo

浏览 72提问于2019-10-19得票数 4

1回答

Pytorch Softmax给出nans和负值作为输出

python、pytorch、softmax

我在我的模型末尾使用softmax。然而，经过一些训练后，softmax给出了负的probability.In，我也遇到了一些情况下的nans概率。我在搜索中发现的一个解决方案是使用标准化的softmax…然而，我找不到任何关于这个的pytorch实现。请注意，我已经在使用torch.nn.utils.clip_grad_norm_(model.parameters()，40)，以避免爆炸梯度我使用的是pytorch 1.6.0

浏览 180提问于2020-09-09得票数 3

回答已采纳

1回答

修改后的PyTorch损失函数BCEWithLogitsLoss返回NaNs

python、pytorch、loss-function、cross-entropy

我试图从零开始实现一个定制的损失，基于PyTorch的 super

浏览 0提问于2020-06-30得票数 1

2回答

在PyTorch中加载Torch7训练模型(.t7)

python、lua、pytorch、torch、pre-trained-model

大多数情况下，我依赖于预先训练好的模型。在Lua中，我使用torch.load函数来加载一个保存为torch .t7文件的模型。我对切换到PyTorch( )很好奇，所以我阅读了相关文档。我找不到任何关于加载预训练模型的机制的信息。我能找到的唯一相关信息是这个页面：但是页面中描述的函数torch.load似乎加载了一个用pickle保存的文件。如果有人有更多关于在PyTorch中加载.t7模型的信息，请在这里分享。

浏览 4提问于2017-01-26得票数 8

回答已采纳

1回答

CNN与CTC损失

loss-function、resnet、transfer-learning、conv-neural-network、ctc

我想使用预先训练的CNN模型(ResNet50，VGG等)提取特征，并使用CTC损失函数来使用这些特征。我想把它构建为一个文本识别模型。有谁知道我该如何做到这一点吗？

浏览 19提问于2020-04-13得票数 0

1回答

修剪模型后删除Pytorch中的weight_orig

deep-learning、pytorch、pruning

在Pytorch中修剪模型后，保存的模型包含修剪后的权重和weight_orig。这会导致修剪后的模型大小大于未修剪后的模型。有没有一种方法可以删除weight_orig并减小修剪后的模型大小？

浏览 9提问于2020-11-07得票数 0

3回答

Keras如何用Adam优化器恢复训练

python、tensorflow、machine-learning、keras

我的模型需要运行多个时代才能获得良好的结果，使用v100在Google上只需几个小时。然而，要赶上<e

浏览 0提问于2019-06-02得票数 6

1回答

GRU损失降至0.9，但不会进一步下降，PyTorch

python、deep-learning、pytorch、lstm、recurrent-neural-network

我用来进行GRU实验的代码。 import torchimport torch.nn.functional as F def __init__(self): self.gru = nn.GRU(2, 512, self.layers, bat

浏览 40提问于2020-10-15得票数 2

回答已采纳

1回答

gluUnProject总是返回零

android、opengl-es、coordinates

当我的应用程序运行时，它准确地告诉我屏幕上的坐标，我知道这些坐标存储在我的渲染线程中，然后提取屏幕坐标。不幸的是，屏幕坐标似乎没有世界坐标的影响，世界坐标保持在零。我还记录了newcoords[]数组的每个部分，它们都返回一些内容，即NaN (不是数字)，这是问题还是算法中更高的问题？

浏览 0提问于2011-08-31得票数 2

4回答

找不到有效的cuDNN算法来运行卷积

pytorch

我在尝试运行前馈torch.nn.Conv2d时收到此消息，得到以下堆栈跟踪：+-----------------------------------------------------------------------------+ 我使用的是Python3.7，Pytorch1.5

浏览 1提问于2020-04-28得票数 6

1回答

经过PyTorch训练的模型可以在GPU和TPU之间传输吗？

pytorch、gpu、tpu

在使用图形处理器训练PyTorch模型后，我可以使用保存的权重在TPU上继续训练模型吗？

浏览 6提问于2021-09-25得票数 0

1回答

二分类神经网络: Nan损失和NaN预测

python、keras、deep-learning

这个模型试图根据一个包含400个数字的数组来预测两个状态。在第一轮训练中，模型从前+- 200个样本的损失开始，然后进入Nan损失。准确率保持在50%左右，当我打印测试集的预测时，它只预测NaN。我已经尝试检查数据集中的NaNs，但没有。我的模型是这样的： model = Sequential() model.add(LSTM(128, input_shape=(400,1), activation='relu', return_sequences

浏览 47提问于2019-09-24得票数 0

1回答

PyTorch、PyTorchModel在sagemaker.pytorch中的差异

pytorch、amazon-sagemaker

我正在尝试创建一个模型，使用火把在救世主。我尝试在sagemaker.pytorch中从sagemaker.pytorch导入PyTorch中部署使用-sagemaker.pytorch模块。但是，我想了解PyTorchModel在sagemaker.pytorch中的sagemaker.pytorch import PyTorchModel是什么。他们都有deploy()。，我们使用sagemaker.py

浏览 2提问于2019-08-22得票数 2

2回答

如何使用PyTorch在预先训练的模型上添加新的层？(给出了Keras示例。)

python、keras、pytorch、vgg-net、pre-trained-model

喀拉斯：model = keras.applications.VGG19(include_top=False, weights="imagenet", input_shape=(img_width, img_height, 3))我加载VGG19预训练的模型，直到同一层与以前的模型，其中加载了Keras。())[:-2])[0] 加载模型后，以下图

浏览 0提问于2020-11-01得票数 6

回答已采纳

1回答

为什么PyTorch比滑雪板模型更快？

machine-learning、scikit-learn、random-forest、machine-learning-model、pytorch

我在一个有两个标签的10m大小的数据集上训练了一个RandomForest。用sklearn进行推断需要450 ms。但是，在将相同的模型转换为PyTorch后，现在需要128 on的CPU推理。如果两者都运行在CPU上，那么为什么蜂鸟的Pytorch模型比sklean模型更快呢？我不明白蜂鸟对我的滑雪板模型做了什么来提高速度。

浏览 0提问于2020-06-23得票数 1

回答已采纳

1回答

CNTK C# API支持ConvTranspose吗？

c#、convolution、cntk

我有一个定制的dnn模型，它是我在PyTorch中定义和训练的，我试图将它部署到一个通过ONNX用C#编写的应用程序中。加载模型时，会出现以下错误：经过一些测试后，我发现只有当我将网络的上采样端(它使用转置卷积)返回时才会发生这种情况。Python页面显示一个convolution_transpose函数，但我在C# API中找不到。谢谢!

浏览 0提问于2018-09-18得票数 0

回答已采纳

1回答

是否可以在densenet169上执行量化，以及如何执行量化？

machine-learning、pytorch、artificial-intelligence、densenet、static-quantization

我一直试图对一个密集的模型进行量化，但没有成功。我一直在尝试实现pytorch后的训练静态量化。Pytorch有其他型号的量化版本，但没有用于密度集的版本。是否可以量化密集的体系结构。我一直在寻找如何将量化应用于预先训练的模型的教程，但我没有取得任何成功。

浏览 40提问于2022-11-29得票数 0

1回答

UnpicklingError:遇到load persistent id指令，但未指定persistent_load函数

python、serialization、deep-learning、pytorch、pickle

在这个文件中，我加载了深度学习模型的pickle文件，该模型是使用PyTorch构建和训练的。在api.py中，下面给出的函数是最重要的。

浏览 74提问于2021-02-24得票数 4

回答已采纳

1回答

在Pytorch中调用optimizer.step之后，一些网络参数可能成为nan的主要原因是什么？

python、pytorch

我正试图理解为什么在调用optimizer.step()之后，Pytorch神经网络中的一两个参数偶尔会变成nan。在调用.backward()之后和调用优化器之前，我已经检查了梯度，它们既不包含nans，也不很大。我正在做渐变剪裁，但我不认为这是负责的，因为梯度在裁剪后看起来仍然很好。我到处都在用单精度浮标。不幸的是，代码太长，无法在这里复制，我无法在一个较小的例子中复制这个问题。谢谢!

浏览 0提问于2021-12-04得票数 0

回答已采纳

1回答

回转面变压器中转换型放电筒模型的合理加载

python、tensorflow、machine-learning、pytorch、huggingface-transformers

我使用以下功能将一个经过预先训练的tf模型转换为pytorch。)def vectorize_sentence(text): v = v + output[0][0][i].numpy() return vector 然而，在加载模型

浏览 3提问于2020-08-29得票数 0

点击加载更多