腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(2040)
视频
沙龙
1
回答
在
TPU
上
训练
时
,
验证
损失
变为
nan
,
但在
GPU
上
完全
正常
google-colaboratory
、
tensorflow2.0
、
nan
、
tfrecord
、
tpu
我
在
使用
GPU
和
TPU
的google colab
训练
中遇到了一个相当奇怪的问题,我使用了一个自定义
损失
,它可以
在
GPU
上
使用tfrecord数据集,但如果我切换到
TPU
,就会给出
nan
作为
验证
损失
。此外,较旧的
验证
tfrecord数据集
在
TPU
上
运行良好。这让我觉得数据中可能有一些特定的东西。这显示
在<
浏览 31
提问于2020-09-27
得票数 1
1
回答
对多个
GPU
的培训会导致Keras中的
NaN
验证
错误
python
、
tensorflow
、
keras
我有一个Keras模型,它可以
在
单个
GPU
上进行良好的
训练
,但是当我
在
多个
GPU
上
训练
它
时
,所有用于培训的
验证
损失
都是NaNs。 我正在使用一个fit_generator并调用一个
验证
生成器。
在
一个
GPU
上
的
训练
损失
和
验证
损失
的返回值都是有效的,并且我的模型收敛,但是
浏览 0
提问于2019-01-21
得票数 1
1
回答
PyTorch:用
GPU
训练
比用CPU
训练
同样的东西错误更严重。
python
、
neural-network
、
gpu
、
pytorch
、
cudnn
我有一个关于时间序列的下一步预测模型,它只是一个GRU,上面有一个
完全
连接的层。当我用CPU
训练
50次后,
损失
为0.10,而用
GPU
训练
时
,50次后
损失
为0.15。在这两种情况下,做更多的划时代并不能真正降低
损失
。我试着改变数据和模型的随机种子,这些结果与随机种子无关。0.3.0CUDNN_MINOR %0
浏览 1
提问于2018-01-25
得票数 6
回答已采纳
1
回答
在
使用TFrecords的
TPU
中,使用图像分割来消除
训练
损失
deep-learning
、
image-segmentation
、
tensorflow-datasets
、
tpu
我是一个初学者,试图
在
Kaggle内核中使用Tensorflow处理
TPU
。我之前
在
GPU
中使用数据集
训练
了一个Unet模型,现在我正在尝试
在
TPU
中实现它。当我尝试
在
TPU
中
训练
时
,
损失
总是
Nan
,即使度量精度是
正常
的。由于这是我
在
GPU
中使用的相同模型和
损失
,我猜测问题出在tfrecord
浏览 1
提问于2020-06-16
得票数 1
1
回答
相同的PyTorch脚本不能在不同的计算机上运行
python
、
pytorch
我用PyTorch构建了一个网络,它在我的本地机器
上
运行得很好。现在我想把它移到一台支持
GPU
/CUDA的机器
上
,以便在更大的数据上进行
训练
。
但在
这里
训练
失败了。更准确地说,
损失
函数的计算失败。
在
我的代码中,我有一些类似的东西:.... ...
在
GPU
机器
上
,脚本
在
loss =
浏览 0
提问于2017-09-29
得票数 0
1
回答
CNN:
正常
情况下,
验证
损失
的减少比
训练
损失
要慢得多?
deep-learning
、
conv-neural-network
、
semantic-segmentation
我正在
训练
一个用于图像语义分割的CNN U-网模型,但是
训练
损失
似乎以比
验证
损失
更快的速度下降,这
正常
吗?培训和
验证
的
损失
可以从下面的图像中看到:
浏览 3
提问于2020-08-07
得票数 3
回答已采纳
3
回答
TPU
术语混淆
tensorflow
、
google-cloud-platform
、
google-compute-engine
、
google-cloud-tpu
所以我知道时代,火车步骤,批次大小和这类东西是如何定义的,但是我真的很难让我的头绕着
TPU
的术语,比如火车循环,每个循环迭代等等。我读过,但仍然很困惑。
浏览 0
提问于2018-09-14
得票数 2
回答已采纳
2
回答
CNN有很高的过拟合,尽管有dropout层?
python
、
tensorflow
、
deep-learning
、
conv-neural-network
、
dropout
validate on 23400 samples54600/54600 [==============================] - 54s 984us/step - loss:
nan
- categorical_accuracy: 0.9964 - val_loss:
nan
- val_categorical_accuracy: 0.9996 99.9+
验证
精度。当我运行一个测试
时
,所有的预测都是不正确的。所以,我假设它是过拟合的。尽管添加了dropout层
浏览 28
提问于2020-05-09
得票数 0
2
回答
残差神经网络模型
在
google colab
tpu
硬件
上
运行非常慢?
keras
、
deep-learning
、
google-colaboratory
、
google-cloud-tpu
、
tpu
我已经
在
谷歌Colab
上
为cifar10数据集建立了一个残差神经网络模型,但它在
TPU
硬件
上
运行非常慢。 我有另一个常规的卷积神经网络,它在google colab
上
运行良好。/github/valentinocc/Keras_cifar10/blob/master/keras_rnn_cifar10.ipynb#scrollTo=7Jc51Dbac2MC 预计每个时期至少
在
一分钟内完成
浏览 41
提问于2019-06-15
得票数 0
2
回答
如何修复tensorflow图像分类中的平坦化精度和
NaN
损失
tensorflow
、
machine-learning
、
artificial-intelligence
我用下面的代码这样做了,并开始
训练
模型。然而,
在
训练
过程中显示的文本显示,没有一个
损失
值(
训练
或
验证
)具有正确的值,并且精确度平坦,或在两个数字之间波动(每次相同的数字)。我更改了
损失
函数(从sparse_categorical_crossentropy改为binary_crossentropy)。但这些都不会改变这些值。history = model.fit(train_img, train_lbl, epochs = 100, validation_data=(va
浏览 2
提问于2019-07-30
得票数 0
3
回答
多
GPU
架构,梯度平均-低精度模型?
tensorflow
、
neural-network
当我执行在cifar10
上
描述的模型
时
,使用一个
GPU
大约4小
时
后,精度达到86%,当我使用2个
GPU
时
,精度下降到84%,
但在
2个
GPU
上达到84%的精度比1快。我的直觉是,
在
average_gradients中定义的函数返回一个不太精确的梯度值,因为梯度的平均值将比实际的梯度值更不准确。 如果梯度不太精确,那么参数比控制作为
训练
的一部分所学习的函数更不准确。看看代码(),为什么平均多个
GPU
<e
浏览 7
提问于2017-05-08
得票数 9
回答已采纳
1
回答
Keras NoteBook
GPU
超时
machine-learning
、
tensorflow
、
jupyter-notebook
、
keras
我试图
在
windows 10机器
上
运行带有tensorflow的keras,
在
jupyter笔记本
上
使用我的GTX 980
gpu
。如果我单独运行tensorflow与我的
gpu
,它的工作
完全
没有任何问题。但是,
在
大量的年代中,角点界面出现了问题。keras模型使用
GPU
,并给出一个输出,如果我的历元数很低,如下所示 model
浏览 0
提问于2017-02-06
得票数 2
2
回答
为什么
验证
丢失,
验证
准确性保持
在
相同的范围内?
python
、
tensorflow
、
machine-learning
、
keras
loss: 0.1350 - accuracy: 0.7074 - val_loss: 0.1711 - val_accuracy: 0.5299val_loss goes from 0.1511 to 0.2011 val_accuracy goes from 0.4011 to 0.7011
浏览 2
提问于2020-11-18
得票数 0
回答已采纳
3
回答
停止
训练
我的神经网络可以吗?
deep-learning
、
training
当我试图
训练
的神经网络的
验证
误差慢慢减小,但没有太多的减少时,是否可以在这一点
上
停止
训练
,还是需要增加
训练
时间直到达到最小的
验证
误差?例如,在过去的5个时代中,我的
验证
错误如下所示:谢谢,
浏览 0
提问于2020-03-13
得票数 0
回答已采纳
1
回答
验证
损失
有时会达到峰值
python
、
keras
、
deep-learning
所以我用LR = 1e-4 BS = 32 EPOCHS = 100
训练
了这个模型。这就是结果。有时,我的val
损失
是峰值,
但在
那之后它又回到列车
损失
线以下。我的模型怎么了?任何答案都将不胜感激。
浏览 31
提问于2020-04-18
得票数 0
回答已采纳
1
回答
实践中的偏差-方差权衡(CNN)
overfitting
、
variance
、
bias
我第一次
在
我的数据集
上
训练
CNN,得到了一个有点像这样的
损失
情节:橙色是
训练
的
损失
,蓝色是德夫的
损失
。正如你所看到的,
训练
损失
比开发
损失
低,所以我想:我有(合理的)低偏差和高方差,这意味着我是过度拟合,所以我应该增加一些正则化:辍学,L2正则化和数据增强。但是,我实际上选择了第一个模型,因为它有较低的
验证
损失
。 我的问题是:
在
大多数文献中,对于偏差-方差权衡
浏览 0
提问于2019-01-17
得票数 3
3
回答
电流型神经网络
损失
值
NaN
python
、
tensorflow
、
neural-network
、
loss
、
tf-slim
我试图
在
一个大数据集
上
建立一个简单的多层感知器模型,但我得到的
损失
值是
nan
。奇怪的是:
在
第一步
训练
之后,
损失
值不是
nan
,而是46 (这是奇怪的低)。当我运行一个logistic回归模型
时
,第一个
损失
值约为3600)。
但在
那之后,
损失
的价值就一直
在
南。我也使用tf.print来调试它。 该模型的目标是预测4500个不同的类,因此这是一个分类问题。当使用tf.pr
浏览 2
提问于2017-05-19
得票数 2
回答已采纳
1
回答
平方根正则化与高损耗
neural-network
、
loss-function
、
pytorch
、
regularization
在
没有正则化的情况下,
损失
发生在0.4附近。使用lambda=100,如果我使用l2或l1正则化,
损失
就会在0.45附近解决。有趣的是,对于lambda=0.001来说,
损失
的最终价值大约是0.44。如果正则化是造成
损失
的一个压倒性因素,那么SGD必须降低权重的绝对值,直到正则化的惩罚与我所使用的交叉熵
损失
的实际分类相平衡--我知道情况并非如此,因为
训练
和
验证
的准确性与
训练
结束
时
的原始网络(没有正则化另外一个注意,如
浏览 0
提问于2019-04-09
得票数 2
回答已采纳
1
回答
TF2对象检测API: model_main_tf2.py -
验证
丢失?
python
、
tensorflow
、
tensorflow2.0
、
object-detection
、
object-detection-api
在过去的两个月中,我一直
在
尝试
训练
一个对象检测模型,并最终成功地遵循了这个。问题是,
训练
损失
是显示出来的,它是
在
平均下降,但
验证
损失
没有。注释/标签_map.pbtxt”num_epochs: 1input_path:“注释/测试.记录”} 我阅读了,它似乎并不是
在
训练
时
进行评估,而是只
浏览 2
提问于2020-10-24
得票数 4
回答已采纳
2
回答
有密集连接层的辍学
tensorflow
、
machine-learning
、
keras
、
deep-learning
、
densenet
我
在
我的一个项目中使用了一个密集的模型,并且
在
使用正则化时遇到了一些困难。在此之后,这两个
损失
功能下降的方式相同,没有辍学,导致过度拟合再
浏览 3
提问于2020-04-05
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
一行代码安装,TPU也能运行PyTorch,修改少量代码即可快速移植
百分点认知智能实验室出品:TPU与BERT的邂逅
Julia加入TPU,这是一个靠自己也要融入机器学习的编程语言
Pandas 数据预处理
挑战已来,英伟达能否延续优势?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券