腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(6131)
视频
沙龙
1
回答
为什么
VAE
损失
不
收敛
到
零
?
pytorch
、
loss
我正在使用一个变分自动编码器,这是我对
损失
函数的实现: class VariationalAutoencoder(nn.Module): print(f'====> Epoch: {epoch} Average loss: {train_loss:.4f}')
损失
不是
零
怎样才能使
损失
收敛
到
零
?
浏览 184
提问于2021-11-11
得票数 1
0
回答
当我将
损失
乘以标量时,
为什么
在训练Keras模型时会得到不同的结果?
python
、
tensorflow
、
machine-learning
、
keras
、
artificial-intelligence
有人知道
为什么
训练Keras模型可能对乘以标量的
损失
很敏感吗?def
vae
_loss (input_image, decoder_output):
vae
.compile(optimizer='adadelta', loss=
vae</
浏览 11
提问于2018-07-11
得票数 1
2
回答
输入值范围与
损失
收敛
之间的联系
tensorflow
、
keras
、
deep-learning
、
neural-network
、
autoencoder
其目的是对在
零
背景下由均匀强度int_shape不等于
零
的形状组成的图像进行共振,请参见下面的int_shape = -0.25图像。但是,如果我用10,即范围(-5,5),甚至100,即(-50,50)来缩放数据,<
浏览 0
提问于2020-04-18
得票数 1
回答已采纳
1
回答
Tensorflow:自定义
损失
函数不提供梯度
keras
、
deep-learning
、
tensorflow2.0
、
loss-function
损失
函数的作用如下。def myLossFcn(y_true, y_pred, recall_weight, spec_weight): #hyperplastic编辑 我更新了我的
浏览 2
提问于2021-08-26
得票数 1
1
回答
`.zero_grad()`和`.zero_grad`有什么区别?
python
、
neural-network
、
pytorch
、
gradient-descent
、
loss-function
我正在研究神经网络,我发现,使用*.grad_zero(),我可以正确地获得
损失
函数值,也可以
收敛
到
零
。其中,with *.grad_zero (不带括号)以5位数表示
损失
函数值。
为什么
"()“在FPP中很重要。谢谢。
浏览 29
提问于2020-08-18
得票数 0
1
回答
为什么
Keras如此不愿意在[-1,1]之外进行预测
keras
如果不是42,而是对y使用0.42或-0.42,它可以正常工作(4.2和-42
不
工作)。所以我想,一定有某种程度的规范化,在某个地方,温和地压缩输出或偏向-1。
浏览 0
提问于2018-04-16
得票数 2
2
回答
是否总是保证
损失
函数的
收敛
性?
loss-function
、
optimization
(i)对于凸
损失
函数(即碗形),保证批梯度下降最终
收敛
到
全局最优,而不保证随机梯度下降。(4)对于凸
损失
函数(即碗形),既不保证随机梯度下降,也不保证分批梯度下降
收敛
到
浏览 0
提问于2020-08-13
得票数 4
回答已采纳
3
回答
负重训练速度太慢
cnn
、
training
、
weight-initialization
虽然我得到了快速、
收敛
和令人满意的结果,但训练后的权重值变化很小(而成本/
损失
函数却以一种看似
收敛
的方式迅速下降)。初始权值:卷积核为非
零
单元矩阵,完全连通层权为0's,激活函数为乙状结肠。数据标度从0
到
1。
为什么
权重变化这么小?
浏览 0
提问于2019-02-18
得票数 2
1
回答
DQN损耗不
收敛
tensorflow
、
deep-learning
、
reinforcement-learning
、
q-learning
目标是在
不
撞到其他汽车的情况下以预期的速度行驶。Q值也在
收敛
(参见图)。然而,对于所有不同的超参数设置,q
损失
并不
收敛
(见图)。我认为,Q
损失
的
收敛
性不足可能是获得更好结果的限制因素. 你知道
为什么
q
损失
不
收敛
吗?对于DQN算法,Q
损失
必须
收敛
吗?我想知道,
为什么
大多数的论文都没有讨论q
浏览 0
提问于2017-10-31
得票数 20
1
回答
Ada-Delta方法用于MSE
损失
和ReLU激活的AutoEncoder去噪时不
收敛
?
machine-learning
、
deep-learning
、
autoencoder
这篇论文说,使用AdaDelta的SGD对超参数不敏感,并且它总是
收敛
到
好的地方。(至少AdaDelta-SGD的输出重建
损失
与良好的动量法相当) 当我在去噪AutoEncoder中使用AdaDelta作为学习方法时,它确实在某些特定的设置下
收敛
,但并不总是
收敛
。当我使用均方误差作为
损失
函数,Sigmoid作为激活函数时,它非常快地
收敛
,并且经过100个时期的迭代,最终的重建
损失
比所有的平面SGD,动量SGD和AdaGrad都要好。但是当我使用ReLU
浏览 0
提问于2014-07-19
得票数 3
2
回答
变分式自动编码器从译码器输入
到
编码器输出的反向传播
machine-learning
、
deep-learning
、
neural-network
、
artificial-intelligence
我试图深入了解
VAE
,通过自己来实现它,当将解码器输入层的损耗反向传播到编码器输出层时会遇到困难。L(sigma) = epsilon * dLz(decoder_in)这是一种工作,但从长远来看,编码的分布向量的sigma分量趋向于回归到
零
,因此我的
VAE
结果
浏览 4
提问于2020-08-05
得票数 6
回答已采纳
1
回答
keras变分
损失
函数尺度
python
、
tensorflow
、
keras
我对NN和tensorflow非常陌生,最近我一直在阅读关于变分自动编码器的keras实现,我发现了两个版本的
损失
函数: def
vae
_loss(x, x_decoded_mean,版本2是同一批次中所有样本的平均
损失
。那么
损失
的规模会影响学习结果吗?我试着测试它们,这在很大程度上影响了我的潜在变量尺度。那么
为什么
这是正确的,哪种形式的
损失
函数是正确的呢?更新我的问题:如果我将original_dim与KL
损失
相乘, def
v
浏览 0
提问于2020-09-17
得票数 0
0
回答
在CNN上,快速
损失
收敛
意味着什么?
batch-file
、
tensorflow
、
deep-learning
、
caffe
、
loss
网络由每个图书馆(和)的开发团队实施 在葡萄牙语中,‘épocas’代表纪元,'Perda‘代表
损失
。
为什么
我的网络会以这种方式融合,
浏览 5
提问于2017-12-05
得票数 2
回答已采纳
1
回答
Keras中的
VAE
在3类图像上可视化潜在空间
keras
、
neural-network
、
autoencoder
我正在用未标记的输入图像训练一个变分自动编码器(
VAE
)。我感兴趣的是在潜在空间中可视化3类未标记的数据。我将潜在维度设置为128,并进一步使用PCA在2D中进行可视化。其次,我的训练代码如下所示:
vae
.compile(optimizer='rmsprop', loss=kl_reconstruction_loss, metrics=['accuracy'])
浏览 43
提问于2020-09-21
得票数 1
1
回答
将优化器从Adam更改为Nesterov时性能较差
optimization
、
deep-learning
、
pytorch
当我使用Adam时,
损失
函数可以
收敛
到
0.19。但是当我使用Nesterov时,
损失
函数只能
收敛
到
0.34。 顺便说一下,如果连续3个时期没有减少
损失
,则学习率除以5,lr可以调整3次。我想知道
为什么
会发生这种情况,我应该如何优化?非常感谢您的回复:)
浏览 45
提问于2021-08-30
得票数 0
1
回答
自定义
损失
函数显著降低了多gpu模型的训练速度
python
、
tensorflow
、
keras
、
multi-gpu
我发现问题出在
损失
函数上,把它改回一个内置的mse,结果和之前看到的一样快。我使用的
vae
_loss实现与许多教程中看到的大致相同: reconstruction_loss = recon_loss(y_truedimension return total_loss 当监控GPU使用率时,我意识
到
它们被很好地利用了,然后在每个时期之后下降到
浏览 1
提问于2019-09-06
得票数 0
1
回答
MLP中ReLu的
收敛
性问题
machine-learning
、
neural-network
、
backpropagation
、
activation-function
、
implementation
我只使用numpy从
零
开始在python中创建了神经网络,我正在处理不同的激活函数。我所观察
到
的非常奇怪,我很想知道
为什么
会发生这种情况。另外,当我将初始权重改为正常分布时,它的
收敛
性没有问题。我知道正态分布应该比随机-1,1工作得更好更快。我不明白的是,它
为什么
不能与-1,1
收敛
(误差保持在一个又一个时代),而不存在
浏览 0
提问于2020-12-10
得票数 1
回答已采纳
2
回答
在tensorflow中实现KL热身:回调中的tf.keras.backend.variable在不同时期是不稳定的
python
、
keras
、
deep-learning
、
callback
、
tensorflow2.0
其思想是,在训练开始时,
损失
的KL项应线性增加,超过指定的几个时期。我尝试的方法是使用回调,在每次新的纪元开始时在K.variable中设置一个值,就像当前在热身所需的时间跨度内设置一个值一样(例如,如果将预热设置为持续10期,则
损失
中的KL项应乘以0.6)。和kl_rate回调的类中): callbacks=[ten
浏览 11
提问于2020-06-05
得票数 1
回答已采纳
1
回答
利用交叉熵
损失
去噪自动编码器饱和输出
neural-network
、
deep-learning
、
autoencoder
optimizer sigmoid activations for both encoder and decoderBatch size = 50我对正在发生的事情稍有了解。交叉熵
损失
在代码中定义为- tf.reduce_
浏览 4
提问于2017-11-01
得票数 1
1
回答
Keras中的分割网络在训练过程中
收敛
到
单级
python
、
tensorflow
、
keras
、
neural-network
、
image-segmentation
我使用的ResNet-101前端和预先训练的重量从.该模型编译成功,但在训练过程中没有
收敛
:它总是在1至5个训练步骤之后
收敛
到
单个类。 检查网络图,并将它们
浏览 0
提问于2019-04-10
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
无监督训练用堆叠自编码器是否落伍?ML博士对比了8个自编码器
如何使用变分自编码器VAE生成动漫人物形象
DeepMind高级研究员:重新理解GAN,最新算法、技巧及应用
GAN/VAE地位难保?Flow在零样本识别任务上大显身手
全新视角:用变分推断统一理解生成模型
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券