tensorflow中的自动编码器。损失不会减少
在TensorFlow中，自动编码器是一种无监督学习算法，用于学习输入数据的低维表示。它由编码器和解码器两部分组成，通过将输入数据压缩为较低维度的编码表示，然后再将其解码回原始输入空间。
自动编码器的目标是最小化重构误差，即通过编码和解码过程重构输入数据时的损失。然而，如果损失不会减少，可能有以下几个原因：
- 模型参数设置不合适：自动编码器的性能受到许多参数的影响，如编码器和解码器的层数、每层的神经元数量、激活函数的选择等。如果这些参数设置不合适，模型可能无法有效地学习数据的表示，导致损失不会减少。建议尝试调整这些参数来优化模型性能。
- 数据预处理问题：自动编码器对输入数据的分布和范围敏感。如果数据没有经过适当的预处理，例如归一化或标准化，可能会导致模型难以学习有效的表示。确保对输入数据进行适当的预处理，以提高模型的性能。
- 学习率设置不合适：学习率是控制模型参数更新步长的超参数。如果学习率设置得太高，模型可能会在训练过程中发散而无法收敛。相反，如果学习率设置得太低，模型可能会收敛得非常慢。建议尝试不同的学习率来找到最佳的收敛速度。
- 模型复杂度不足：自动编码器的复杂度可能不足以捕捉输入数据的复杂结构。增加模型的复杂度，例如增加编码器和解码器的层数或神经元数量，可能有助于提高模型的性能。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云AI Lab：https://cloud.tencent.com/product/ailab
- 腾讯云机器学习平台：https://cloud.tencent.com/product/tiia
- 腾讯云深度学习平台：https://cloud.tencent.com/product/dla
相关·内容
1回答
理解自动编码器损耗函数
autoencoder、loss-function
我从来不知道如何计算自动编码器损失函数，因为预测有很多维数，而且我一直认为损失函数必须输出给定记录的单个数字/标量估计。然而，在GitHub上，我最近遇到了一个存储库，它在TensorFlow中实现了一个示例自动编码器，而平方错误实现比我想象的要简单得多：世界银行( TensorFlow 文
浏览 0提问于2016-12-06得票数 5
回答已采纳
1回答
Tensorflow Python版本生成不同的结果
python、tensorflow
我正在Tensorflow中训练一个自动编码器。看起来，如果我们使用Python3运行代码，它会工作得很好，因为损失在整个时间内都会减少。但是，当我们在Python2中运行相同的代码时，损失总是挂在那里。我只是有点迷惑，
浏览 1提问于2016-11-03得票数 2
1回答
tensorflow中的自动编码器。损失不会减少
python、tensorflow
我不明白为什么损失不会改变。我尝试过的事情有:根据维数公式改变编码和解码的层数，改变学习率，改变优化函数，将两批图像作为无噪声的图像进行输入，改变批大小，检查输入的有效性。下面提供了输出示例。我对TensorFlow比较陌生，它可能会有一些非常愚蠢的东西。import tensorflow as tffrom tensorflow.examples.tutorials.mnis
浏览 0提问于2018-02-15得票数 1
回答已采纳
1回答
tensorflow: pow输出为负
python、tensorflow、autoencoder
我正在使用tensorflow构建一个简单的自动编码器模型，但是有一个奇怪的bug，我无法诊断我有一个如下所示的损失函数： return 0.5* tf.reduce_mean(tf.pow(x-y, 2 ) ) return self.loss_func(x , input) + self.reg_fac *reg
现在的问题是，当将reg_fa
浏览 2提问于2017-03-02得票数 0
1回答
CLDNN (tensorflow)的降维
tensorflow、speech-recognition、autoencoder、rbm
我正在尝试用tensorflow编写CLDNN的实现，就像在中那样。我对降维层有一个问题。
据我所知，它是由几个堆叠限制Boltzmann机器(RBM)和工作像一个自动编码器。该层的解码器部分只是为了训练编码器以减小井的尺寸。这意味着您希望将编码器的输出“插入”到下一层的输入中。我可以定义一个损耗函数来训练自动编码器(通过比较解码输出的<
浏览 5提问于2016-12-07得票数 0
回答已采纳
1回答
优化Tensorflow学习率
python、tensorflow、rate
像tf.train.exponential_decay这样的函数不能根据不同的情况动态改变，因为起始率和衰减率是预先定义的。
浏览 1提问于2017-05-08得票数 1
2回答
变分式自动编码器潜在损耗淹没生成损耗
deep-learning、autoencoder、generative-models、mini-batch-gradient-descent
我试着在CIFAR-10数据集上运行一个变分自动编码器，我已经在TensorFlow中为它建立了一个简单的网络，其中的编码器和解码器各有4层，编码矢量大小为256。为了计算潜在损失，我强迫网络中的编码器部分输出日志方差，而不是标准偏差，因此潜在损失函数看起来如下：
latent_loss = -0.5 * tf.reduce_sum(1 + log_var_vector- tf.s
浏览 0提问于2018-07-19得票数 5
1回答
如何解释二元交叉熵损失函数？
machine-learning、deep-learning、loss-function、autoencoder、sigmoid
我看到了一些自动编码器的例子(在图像上)，它们使用sigmoid作为输出层，BinaryCrossentropy作为丢失函数。自动编码器的输入是标准化的0..1，sigmoid输出值(图像的每个像素的值) 0..1
我试图评估BinaryCrossentropy的输出，但我很困惑。为了简单起见，我们有图像2x2，运行自动编码器并获得2个结果。一个结果接近真实值，第二个结果与真值相同
浏览 0提问于2021-06-28得票数 3
1回答
用相同图像训练自动编码器
tensorflow、keras、deep-learning、autoencoder
我正在训练自动编码器与2000年相同的图像。我的期望是，如果自动编码器有足够的容量，在一定的训练时间后，损失将接近0，精度将接近1。相反，我看到损失= 0.07和accuracy=0.76的快速收敛。减少卷积层数有一定的改善作用。减少每层籽粒的数量增加了损失。在那之后没有任何改善。我的期望错了
浏览 4提问于2020-03-23得票数 2
回答已采纳
2回答
对于文本自动编码器，我应该使用什么丢失功能？
keras、loss-function、autoencoder
我正在尝试为文本实现一个自动编码器。但是我不知道我应该使用哪种损失函数？我试过使用mse，但我损失了1063442。我试图构建一个非常简单的自动编码器，只使用Keras中的LSTM层。
浏览 0提问于2018-03-28得票数 0
1回答
Keras自动编码器:验证丢失>训练丢失-但在测试数据集上表现良好
python、machine-learning、keras、deep-learning、autoencoder
简言之：1)参照下文提供的网络体系结构，任何人都可以深入了解如何减少验证损失(以及验证损失如何可能大大高于培训损失，尽管自动编码器</e
浏览 1提问于2019-10-10得票数 0
1回答
数据归一化卷积自动编码器
machine-learning、deep-learning、normalization、autoencoder
我对如何在训练卷积自动编码器之前对图像像素值进行归一化/标准化感到有点困惑。我们的目标是使用自动编码器进行去噪，这意味着我的训练图像由噪声图像和用作地面实况的原始非噪声图像组成。据我所知，有许多选项可以对图像进行预处理：-标准化-标准化(z-score) 当使用MinMax方法(在0-1之间缩放)进行归一化时，网络工作得很好，但我这里的问题是:当使用训练集的最小最大值进行缩放时，我应该使用噪声图像的最小&#
浏览 23提问于2019-10-14得票数 0
1回答
多输出的前向函数？
python、pytorch、autograd
通常，nn.module中的前向函数计算并返回对前传中发生的输入的预测。但有时，中间计算可能会对返回有用。例如，对于编码器，可能需要返回前传中的编码和重构，以便稍后在丢失时使用。问题：的nn.Module的前向函数，返回多个输出吗？例如由预测和中间值组成的一组输出？
这样的返回值不会使反向传播或自动梯度混乱吗？如果是这样的话，您将如何处理在损失函数中</e
浏览 5提问于2022-07-11得票数 0
回答已采纳
1回答
损耗函数变分自动编码器在Tensorflow中的应用
tensorflow、machine-learning、computer-vision、autoencoder、loss-function
关于变分自动编码器中的损失函数，我有一个问题。我按照tensorflow示例创建了一个LSTM，用于采样窦房结功能.我的编码器-输入是一组特定范围(随机抽样)的点(x_i，sin(x_i))，作为解码器的输出，我期望类似的值。
在tensorflow指南中，使用交叉熵来比较编码器输入和解码器输出。cross_ent = tf.nn.sigmoid_cross_entropy_wit
浏览 2提问于2019-12-20得票数 0
回答已采纳
2回答
分布式PCA或等效
dimensionality-reduction、pca、distributed、matrix-factorisation
我们通常有相当大的数据集可供建模，只是为了给您一个想法：超过六千万行。
许多建模算法和工具并不能扩展到如此广泛的数据集。因此，我们正在寻找一个分布式运行的降维实现(例如，在Spark/Hadoop/ etc中)。我们想把功能减少到几千个。GLRM虽然似乎是我们正在寻找的，但我们找不到这些想法的好的实际实现。als.pdf进行低秩矩阵逼近的想法。虽
浏览 0提问于2018-07-11得票数 5
回答已采纳
1回答
基于深度学习的图像聚类
neural-network、deep-learning、clustering、unsupervised-learning
我想对图像进行聚类，因为图像的内部和内部变化很大，我认为用卷积自动编码器减少维数是一个很好的工具。然后将聚类应用到特征向量上。我的问题:我的卷积自动编码器丢失和我提取的特征向量的聚类潜力之间有理论联系吗？但是，如果我们不能用<
浏览 0提问于2019-07-31得票数 0
2回答
如何在训练自动编码器(回调)时将keras中的输入随机设置为零？
python、tensorflow、keras、deep-learning、autoencoder
我正在用2个单独的输入路径联合训练2个自动编码器，我想随机将其中一个输入路径设置为零。 我使用tensorflow和keras后端(函数式API)。我正在计算反向传播的联合损失(两个损失的总和)。 A -> A‘&B ->B’ 损失=> l2(A，A')+l2(B，B') 取A和B的网络在潜在空间中是连通的。我想随机将A或B设置为零，并仅计算相应路径上<
浏览 29提问于2021-10-07得票数 5
回答已采纳
3回答
在tensorflow中处理RGB图像的SSIM损失函数
python、image、tensorflow、mse、ssim
我想使用SSIM度量作为我在tensorflow中工作的模型的损失函数。SSIM应该测量我的去噪自动编码器的重建输出图像与输入无损坏图像(RGB)之间的相似性。据我所知，在tensorflow中使用SSIM度量时，图像应该是规范化的( 0,1或0,255而不是-1,1 )。在将我的张量转换为0,1并将SSIM作为我的丢失函数之后，重建的<
浏览 1提问于2018-10-14得票数 7
回答已采纳
1回答
神经网络中的减少(相对滞后)过拟合
machine-learning、neural-network、deep-learning、regularized、dropout
在神经网络中，正则化(如L2、退出)通常被用来减少过度拟合。例如，下面的情节显示了典型的损失相对于时代，有和没有辍学。实线=列车，虚线=验证，蓝色=基线(无辍学)，橙色=与辍学。由Tensorflow教程提供的情节。
正则化延迟了验证损失开始增加的时代，但正则化显然没有降低验证损失的最小值(至少在我的模型和教程中是如此)。如果我们在验证<
浏览 0提问于2019-09-11得票数 1
回答已采纳
1回答
验证损失在再次下降之前先上升
neural-network、deep-learning
在我的训练失败中，我一直有一些奇怪的行为，我不知道是什么原因造成的。轴是损失与纪元。这里发生了两件事:首先，验证损失开始随着训练损失的减少而良好地下降，然后它们开始出现强烈的分歧。我假设这是某种形式的过拟合，即使验证损失在稍后会回落-这是正确的吗？
然后，验证损失回落以满足训练损失-在这里，它与训练损失</e
浏览 7提问于2017-06-24得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频活动推荐
腾讯云开发者
