腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
LSTM
中
添加
relu
激活
后
,
为什么
会
出现
Nan
?
、
、
、
我有一个简单的
LSTM
网络,大致如下:
lstm
_activation = tf.nn.
relu
LSTMCell(num_units=10, activation=
lstm
_activation)] stacked_cells_fw = MultiRNNCell(当我不使用
激活
(activation=None)或使用tanh时,
浏览 243
提问于2019-03-24
得票数 1
回答已采纳
2
回答
在
时间序列预测任务
中
应在中间层使用哪种
激活
函数
、
、
、
、
我想用
LSTM
建立一个时间序列预测模型,线性
激活
函数对最终层还是输出层是好的? model.add(
LSTM
(32, input_shape=(n_features, input_n), return_sequences=True,activation', optimizer =
浏览 2
提问于2019-12-04
得票数 2
2
回答
LSTM
层间的
激活
函数
、
、
、
、
我知道
LSTM
单元内部同时使用sigmoid和tanh
激活
函数,但是当创建一个堆叠的
LSTM
体系结构时,通过
激活
函数(例如
ReLU
)传递它们的输出是否有意义?那么,我们是否更喜欢这样:model =
LSTM
(50, activation=&
浏览 0
提问于2020-01-16
得票数 13
回答已采纳
1
回答
提高暹罗网络的精度
、
、
、
、
')(net)out = Activation('
relu
')(net) z = Concatenate(axis=-1)([euc, sub_xy, mul])z = Activation('
relu
浏览 1
提问于2020-02-06
得票数 1
1
回答
如果我们主要使用RNN上的
LSTM
来解决梯度消失问题,
为什么
我们不能只使用RNN的
ReLU
/leaky
ReLU
呢?
、
、
、
、
我们都知道,当我们使用sigmoid的深度神经网络时,会
出现
消失梯度问题,如果我们使用
relu
,它可以解决这个问题,但它会产生死神经元问题,然后通过泄漏
relu
来解决。如果RNN
中
存在梯度消失问题,我们
为什么
要转向
LSTM
?
为什么
我们不能使用
relu
来解决它。
浏览 4
提问于2021-01-18
得票数 0
1
回答
如何让
LSTM
在
不减小网络规模的情况下处理长输入样本?
、
、
、
、
背景: 我使用
LSTM
(内置
在
tensorflow.js
中
)根据输入文本文件生成文本。我将文本文件拆分成多个样本,最初将每个样本的长度设置为10,然后将其扩展到20,一切都很好。最后,我将其扩展到100,
LSTM
的梯度呈爆炸式增长,损失为
NaN
。 我尝试了梯度裁剪,梯度归一化,权重正则化,批量缩小,改变模型的架构……什么都不管用。tf.layers.
lstm
({ units: 512, activation: "
relu
", returnSeque
浏览 10
提问于2020-09-18
得票数 1
回答已采纳
1
回答
我应该在自动编码器中使用最后一层上的什么
激活
函数和损失函数来重建事件序列?[Keras]
、
、
、
、
我的数据集是一个大小为(M,t,N)的3D数组,其中M是样本的数量,t是序列
中
的时间步数,N是
在
时间t可能发生的事件的数量。在任何给定的时间步
中
只能发生一个事件。 我想尝试构建一个用于异常检测的自动编码器,
在
我读过的教程和博客
中
,最后一个
激活
层是'
relu
‘,损失函数是'mse’。但是,由于我正在尝试基本上重建一个具有N个类别的分类,那么'softmax‘作为最后一层和'categorical_crossentropy’
会
浏览 2
提问于2020-08-12
得票数 0
2
回答
爆炸损耗函数,
LSTM
自动编码器
、
、
、
、
我正在训练一个
LSTM
自动编码器,但是丢失函数随机上升,如下图所示: model.add(RepeatVector(430)) model.add(
LSTM
(100, dropout=0.2, recurrent_dropout=0.2, activation='
relu
浏览 1
提问于2020-03-20
得票数 5
1
回答
二分类神经网络:
Nan
损失和
NaN
预测
、
、
在
第一轮训练
中
,模型从前+- 200个样本的损失开始,然后进入
Nan
损失。准确率保持
在
50%左右,当我打印测试集的预测时,它只预测
NaN
。我的模型是这样的: model = Sequential()model.add(Dropout(0,2)) model.add(
LSTM<
浏览 47
提问于2019-09-24
得票数 0
2
回答
CTC是inf还是
nan
:张量有Inf值吗?
在
培训的第一步(或300多个步骤之后),我一直遇到这个错误。有人能指出发生这种情况的原因吗?"layer_type": "collapse_to_rnn_dims"}, {"layer_type": "birnn", "num_
浏览 0
提问于2018-03-05
得票数 1
回答已采纳
2
回答
PyTorch版本的as简单Keras模型
、
、
尝试将Keras
中
的一个简单的
LSTM
模型转换为PyTorch代码。Keras模型仅在200年
后
收敛,而PyTorch模型: model.add(Dense(1)) model.compileBefore shape (6,
浏览 0
提问于2019-02-21
得票数 4
回答已采纳
2
回答
在
LSTM
中使用tanh的直觉是什么?
、
、
、
、
在
LSTM
网络()
中
,
为什么
输入门和输出门使用tanh?它只是一个非线性变换吗?如果是,我可以将两者都更改为另一个
激活
功能(例如,
ReLU
)吗?
浏览 0
提问于2016-11-23
得票数 89
回答已采纳
2
回答
在
凯拉斯失去CNN会在某个训练点变成南。
、
、
、
我正在Keras
中
训练VGG16的最后一层。layer x = Flatten()(x) Epoch 5&
浏览 3
提问于2019-03-07
得票数 4
回答已采纳
1
回答
Keras和Pytorch编解码模型的差异
、
、
、
我注意到的一些不同之处如下: 我的理解是这样的,对吗?它是可选的,您仍然可以
在
没有嵌入层的情况下构建一个很好的模型(取决于问题)。这就是
为什么
Keras选择在这个特定示例
中
不使用它的原因。这是一个合理的理由,还是有
浏览 9
提问于2020-06-09
得票数 0
回答已采纳
2
回答
为什么
“垂死的
ReLU
”问题在大多数现代深度学习体系结构
中
不存在?
、
、
ReLU
(x) = max(0,x)函数是神经网络中常用的
激活
函数。然而,已经证明,它可能
会
遭受死亡的
Relu
问题(也见神经网络
中
的“垂死
ReLU
”问题是什么?)考虑到
ReLU
函数的这个问题,以及经常
出现
的使用泄漏
ReLU
的建议,
为什么
到目前为止
ReLU
仍然是现代深度学习体系结构中使用最多的
激活
函数?这仅仅是一个在实践
中
不经常发生的理论问题吗?如果是的话,
浏览 0
提问于2021-03-01
得票数 4
2
回答
对如何组合CONV1D和
LSTM
感到困惑
、
、
、
、
kernel_size=5, activation="
relu
tf.keras.layers.
LSTM
(64, return_sequences=True), tf.keras.layers.Dense(10, activation="<e
浏览 171
提问于2020-09-23
得票数 1
2
回答
训练
LSTM
自动编码器得到
NaN
/超高均方误差损失
、
、
、
、
我
在
试着训练一个
LSTM
ae。这就像一个seq2seq模型,你抛出一个信号来得到一个重建的信号序列。我使用的序列应该是非常简单的。损失函数和度量是MSE。最初的一百个时代进展顺利。然而,经过一段时间
后
,我得到了超高的均方误差,有时会达到
NaN
。我不知道这是什么原因。你能检查代码并给我一个提示吗?这个序列之前得到了归一化,所以它在0,1的范围内,它怎么
会
产生如此高的MSE误差?(1024, activation='
relu
', input_shape=(n_in,1)
浏览 0
提问于2020-03-06
得票数 1
1
回答
哪个深度学习文本分类器对健康数据有好处?
、
、
、
在
第二种情况下,第1-3句是一段的一部分。在这里,第一句显示这个人停止吸毒(这是不好的人应该继续)。所以我的目标是
在
我的文本数据上应用一个深入学习的文本分类器,并建立一个模型,所以当我收到一个新的段落时,我将能够预测这个人是否停止了他的药物。但在现实
中
,我们会给出一个段落来测试这个模型。在你看来,处理这个问题的最佳方法是什么?
在
阅读注释
后
更新 我请
浏览 0
提问于2018-05-30
得票数 7
回答已采纳
2
回答
ReLU
用于解决神经网络
中
的消失梯度问题?
、
、
、
为了解决前馈神经网络
中
的梯度消失问题,可以使用
ReLU
激活
函数。 当我们讨论RNN
中
的消失梯度问题时,我们使用了一个更复杂的体系结构(如
LSTM
)。在这两种情况下,
激活
函数都是tanh。难道我们不能在RNN中使用
ReLU
而不是tanh来解决消失的渐变,而不是选择更复杂的体系结构吗?
浏览 0
提问于2019-10-07
得票数 4
1
回答
摘要直方图
LSTM
中
的Keras -
Nan
、
、
、
、
我使用Keras编写了一个
LSTM
模型,并使用了LeakyReLU高级
激活
: opt = optimizers.AdamSequential() num_samples = data.shape[1]
LSTM
我使用activation='linear'作为LeakyReLU
激活
之前
浏览 1
提问于2018-10-31
得票数 3
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
60行代码徒手实现深度神经网络
利用LSTM框架实时预测比特币价格
想知道比特币价格趋势?本文带你一探究竟
如何一夜暴富?深度学习教你预测比特币价格
如何一夜暴富?这里有一份比特币价格预测指南
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券