腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(6955)
视频
沙龙
1
回答
Tensorflow.js
:
使用
tanh
或
sigmoid
时
处理
张量
错误
,
但不
使用
relu
激活
函数
、
、
、
在
TensorFlow.js
中,我创建了一个具有3个密集层的顺序神经网络,当我将
激活
函数
设置为'
relu
‘
时
,它可以工作,但当我尝试'
tanh
’
或
'
sigmoid
‘
时
,它会抛出
错误
," error :我做了一个模型总结,以验证更改
激活
函数
不会改变网络结构
或
参数编号。我还尝试注释掉我正在
使用
的tf.tidy。
浏览 13
提问于2019-10-04
得票数 0
1
回答
神经网络同一层中不同的
激活
函数
、
、
、
、
我的问题是,如果我将不同的
激活
函数
安排在一个神经网络的同一层中,并对其他隐藏层保持相同的趋势,将会发生什么。假设启动时有3个
relu
单元,在此之后有3个
tanh
,其它
激活
函数
I是相同的隐层,对于其他隐层,我是在缩放所有具有相同尺度(递减/增加)的节点,并且
激活
函数
的排列和顺序不变。
浏览 0
提问于2020-04-19
得票数 2
回答已采纳
1
回答
在Keras上,神经网络在最初的几个时期没有学习
、
、
、
、
我正在
使用
TensorFlow后端在Keras上测试简单的网络,我遇到了一个
使用
sigmoid
激活
功能的问题import numpy as npfrom numpy import expand_dims from keras.preprocessing.imagesteps_per_epoch=len(x_train) /
浏览 0
提问于2019-10-29
得票数 1
2
回答
在LSTM中
使用
tanh
的直觉是什么?
、
、
、
、
在LSTM网络()中,为什么输入门和输出门
使用
tanh
?它只是一个非线性变换吗?如果是,我可以将两者都更改为另一个
激活
功能(例如,
ReLU
)吗?
浏览 0
提问于2016-11-23
得票数 89
回答已采纳
3
回答
电流型神经网络损失值NaN
、
、
、
、
当我运行一个logistic回归模型
时
,第一个损失值约为3600)。但在那之后,损失的价值就一直在南。我也
使用
tf.print来调试它。有关我的模型的一些信息: 3层模型。
浏览 2
提问于2017-05-19
得票数 2
回答已采纳
1
回答
如何确定
激活
函数
?
、
、
目前有许多
激活
函数
,如
sigmoid
、
tanh
、
ReLU
(是首选),但我有一个问题,即需要考虑哪些选择才能选择特定的
激活
函数
。例如:当我们想在GANs中更新一个网络
时
,我们更喜欢
使用
LeakyReLU。
Sigmoid
:当您有一个二进制类要识别
时
Re
浏览 4
提问于2022-01-25
得票数 2
回答已采纳
2
回答
为什么tensorflow和keras SimpleRNN层会默认
激活
tanh
、
我想在我正在构建的tensorflow模型中为我的简单RNN
使用
relu
激活
。它位于一个深而复杂的网络之上。我正在尝试对一系列图像进行分类。我注意到,keras和tensorflow源代码中的默认
激活
对于简单的RNN来说都是
tanh
。这有什么原因吗?
使用
relu
有什么问题吗?似乎雷鲁会更好地帮助逐渐消失的梯度。nn = tf.nn.rnn_cell.BasicRNNCell(1024, activation = tf.nn.
relu
)
浏览 8
提问于2016-08-27
得票数 6
回答已采纳
1
回答
ReLu
的输入规范化?
、
、
、
让我们假设一个用于分类的普通MLP,并为隐藏层提供一个给定的
激活
函数
。我知道,如果
sigmoid
是
激活
函数
,那么规范0到1之间的网络输入是一种已知的最佳实践,如果
tanh
是
激活
函数
,则为-0.5和0.5。 那
ReLu
呢?我不是在谈论
ReLu
输入的规范化,而是在
ReLu
:https://arxiv.org/pdf/1508.00330之前
或
之后
浏览 0
提问于2017-12-20
得票数 13
回答已采纳
1
回答
为什么在简单的神经网络中,
tanh
比
relu
表现更好?
这是我的场景我的神经网络如下 将所有权值从-1,+1初始化为随机实数。 现在我为每堂课做了500 fixed samples的训练。简单地说,通过传递500x9图像来训练
函数
,该
函数
使用
backpropagation进行100次迭代,通过learning_rate*derivative_of_loss_wrt_co
浏览 1
提问于2018-02-18
得票数 5
回答已采纳
1
回答
ReLu
模型为什么在Conv1D层和第一个密集层中
使用
?
、
、
、
为什么
ReLu
在Conv1D层中
使用
而不是Softmax? ,trainable=False)model1.add(Conv1D(256, 7, activation="
relu
"))model1.
浏览 0
提问于2022-10-16
得票数 0
回答已采纳
1
回答
当我有多个参数
时
,为什么Optuna CSV文件每个参数只显示一个项目?
、
、
、
、
activations_1 = trial.suggest_categorical('activation', ['
relu
', '
sigmoid
', '
tanh
', 'selu']) activations_2 = trial.suggest_categorical('activation', ['
relu
', '
sigmoid
', &
浏览 25
提问于2021-09-06
得票数 0
回答已采纳
1
回答
解决深层神经网络中的消失/爆炸梯度问题的正确理由是什么?
、
我曾读过几篇博文,其中提出了解决深层神经网络中消失/爆炸梯度问题的方法是用
Relu
激活
函数
代替
tanH
&
sigmoid
。假设
激活
的输入特征大致是0和标准方差1。因此,它正在尝试设置每个权重矩阵w,使其不太大大于1,因此,它不会爆炸
或
消失得太快。因此,如果您
使用
的是
ReLu
激活
函数
,那么将Wi的方差设置为等于sqrt(2/n)会更好地工作**。 如果您
使用</e
浏览 0
提问于2019-02-09
得票数 4
回答已采纳
2
回答
为什么
使用
tanh
(
或
任何其他
激活
函数
)?
在机器学习中,通常
使用
激活
函数
(如
tanh
、
sigmoid
或
ReLU
)将非线性引入到神经网络中。这些非线性特性帮助网络学习输入特征和输出标签之间的复杂关系。有人能给出一个具体的例子,清楚地显示
激活
函数
提供好处吗?
浏览 0
提问于2023-03-27
得票数 0
回答已采纳
3
回答
为什么神经网络中几乎所有的
激活
函数
都在负值
时
饱和
、
、
、
对于负输入, 谢谢。
浏览 4
提问于2020-02-27
得票数 7
回答已采纳
1
回答
为什么torch.functional.
sigmoid
和torch.nn.functional.
relu
不像torch.nn.functional.
tanh
那样被弃用?
、
现在,当torch.autograd.Variable与torch.tensor合并并过时时,为什么他们要弃用torch.nn.functional中的一些
函数
,而不是其他
函数
?也就是说,不推荐
使用
tanh
,
但不
建议
使用
sigmoid
或
relu
。 >>> torch.Use torch.
tanh
instead. warnings.warn("nn.functional.
tan
浏览 108
提问于2019-06-23
得票数 1
5
回答
为什么只在输出层而不是隐藏层中
使用
softmax?
、
、
、
、
大多数用于分类任务的神经网络示例都
使用
softmax层作为输出
激活
函数
。通常,其他隐藏单元
使用
sigmoid
、
tanh
或
ReLu
函数
作为
激活
函数
。据我所知,
使用
softmax
函数
也可以计算出数学上的结果。 有没有关于这方面的出
浏览 4
提问于2016-06-02
得票数 19
回答已采纳
3
回答
为什么当我们有
ReLU
的时候,
sigmoid
/
tanh
激活
函数
仍然用于深度神经网络?
、
、
从各个方面看,
ReLU
比乙状结肠
或
tanh
更适合于深层神经网络:在生物学上更合理性能更好我只看到
sigmoid
/
tanh
的一个优点:它们是有界的。
浏览 0
提问于2016-07-10
得票数 3
回答已采纳
2
回答
在时间序列预测任务中应在中间层
使用
哪种
激活
函数
、
、
、
、
我想用LSTM建立一个时间序列预测模型,线性
激活
函数
对最终层还是输出层是好的? model.add(LSTM(32, input_shape=(input_n, n_features),return_sequences=True,activation='
relu
“
relu
”,在输出层
使用
了线性
激活
。这种方法
浏览 2
提问于2019-12-04
得票数 2
3
回答
神经网络的
激活
函数
选择
、
、
、
神经网络的隐层和输出层可以
使用
不同的
激活
函数
吗?
使用
这种方案有什么明显的好处吗?
浏览 6
提问于2013-12-04
得票数 2
回答已采纳
3
回答
如何将Keras预测输出转换为所需的二进制值
、
、
、
model = Sequential([ Dense(20, activation='
relu
'),]) model.compile(Adammodel.fit(train_samples, train_labels, batch_size
浏览 1
提问于2018-11-26
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
快速掌握TensorFlow(三):激励函数
理解神经网络的激活函数
深度学习中常用的激励函数
神经网络中常用的激活函数的说明
Tensorflow学习笔记-神经元函数之激活函数
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券