“‘tanh”激活函数具有奇怪的输出
"tanh"激活函数具有奇怪的输出。"tanh"是一种常用的激活函数，它是双曲正切函数的缩写。它的输出范围在-1到1之间，具有S形曲线的特点。
该激活函数的奇怪输出可能指的是以下情况之一：
- 梯度消失问题：当输入值较大或较小时，"tanh"函数的导数接近于0，导致梯度消失。这可能导致神经网络在训练过程中难以收敛或梯度无法正确传播。
- 饱和问题：当输入值较大或较小时，"tanh"函数的输出接近于1或-1，导致神经元饱和。在饱和状态下，神经元的梯度接近于0，导致网络学习能力下降。
为了解决这些问题，可以采用以下方法：
- 使用其他激活函数：除了"tanh"函数，还有其他常用的激活函数，如ReLU、Leaky ReLU、sigmoid等。这些激活函数在一定程度上可以缓解梯度消失和饱和问题。
- 批量归一化（Batch Normalization）：通过对每一层的输入进行归一化，可以加速网络的训练过程，提高模型的稳定性和泛化能力。
- 残差连接（Residual Connection）：在深层神经网络中引入残差连接可以帮助信息的快速传递，减轻梯度消失问题。
- 梯度裁剪（Gradient Clipping）：限制梯度的范围，防止梯度爆炸或梯度消失。
- 使用更深的网络结构：深层网络通常具有更强的表达能力，可以更好地处理复杂的输入数据。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云AI Lab：https://cloud.tencent.com/solution/ai-lab
- 腾讯云机器学习平台：https://cloud.tencent.com/product/tiia
- 腾讯云深度学习工具包：https://cloud.tencent.com/product/tf
- 腾讯云弹性计算服务：https://cloud.tencent.com/product/cvm
- 腾讯云容器服务：https://cloud.tencent.com/product/ccs
- 腾讯云数据库服务：https://cloud.tencent.com/product/cdb
- 腾讯云CDN加速服务：https://cloud.tencent.com/product/cdn
- 腾讯云安全产品：https://cloud.tencent.com/product/saf
- 腾讯云视频处理服务：https://cloud.tencent.com/product/vod
- 腾讯云物联网平台：https://cloud.tencent.com/product/iot
- 腾讯云移动开发平台：https://cloud.tencent.com/product/mpp
- 腾讯云对象存储服务：https://cloud.tencent.com/product/cos
- 腾讯云区块链服务：https://cloud.tencent.com/product/bcs
- 腾讯云虚拟现实服务：https://cloud.tencent.com/product/vr
相关·内容
1回答
在回归问题的神经网络中，我们发现连续标号与输出激活函数一致，即在使用logistic sigmoid时对它们进行规范化，或者在使用tanh时对它们进行调整规范化。在最后，我们可以恢复原来的范围，但使输出神经元恢复正常。
我们是否也应该规范输入特性？又是如何做到的？例如，如果隐藏激活与输出激活不同？例如，如果隐藏激活是TANH，而输出激活是逻辑的，那么应该将输入特征归一化为0、1或-1间隔吗？
浏览 4提问于2013-10-11得票数 3
回答已采纳
1回答
在具有0/1输出标签的两类分类问题中，哪个函数适用于输出神经元？
我的答案是双曲正切神经元- tanh(.)但ans是不正确的，它是后勤乙状结肠神经元。那么为什么我们不能使用双曲正切神经元呢？
浏览 3提问于2018-03-01得票数 0
1回答
我正在使用GAN读取一个纸来处理图像中的光照。本文提出了利用SSIM损失对重建图像进行质量评价的方法。然而，在SSIM丢失中，有一个超value C1，C2，它依赖于像素的动态值(作者说它们的模型是1)。然而，本文没有提到生成器的输出层，我假设它是tanh函数。但tanh的输出值介于-1和1之间(动态值= 2)，这与我提到的SSIM超参数相矛盾。有人能给我解释一下吗？
浏览 0提问于2019-08-19得票数 1
我目前正在建立一个神经网络来预测温度等特征。因此，它的输出值可以是正数，也可以是负值。我正在规范我的输入数据，并在每个隐藏层中使用tanh激活函数。
应该对输出层使用线性激活函数来获得无界连续输出，还是应该使用tanh作为输出层，然后逆规范化输出？有人能解释一下吗?我想我对这件事的理解是不正确的。
浏览 1提问于2021-02-12得票数 0
回答已采纳
3回答
我最近一直在研究人脸检测，很多文献都说他们的输出有一个范围。这怎麽可能？我已经创建了自己的网络，它似乎只输出-1或1。这是因为我使用了Tanh激活函数吗？我想要一个范围内从0到1的输出值，而不是二进制输出，这样我就可以看到它认为输出实际上是一张脸有多“强烈”。谢谢。
浏览 2提问于2010-04-22得票数 4
回答已采纳
在机器学习中，通常使用激活函数(如tanh、sigmoid或ReLU )将非线性引入到神经网络中。这些非线性特性帮助网络学习输入特征和输出标签之间的复杂关系。
有人能给出一个具体的例子，清楚地显示激活函数提供好处吗？
浏览 0提问于2023-03-27得票数 0
回答已采纳
1回答
Tensorflow损失已经很低
、、、、
我正在做一个强化学习的人工智能，我得到了奇怪的结果，损失显示如下: Tensorflow损失：
当它在训练的时候，在每一场比赛之后，它与一个随机的玩家和一个具有加权矩阵的玩家进行游戏，但它会上下起伏:结果：
基本上，我正在做一个强化学习智能体，学习扮演奥赛罗。使用E-greedy，Experience replay和深度网络使用Keras over Tensorflow。尝试了不同的架构，如sigmoid、relu和上图所示的tanh。它们都有类似的损失，但结果略有不同。在这个例子中，智能体从10万个专业游戏中学习。以下是架构，默认学习率为0.005：
model.add(Dense(unit
浏览 15提问于2017-12-26得票数 1
回答已采纳
3回答
这可能是一个非常基本/琐碎的问题。
对于负输入，
ReLu激活函数输出为零
Sigmoid激活函数的输出为零
Tanh激活函数的输出为-1
以下是我的问题：
为什么所有上述激活函数都饱和为负输入值。
如果我们要预测负目标值，是否存在激活函数。
谢谢。
浏览 4提问于2020-02-27得票数 7
回答已采纳
类似于这个职位这个职位，我需要tanh的梯度下降步长，但现在使用二进制交叉熵(BCE)。
所以我们有
\Delta \omega = -\eta \frac{\delta E}{\delta \omega}
现在我们有了BCE：
E = −(ylog(\hat{y})+(1−y)log(1−\hat{y}))
考虑到我的输出是\hat{y} = tanh(\omega .x)，x是我的输入向量，y_i是这里对应的标签。
\frac{\delta E}{\delta \omega} = \frac{\delta −(ylog(tanh(wx))+(1−y)log(1−tanh(wx
浏览 0提问于2020-04-30得票数 1
回答已采纳
2回答
处理二进制输入/输出
、、、
如果我的神经网络的输入和输出是(或应该是)二进制值，我应该考虑哪些事情？
示例
我有一个热编码向量序列，如下所示：
[0 1 0 0], [1 0 0 0], ...
因此，关于这一点，出现了一些想法或问题：
用它作为像LSTM这样的神经网络的输入一样合理吗？或者我该怎么改变它？
另一件事是，LSTM返回-1到1 (tanh)之间的连续值，我应该使用另一个激活函数吗？最后，我也想要离散输出，就像我的输入向量一样。我应该舍弃这些价值吗？
我意识到，而且奇怪的是，我目前的网络倾向于将所有的内部输出设置为几乎精确的-1，0或1…我该怎么做？防止神经网络这样做？
编辑:我的网络架
浏览 5提问于2017-06-26得票数 0
从各个方面看，ReLU比乙状结肠或tanh更适合于深层神经网络：
简单
在生物学上更合理
无梯度消失
性能更好
稀疏性
我只看到sigmoid/tanh的一个优点:它们是有界的。这意味着当你继续训练的时候，你的活动不会爆炸，你的网络参数也不会飞向天空。
为什么我们不应该忘记乙状结肠/坦克的深层神经网络呢？
浏览 0提问于2016-07-10得票数 3
回答已采纳
1回答
我的单层感知器不工作了
、、、
这是密码。
public class Adaline
{
private int _layer;
public int Layer { get { return _layer; } }
private int _epoch;
public int Epoch { get { return _epoch; } }
private double _error;
public double Error { get { return _error; } }
private double[] _weights;
public Adali
浏览 0提问于2016-07-09得票数 1
回答已采纳
所以我已经开始学习神经网络，但我发现很难弄清楚基本原理。感谢任何人能提供的任何帮助。
1)是否有输入神经元的标准值？例如，如果一个神经元有5个传入连接，每个连接是否应该提供一个在0到1之间的连续值？( b) 0或1？( c)其他东西？
2)如果使用tanh的激活函数，这意味着当点积输入达到约3 (tanh(3) = .995)时，神经元将开始输出1。如果我有一个由20个隐藏节点组成的层，这意味着如果我们要避免使激活函数最大化，那么权重就需要小一些--在.05标记周围？那我们为什么要把起重设定在-1到1之间呢？最好从很小的地方开始？
3)神经元的输出应该是什么？a) 0到1之间的值？( b) 0
浏览 2提问于2013-09-12得票数 5
回答已采纳
7回答
我亲自学习神经网络的理论，并提出了一些问题。
在许多书籍和文献中，对于隐层的激活函数，使用了超切线函数.
书中提出了一个非常简单的理由，即tanh函数的线性组合可以描述几乎所有形状的函数，但都有给定的误差。
但是有个问题。
这是使用tanh函数的真正原因吗？
如果是这样的话，这是使用tanh函数的唯一原因吗？
如果是这样的话，tanh函数是唯一能够做到这一点的函数吗？
如果没有，真正的原因是什么？
我在这里股票一直在想..。请帮我摆脱这种精神(.)陷阱！
浏览 12提问于2014-06-18得票数 20
回答已采纳
2回答
我正在从头开始编写一个多层感知器，只有一个输入层、隐藏层和输出层。输出层将使用softmax激活函数产生几个互斥输出的概率。
在我的隐藏层中，使用softmax激活函数对我来说是没有意义的--这是正确的吗？如果是这样的话，我可以使用任何其他的非线性激活函数，如sigmoid或tanh吗？或者我甚至可以不在隐藏层中使用任何激活函数，只将隐藏节点的值作为输入节点和输入到隐藏权重的线性组合？
浏览 2提问于2018-04-19得票数 1
回答已采纳
我面临以下问题，首先给出代码，然后详细解释：
#Just try to implement the modular
from keras.models import Sequential
from keras.layers import Convolution1D, MaxPooling1D
from keras.layers import Dense, Dropout, Activation, Flatten, BatchNormalization
from keras.optimizers import SGD
import numpy
from numpy import newaxis
浏览 4提问于2016-10-25得票数 2
在我的训练数据集中，我的最小值是0.1，最高值大约是500。我的数据集大约有1500行和09列。
我不确定这一点，但是，是强制将输入数据重新缩放到中，还是只是为了加快训练速度？
第二个问题是，这种扩展是否与所使用的模型(LSTM、DENSE等)有关或者它对任何人都有效？例如，我的系统是：
model = Sequential()
model.add(LSTM(10, input_shape=(12,12),return_sequences=True, activation='tanh'))
model.add(LSTM(10,return_sequences=False,act
浏览 0提问于2021-02-17得票数 0
除了TensorFlow的tanh中的默认BasicRNNCell之外，我还想尝试一些其他的传输函数。
最初的实施情况如下：
class BasicRNNCell(RNNCell):
(...)
def __call__(self, inputs, state, scope=None):
"""Most basic RNN: output = new_state = tanh(W * input + U * state + B)."""
with vs.variable_scope(scope or type(self).__na
浏览 3提问于2016-04-29得票数 1
1回答
我在运行用BogoToBogo编写的神经网络实例
该方案运作良好：
(array([0, 0]), array([ 2.55772644e-08]))
(array([0, 1]), array([ 0.99649732]))
(array([1, 0]), array([ 0.99677086]))
(array([1, 1]), array([-0.00028738]))
神经网络学习异或，默认情况下使用tanh作为激活函数。但是，在我将激活函数更改为"sigmoid“之后，
nn = NeuralNetwork([2,2,1], 'sigmoid')
现在，程序
浏览 0提问于2018-08-29得票数 1
回答已采纳
在PyTorch中，一个简单的神经网络的例子可以在上找到。
class Net(T.nn.Module):
def __init__(self):
super(Net, self).__init__()
self.hid1 = T.nn.Linear(4, 8) # 4-(8-8)-1
self.hid2 = T.nn.Linear(8, 8)
self.oupt = T.nn.Linear(8, 1)
T.nn.init.xavier_uniform_(self.hid1.weight)
T.nn.init.zeros_(self.hi
浏览 9提问于2022-07-03得票数 0
回答已采纳
1回答
我有一个由40个特征向量组成的数据集，分为4个类别。能否给出Matlab中的一个实例代码，如何应用深层信念网络进行分类(并解释参数)？任意库/tooblox可以使用，但应该在Matlab中。
例如，shogun工具箱()、DeeBNet工具箱()或深度学习工具箱()，但不幸的是，它们都没有很好的文档，而且因为我对深入学习/神经网络完全陌生，所以对我来说真的很难。
编辑:我应该为下列参数选择什么，或者搜索的范围是什么？
nn.activation_function = 'tanh_opt'; % Activation functions of hi
浏览 2提问于2015-06-13得票数 0
回答已采纳
1回答
提高Keras多类分类器的精度
、、、、
我有一个具有形状(430，17)的数据集。我的输出是一个列，由可能的选项“最佳”、“中等”、“最差”组成。我将我的数据分成X和y，然后在使用StandardScaler来扩展X之后，将数据分成训练和测试集。
然后我使用LabelEncoder和get_dummies来准备输出值。
>>>X_train[:1]
array([[-0.62115527, 0.73646208, 1.27931666, -1.13977066, -0.03124594,
-0.06595102, -0.35812162, 2.47947661, 0.01705523
浏览 0提问于2020-07-12得票数 1
3回答
概率与神经网络
、、、
在神经网络中直接使用乙状结肠或tanh输出层来估计概率是一种好的做法吗？
也就是说，给定输入发生的概率是神经网络中乙状结肠函数的输出。
编辑
我想用神经网络来学习和预测给定输入发生的概率。您可以将输入视为State1-Action-State2tuple。因此，神经网络的输出是State2在State1上应用时发生的概率。
我希望做清楚的事..。
编辑
在训练神经网络时，我在State1上做随机动作，观察得到的State2；然后教NN输入状态1-动作-状态2应该导致输出1.0。
浏览 6提问于2010-05-07得票数 16
回答已采纳
当然，我正在研究R中的神经网络，我曾经用python中的Keras编写这种程序，所以我希望能够为不同的层设置不同的激活函数。
让我解释一下。假设我想要建立一个有两个隐藏层的神经网络(比如5和4个神经元)，输出在-1到1之间。
我想在隐藏层中设置RELU或softplus，在输出层设置tanh。
这里的问题是，神经网络包允许我通过参数act.fun只选择一个激活函数。
> nn <- neuralnet(data = data, hidden = c(5, 4), act.fun =tanh)
我尝试将act.fun参数设置为c(softplus，softplus，tanh)，但我当
浏览 1提问于2019-06-30得票数 0
2回答
背景：
如果我没有弄错，在训练一个网络时，我们对每一层进行前向执行sigmoid(和(W*x))，然后在反向传播中计算误差和增量(变化)，然后计算梯度并更新权重。
假设我们在其中一层没有激活，那么角粒如何计算梯度呢？它是否只需要sum(W*x)*next_layer_delta*weights的值来获得当前层的增量，并使用它来计算梯度？
代码：
我编写了下面的代码来创建一个word2vec模型(跳过图)：
model = Sequential()
model.add(Dense(2, input_dim=len(tokens_enc)))#what does it mean for it no
浏览 0提问于2018-07-31得票数 1
回答已采纳
2回答
线性层的影响？
、、
在过去的几个月里，我遇到了一个回归问题，就是将一个帧音频文件转换成一组mfcc功能，用于语音识别应用程序。
我尝试了很多不同的网络结构，Cnn，不同的规格化技术，不同的优化器，增加了更多的层等等。
但我终于得到了一些不错的结果，但我不明白为什么..。我所做的是增加一个线性层作为输出，不知怎么地，这使误差最小化，并有点困惑，为什么一个线性层会有这么大的影响？
我的意思是，我仍然试图使实际产出与期望的输出相吻合？为什么激活函数在这里很重要？我的意思是，权值是根据误差来调整的，那么为什么当输出是线性的而不是非线性的时候，神经网络更善于调整误差(例如: tanh，Relu)。？
浏览 0提问于2017-01-26得票数 2
回答已采纳
我使用Keras包：
from keras.models import Sequential
from keras.layers import Dense, Activation
model = Sequential([
Dense(100, input_shape=(52,)),
Activation('relu'),
Dense(40),
Activation('softmax'),
Dense(1),
Activation('tanh')
])
model.compile(optimizer='sgd',
浏览 0提问于2018-04-23得票数 2
回答已采纳
3回答
以下是我的代码(针对MLP网络中的神经元)：
double summation = 0;
for (int i = 0; i < weights.length; i++) {
summation += inputs[i] * weights[i];
}
double normalized = Math.tanh(summation);
if (normalized > 0.9 || normalized < -0.9) {
activated = 1;
} else {
activated = 0;
}
我认为这是不正确的。输出应该是规格化值，还是总
浏览 2提问于2012-01-09得票数 3
回答已采纳
我用电筒和自动梯度来建立我的神经网络架构。它是一个小的3层网络，具有输入和输出。假设我必须根据一些初始条件预测一些输出函数，并且我使用的是一个自定义的损失函数。
我所面对的问题是：
我的损失最初收敛，但渐变最终消失。
我试过乙状结肠激活和tanh。在损失收敛方面，tanh给出了稍好的结果。
我试过使用ReLU，但是由于我的神经网络中没有太多的权重，所以权重就会死掉，也不会产生好的效果。
除了sigmoid和tanh之外，还有其他激活函数可以很好地处理小规模神经网络的梯度消失问题吗？对我还能尝试什么其他的建议
浏览 2提问于2021-09-19得票数 1
回答已采纳
Tanh激活函数将输出限制为-1,1。我想知道如果输入(功能和目标类)是以1-hot编码的形式给出的，它是如何工作的？
keras (在内部管理)激活函数的负输出以将它们与类标签(以一热编码形式)进行比较--仅表示0和1(没有"-"ive值)
谢谢!
浏览 0提问于2018-03-09得票数 0
我知道，如果X都是正的，或者是负的，那么下游梯度的符号和上游梯度的符号是一样的，但是我不明白的是，零点中心激活函数是如何克服这个问题的？
因为，即使在tanH函数的情况下，如果X都是正的，那么符号也是一样的。
原谅我的英语，不是以英语为母语的人。
浏览 0提问于2019-01-07得票数 2
1回答
我正在尝试用pytorch写一些简单的神经网络。我是这个图书馆的新手。我面临着两种实现相同想法的方法:一个具有固定激活函数的层(例如tanh)。 实现它的第一种方法是： l1 = nn.Tanh(n_in, n_out) 第二种方式： l2 = nn.Linear(n_in, n_out) # linear layer, that do nothing with its input except summation 但在前向传播中使用： import torch.nn.functional as F
x = F.tanh(l2(x)) # x - value that propagates
浏览 12提问于2019-05-14得票数 1
回答已采纳
3回答
我一直在研究UFLDL教程(在matlab/octave中)：
并且已经在不同的数据集上尝试了稀疏自动编码器。我尝试在时间序列数据上运行它，但遇到了问题。由于输入数据具有负值，因此S型激活函数(1/1 + exp(-x))是不合适的。在tanh中进行替换时，优化程序minfunc (L-BFGS)失败(步长小于TolX)。我大幅降低了TolX常量，但没有任何变化。我将输出层改为线性，输入层保持为sigmoid，但这不是一个更好的解决方案。自动编码器的输出被放大一个常数(0.5)，这使得成本函数变差。所以..。简而言之：
为什么Tanh激活函数不能与L-BFGS一起工作？(或者是其他问题)？
浏览 2提问于2012-07-11得票数 1
我已经创建了一个基于sigmoid的神经网络，它使用反向传播算法成功学习，误差计算(目标-输出)*输出*(1-输出)。然而，我想尝试不同的激活函数(缩放到相同范围内的输出，从0到1)。逻辑函数似乎都工作得很好，比如atan，tanh...但当我使用径向基函数时，例如高斯e^(x^2)，网络根本不学习。使用高斯激活函数或其他非单调函数时，是否必须更改backprop算法？
浏览 2提问于2014-05-18得票数 1
2回答
在LSTM网络()中，为什么输入门和输出门使用tanh？
这背后的直觉是什么？
它只是一个非线性变换吗？如果是，我可以将两者都更改为另一个激活功能(例如，ReLU)吗？
浏览 0提问于2016-11-23得票数 89
回答已采纳
3回答
在我试图解决的问题中，我的输出域是以零为中心的，介于-1和1之间。在查找激活函数时，我注意到ReLu的输出值介于0和1之间，这基本上意味着您的输出都是负的或都是正的。
这可以通过逆归一化映射回适当的域，但ReLu旨在确定神经元在单个方向上的“强度”，但在我的问题中，我需要确定两个方向中的一个方向上的神经元强度。如果我使用tanh，我不得不担心渐变消失/爆炸，但如果我使用ReLu，我的输出将总是“偏向”正值或负值，因为本质上非常小的值必须映射到正域，而大值必须映射到负域或visa。
其他信息:我使用过ReLu，它工作得很好，但我担心它是出于错误的原因。我这么说的原因是，似乎对于pos或neg域来
浏览 0提问于2019-01-12得票数 2
我目前正在尝试在MATLAB中确定一种方法来调整神经网络中的sigmoid激活函数的斜率，并使用一些标量值。例如，与使用tanh(x)相反，我将使用tanh(3x)作为我的激活函数(如果这看起来动机不佳，它是在完成一项任务……)我知道我可以通过修改文件夹'+tansig‘中的apply.m文件来编写一个自定义激活函数，但我想知道是否有可能通过简单地将标量值乘以3来绕过这一步，作为网络中的一个额外的’层‘，恰好在应用激活函数之前。
浏览 0提问于2019-12-28得票数 0
2回答
我们什么时候不需要激活功能？
、、、、
我编写了一个非常基本的tensorflow模型，其中我想预测一个数字：
import tensorflow as tf
import numpy as np
def HW_numbers(x):
y = (2 * x) + 1
return y
x = np.array([1.0,2.0,3.0,4.0,5.0,6.0,7.0], dtype=float)
y = np.array(HW_numbers(x))
model = tf.keras.models.Sequential([tf.keras.layers.Dense(units=1,input_shape=[1
浏览 6提问于2020-06-29得票数 4
回答已采纳
我正在移动我在神经网络中的第一步，为了做到这一点，我正在用一个非常简单的单层，单输出感知器进行实验，它使用了一个S型激活函数。每次出现训练示例时，我都会使用以下命令在线更新权重：
weights += learningRate * (correct - result) * {input,1}
这里，weights是一个n长度的向量，它还包含来自偏置神经元的权重(-阈值)，result是在给定input时由感知器计算的结果(并使用sigmoid进行处理)，correct是正确的结果，{input,1}是用1(来自偏置神经元的固定输入)增加的输入。现在，当我尝试训练感知器来执行逻辑与时，权重不会在
浏览 4提问于2011-08-24得票数 0
回答已采纳
2回答
LSTM层间的激活函数
、、、、
我知道LSTM单元内部同时使用sigmoid和tanh激活函数，但是当创建一个堆叠的LSTM体系结构时，通过激活函数(例如ReLU)传递它们的输出是否有意义？
那么，我们是否更喜欢这样：
model = LSTM(100, activation="relu", return_sequences=True, input_shape(timesteps, n_features))
model = LSTM(50, activation="relu", return_sequences=True)(model)
...
为了这个？
model = LSTM(100,
浏览 0提问于2020-01-16得票数 13
回答已采纳
2回答
我是机器学习的新手，我的任务是复制中的代码。我想在Keras上实现它。我已经写了如下所示的代码，但是得到的结果停留在9.87%
BNN.ipynb
import keras
from keras.models import Sequential
from keras.layers import Conv2D, MaxPooling2D,Dropout, Flatten, Dense
from keras.datasets import mnist
from keras.layers import Dense, Activation, BatchNormalization
from keras.
浏览 13提问于2018-09-02得票数 0
我的CNN中的活动函数的形式是：
abs(X)< tou f = 1.716tanh(0.667x)
x >= tou f = 1.716[tanh(2tou/3)+tanh'(2tou/3)(x-tou)]
x <= -tou f = 1.716[tanh(-2tou/3)+tanh'(-2tou/3)(x+tou)]
tou是一个常量。
因此，在TensorFlow中可以创建自己的激活函数。我不想用C++编写它，然后重新编译整个TensorFlow。
如何使用TensorFlow中提供的函数来实现此功能？
浏览 16提问于2017-08-19得票数 0
我在如何使用keras来适应我的场景时遇到了麻烦。在我的输出层中，它将输出每一项的概率。我想取前N个项目(即概率最高的)，看看它们是否是事实的子集(有一组项目)。我必须对这种情况的负对数可能性进行编译。我能问一下我该怎么做吗？
非常感谢您提前给予的帮助。
`
nn = Sequential()
nn.add(Dense(self.num_hidden_units, input_dim = input_num, init="uniform"))
nn.add(Activation('tanh'))
nn.add(Dense(self.num_items, i
浏览 16提问于2017-08-09得票数 0
我想在我正在构建的tensorflow模型中为我的简单RNN使用relu激活。它位于一个深而复杂的网络之上。我正在尝试对一系列图像进行分类。我注意到，keras和tensorflow源代码中的默认激活对于简单的RNN来说都是tanh。这有什么原因吗？使用relu有什么问题吗？似乎雷鲁会更好地帮助逐渐消失的梯度。
nn = tf.nn.rnn_cell.BasicRNNCell(1024, activation = tf.nn.relu)
浏览 8提问于2016-08-27得票数 6
回答已采纳
3回答
这些天我一直在试验神经网络。我遇到了一个关于要使用的激活函数的一般问题。这可能是众所周知的事实，但我无法正确理解。我见过的许多例子和论文都在研究分类问题，它们要么使用sigmoid (在二进制情况下)，要么使用softmax (在多类情况下)作为输出层的激活函数，这是有意义的。但我还没有看到在回归模型的输出层中使用任何激活函数。
所以我的问题是，我们选择不在回归模型的输出层使用任何激活函数，因为我们不希望激活函数限制或对值施加限制。输出值可以是任何数字，也可以大到数千，因此像sigmoid to tanh这样的激活函数就没有意义了。或者还有其他原因吗？或者我们真的可以使用一些针对这类问题的激活
浏览 0提问于2017-10-11得票数 25
回答已采纳
批归一化和ReLU都是消失梯度问题的解决方案。如果我们使用批处理规范化，那么我们应该使用sigmoids吗？或者，即使在使用批处理规范时，ReLU的某些特性也使它们具有价值？
我认为，在批范数中进行的规范化将使零激活为负值。这是否意味着批处理规范解决了“死ReLU”问题？
但是，tanh和物流的连续性仍然有吸引力。如果我使用批处理规范，tanh会比ReLU更好吗？
我相信答案取决于。那么，在您的经验中，什么起作用了，以及您的应用程序的突出特性是什么？
浏览 0提问于2018-09-28得票数 11
这个问题与这里所示的神经机器翻译有关：
self.W1和self.W2被初始化为由10个单元组成的密集神经层，分别位于class BahdanauAttention的__init__函数的第4行和第5行。
在所附的代码图像中，我不确定我是否理解在第17行和第18行建立的前馈神经网络。所以，我把这个公式分解成它的各个部分。见第23行和第24行。
query_with_time_axis是self.W1的输入张量，values是self.W2的输入。每个计算函数Z = WX + b，和Z的相加在一起。张量加在一起的尺寸是(64, 1, 10)和(64, 16, 10)。我假设self.W1和sel
浏览 3提问于2020-09-25得票数 0
回答已采纳
我对机器学习比较陌生，作为一个入门项目，我决定使用NumPy在Python语言中从头开始实现我自己的神经网络。因此，我手动实现了前向传播、反向传播和计算函数导数的方法。
对于我的测试数据，我编写了一个函数来生成sin(x)的值。当我最终创建和训练我的网络时，我的输出随着每次试验而波动很大，并且与真实值相差很大(尽管它们比最初的预测有了很大的改善)。
我已经尝试调整了相当多的设置，包括学习率、神经元数量、层数、训练迭代和激活函数，但我最终仍然在输入数据上花费了大约0.1的平方成本。
我认为我的导数函数和链式规则表达式是正确的，因为当我只使用一个输入样本时，我得到了一个近乎完美的答案。
然而，添加
浏览 0提问于2020-05-06得票数 0
我实现了一个简单的神经网络。它适用于'sigmoid +交叉熵‘、'sigmoid +二次成本’和'tanh +二次成本‘，但它不适用于'tanh +交叉熵’(不超过随机猜测)。谁能帮我找出原因吗？只需查看FullConnectedLayer的代码：
class FullConnectedLayer(BaseLayer):
"""
FullConnectedLayer
~~~~~~~~~~~~~~~~~~~~
Data members:
sizes ---- <type list
浏览 2提问于2016-07-05得票数 3
回答已采纳
1回答
我正在创建自己的神经网络，并想知道权重与激活函数的关系。我已经对logistic和tanh激活函数进行了编码，并想知道对于每个函数，连接到单个神经元的权重是否必须不同。现在我有了逻辑激活函数的权重范围，从0到1，tanh as -1到1。
浏览 1提问于2017-04-28得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
