有没有比ReLu更好的使用乙状结肠激活的情况

文章/答案/技术大牛

发布

1回答

neural-network、deep-learning、activation-function

我正在训练一个复杂的神经网络体系结构，其中我使用RNN对我的输入进行编码，然后，一个具有softmax输出层的深度神经网络。我现在正在优化我的架构深度神经网络部分(单元数量和隐藏层的数量)。我目前正在对所有的层使用sigmoid激活。这对于一些隐藏层似乎是可以的，但随着层数的增加，似乎S型不是最好的选择。你认为我应该先对sigmoid进行超参数优化，然后再使用ReLu</

浏览 17提问于2017-06-27得票数 0

1回答

训练前用乙状结肠，训练用ReLU？

rbm

使用RBM预先训练一个深网，如本例中的成果管理制，激活函数为sigmoid，使计算变得更加容易。在使用sigmoid激活函数学习初始权重以切换到列车阶段的ReLU之后，有什么意义？我想，在任何一个阶段(列车前或列车)和乙状结肠或ReLU在另一个阶段使用会引起很大的问题，但由于ReLU和乙状结肠是相似的小值，它还会使列车前阶段无用吗？从使用<em

浏览 0提问于2016-06-27得票数 2

3回答

为什么当我们有ReLU的时候，sigmoid/tanh激活函数仍然用于深度神经网络？

neural-network、deep-learning、activation-function

从各个方面看，ReLU比乙状结肠或tanh更适合于深层神经网络：在生物学上更合理性能更好我只看到sigmoid/tanh的一个优点:它们是有界的。这意味着当你继续训练的时候，你的活动不会爆炸，你的网络参数也不会飞向天空。为什么我们不应该忘记乙状结肠/坦克的深层神经网络呢？

浏览 0提问于2016-07-10得票数 3

回答已采纳

1回答

神经网络激活函数的适当选择

machine-learning、neural-network

我不完全理解关于第2点的问题，这是解决所有层应用相同激活函数的好方法，还是对不同层应用不同激活函数的更好的解决方案？应用sigmoid函数是一个好的选择吗？对中间层使用Sigmoid函数是否是一个好的选择？

浏览 2提问于2018-05-15得票数 0

回答已采纳

1回答

如何在人工神经网络中设置偏差，将西格蒙德函数转换为ReLU函数？

python、neural-network、deep-learning、artificial-intelligence

下面的代码是通过许多书籍创建的基于Python的ANN代码的一部分。此外，预测值与实际值之间的误差率不低于19%。我试图增加隐藏层的数量，但它并没有对错误率产生很大的影响。我认为这可能是Sigmoid函数的一个限制，而不是考虑偏见。我环顾了一个月，找出了如何构建ReLU和偏差，但是我找不到偏见和ReLU的范围。Q1 =如何将Sigmoid转换为ReLU，以及如何向代码中添加偏差？ Q3 =，如果我将

浏览 0提问于2018-12-21得票数 0

1回答

Tensorflow自动编码器:如何获得有代表性的输出？

python、machine-learning、tensorflow、computer-vision、autoencoder

(这一层应该起到预处理PCA的作用。) 我对自己拍摄的照片使用了令人满意的自动编码器(数组单元格是0-100的值)：其中的均方根误差 rmse = tf.sqrt首先我使用了RM

浏览 1提问于2017-02-21得票数 1

7回答

为什么使用tanh作为MLP的激活功能？

machine-learning、neural-network、hyperbolic-function

我亲自学习神经网络的理论，并提出了一些问题。但是有个问题。如果是这样的话，tanh函数是唯一能够做到这一点的

浏览 12提问于2014-06-18得票数 20

回答已采纳

1回答

如何在tensorflow模型中重新缩放输出？

python、tensorflow、keras

我尝试重新缩放模型中的输入，以便我的模型的输出在0,1的范围内。但我不想在模型外部使用python代码执行此操作，相反，我希望在模型内部执行此操作。我已经尝试使用Keras重缩放层，但结果显示值低于0，所以我不确定我在这里做错了什么。

浏览 31提问于2021-04-03得票数 1

回答已采纳

2回答

批标准化是否意味着乙状结肠比ReLUs更好地工作？

deep-learning、batch-normalization

批归一化和ReLU都是消失梯度问题的解决方案。如果我们使用批处理规范化，那么我们应该使用sigmoids吗？或者，即使在使用批处理规范时，ReLU的某些特性也使它们具有价值？我认为，在批范数中进行的规范化将使零激活为负值。这是否意味着批处理规范解决了“死ReLU”问题？但是，tanh和物流的连续性仍然有吸引力。如果我使用批处理规范，tanh会比ReLU更

浏览 0提问于2018-09-28得票数 11

1回答

神经网络是否有完整的激活函数列表及其应用？

neural-network、activation-function

我知道一些常见的激活功能，如乙状结肠，tanh，ReLu，Leaky。甚至听说过一个叫斯维希的函数。现在是否有关于其他激活功能的详细信息和一些应用程序/在哪些场景/数据集/问题上哪些功能表现得更好的比较研究？

浏览 0提问于2021-07-01得票数 1

2回答

对于特定的回归问题，我应该使用什么激活函数？

machine-learning、neural-network、deep-learning、regression、activation-function

哪一个更适合于回归问题，创建一个带有tanh/sigmoid和exp(类)激活或ReLU和线性的神经网络？标准是使用ReLU，但它的蛮力解决方案，需要一定的网络大小，我想避免创建一个非常大的网，也是乙状结肠更可取，但在我的情况下，回归将输出值范围(0，1e7).也许用线性头的乙状结肠网也能工作？我对你对这个问题的看法很好奇。

浏览 0提问于2019-03-21得票数 7

回答已采纳

1回答

人工神经网络-为什么通常在隐藏层中使用乙状结肠激活函数而不是tanh-乙状结肠激活函数？

machine-learning、neural-network、normalization、activation-function

为什么log-sigmoid激活函数是隐藏层中的主要选择，而不是tanh-sigmoid激活函数？此外，如果我使用Z-得分归一化，我是否可以使用乙状结肠激活函数在隐藏层？

浏览 0提问于2017-07-15得票数 1

回答已采纳

1回答

sigmoid激活和softmax输出的反向传播

python、neural-network、backpropagation

我试图建立一个L层神经网络，用于多类分类，输出层中有softmax激活，其他层中有sigmoid激活。用于培训的功能如下所示： def L_layer_model(X, Y, layers_dims, learning_rate=0.01, num_iterations=5000, print_cost我的反向传播公式有错误吗？我使用的成本函数是日志丢失。cost's shape is what we expect (e.g. this turns [[17]] into 17

浏览 2提问于2018-05-14得票数 0

回答已采纳

1回答

激活函数与If else语句

activation-function

我搜索了它，但没有找到满意的答案，所以在这里张贴它。有人能在这个问题上说正确的话吗？激活函数(如ReLU、Sigmoid等)的工作方式通常类似于if else语句。例如，如果输入的值小于0，那么相同的值(如果是ReLU，则是max(0，a) )等等。那么问题是为什么如果不使用of语句呢？这些函数是不太需要计算，还是在多维数据情况下工作得更好？赞成的论点是，神经网络的编程也是用像p

浏览 0提问于2020-01-07得票数 1

1回答

X的乙状体为1

python、neural-network、sigmoid

我刚读了一本“制造你自己的神经网络”的书。现在，我正在尝试用Python创建NeuralNetwork类。我使用乙状结肠激活函数。我编写了基本代码并试图测试它。但我的实现根本不正常。经过长时间的调试和与书中的代码进行比较之后，我发现数字很大的sigmoid是1，因为Python对它进行了舍入。我使用numpy.random.rand()生成权值，这个函数只返回0到1之间的值。在将所有权值和输入乘积相

浏览 0提问于2018-05-21得票数 0

回答已采纳

1回答

神经网络同一层中不同的激活函数

machine-learning、neural-network、deep-learning、activation-function、mathematics

我的问题是，如果我将不同的激活函数安排在一个神经网络的同一层中，并对其他隐藏层保持相同的趋势，将会发生什么。假设启动时有3个relu单元，在此之后有3个tanh，其它激活函数I是相同的隐层，对于其他隐层，我是在缩放所有具有相同尺度(递减/增加)的节点，并且激活函数的排列和顺序不变。

浏览 0提问于2020-04-19得票数 2

回答已采纳

1回答

使用ReLU激活函数的成本与迭代图中的峰值

neural-network

使用ReLU激活函数时的成本与迭代图有若干峰值。MNIST数据集(包括训练和测试)的准确率在95%左右，以乙状结肠为激活函数，得到平滑的向下倾斜曲线，因此我认为实现是正确的。对于ReLU来说，这是预期的峰值吗？你怎么解释这个财产？

浏览 0提问于2015-12-27得票数 5

回答已采纳

3回答

如何用Keras建立多类卷积神经网络

python、tensorflow、keras、conv-neural-network、image-segmentation

我正在尝试用带有Tensorflow后端的Keras实现一个用于图像分割任务的U-Net。我有大小的图像(128,96)作为网络的输入，以及大小的掩码图像(12288,6)，因为它们是扁平的。我有6个不同的类(0-5)，它给出了掩膜图像的第二部分的形状。它们已经使用to_categorical()函数被编码为一个热标签。目前，我只使用一个输入映像，也使用相同的一个

浏览 0提问于2017-08-29得票数 1

回答已采纳

2回答

Relu不工作，sigmoid工作正常

deep-learning、mobilenet

当我在输出层使用sigmoid时，我对一个现象感到困惑，网络工作得很好。但是，如果我将输出的激活设置为在第一个时期之后，Relu.the训练损失不会减少，则网络不会收敛。有人能解释这种现象吗。网络的输入是图像。像素被重新缩放为0-1。输出是从0到1的一个值。谢谢。

浏览 2提问于2020-01-06得票数 1

点击加载更多