首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >我们什么时候不需要激活功能?

我们什么时候不需要激活功能?
EN

Stack Overflow用户
提问于 2020-06-29 15:23:12
回答 2查看 674关注 0票数 4

我编写了一个非常基本的tensorflow模型,其中我想预测一个数字:

代码语言:javascript
运行
复制
import tensorflow as tf
import numpy as np


def HW_numbers(x):
    y = (2 * x) + 1
    return y

x = np.array([1.0,2.0,3.0,4.0,5.0,6.0,7.0], dtype=float)
y = np.array(HW_numbers(x))

model = tf.keras.models.Sequential([tf.keras.layers.Dense(units=1,input_shape=[1])])
model.compile(optimizer='sgd',loss='mean_squared_error')
model.fit(x,y,epochs = 30)

print(model.predict([10.0])) 

上面的代码可以正常工作。但是如果我在稠密层中添加一个激活函数,预测就变得奇怪了。我试过“relu”,“sigmoid”,“tanh”等等。

我的问题是,为什么?激活函数在搞乱预测的单层中到底在做什么?我使用了Tensorflow 2.0

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2020-06-29 16:07:36

目前,您正在学习一个线性函数。因为它可以用一个神经元来描述,你只需要一个神经元来学习它的功能。另一方面,激活函数是:

学习和理解输入变量和响应变量之间的复杂非线性复杂函数映射。它为我们的网络引入了非线性特性.它们的主要目的是将an中节点的输入信号转换为输出信号。该输出信号现在用作堆栈中下一层的输入。

因此,由于这里只有一个神经元(具体情况),所以不需要将值传递给下一个层。换句话说,所有隐藏层、输入层和输出层都合并在一起。因此,激活函数对您的情况没有帮助。除非你想根据神经元的输出做出决定。

票数 2
EN

Stack Overflow用户

发布于 2020-06-29 16:07:23

你的网络只有一个神经元。因此,在没有激活函数的情况下,它所做的就是将输入与神经元的重量相乘。这个重量最终会集中到2.1左右。

  • 但是,使用雷鲁作为激活函数,只有正数通过您的网络传播。因此,如果你的神经元的重量被一个负数初始化,你总是得到零作为输出。所以使用relu,你有50:50的机会获得好的结果。
  • 通过激活函数tanh乙状体,神经元的输出分别被限制为-1,1和0,所以输出不能超过一个。

因此,对于如此小的神经元网络,这些激活函数与问题不匹配。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/62641394

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档