首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >神经网络-基础Python

神经网络-基础Python
EN

Stack Overflow用户
提问于 2020-05-24 01:07:49
回答 2查看 121关注 0票数 0

我正在使用下面的教程来开发一个具有前馈和背景功能的基本神经网络。指向本教程的链接在此处:Python Neural Network Tutorial

代码语言:javascript
运行
复制
import numpy as np

def sigmoid(x):
    return 1.0/(1+ np.exp(-x))

def sigmoid_derivative(x):
    return x * (1.0 - x)

class NeuralNetwork:
    def __init__(self, x, y):
        self.input      = x
        self.weights1   = np.random.rand(self.input.shape[1],4) 
        self.weights2   = np.random.rand(4,1)                 
        self.y          = y
        self.output     = np.zeros(self.y.shape)

    def feedforward(self):
        self.layer1 = sigmoid(np.dot(self.input, self.weights1))
        self.output = sigmoid(np.dot(self.layer1, self.weights2))

    def backprop(self):
        # application of the chain rule to find derivative of the loss function with respect to weights2 and weights1
        d_weights2 = np.dot(self.layer1.T, (2*(self.y - self.output) * sigmoid_derivative(self.output)))
        d_weights1 = np.dot(self.input.T,  (np.dot(2*(self.y - self.output) * sigmoid_derivative(self.output), self.weights2.T) * sigmoid_derivative(self.layer1)))

        # update the weights with the derivative (slope) of the loss function
        self.weights1 += d_weights1
        self.weights2 += d_weights2


if __name__ == "__main__":
    X = np.array([[0,0,1],
                  [0,1,1],
                  [1,0,1],
                  [1,1,1]])
    y = np.array([[0],[1],[1],[0]])
    nn = NeuralNetwork(X,y)

    for i in range(1500):
        nn.feedforward()
        nn.backprop()

    print(nn.output)

我想做的是改变数据集,如果预测的数字是偶数,则返回1,如果相同的数字是奇数,则返回0。因此,我做了以下更改:

代码语言:javascript
运行
复制
if __name__ == "__main__":
    X = np.array([[2,4,6,8,10],
                  [1,3,5,7,9],
                  [11,13,15,17,19],
                  [22,24,26,28,30]])
    y = np.array([[1],[0],[0],[1]])
    nn = NeuralNetwork(X,y)

The output I get is :
[[0.50000001]
 [0.50000002]
 [0.50000001]
 [0.50000001]]

我做错了什么?

EN

回答 2

Stack Overflow用户

发布于 2020-05-24 02:29:07

这里基本上有两个问题:

  1. 你的sigmoid_derivative表达式是错误的,应该是:

返回sigmoid(x)*((1.0 - sigmoid(x)))

  • If )你看一下sigmoid函数图或你的网络权重,你会发现你的网络由于大量的输入而饱和了。通过像X=X%5这样做,你可以得到你想要的训练结果,就像我在你的数据上得到的结果:

[9.99626174e-01 3.55126310e-04]

票数 1
EN

Stack Overflow用户

发布于 2020-09-02 23:01:24

只需添加X = X/30并将网络训练时间延长10倍。这对我来说是一致的。您可以将X除以30,使每个输入都在0和1之间。您训练它的时间更长,因为它是一个更复杂的数据集。

您的导数很好,因为当您使用导数函数时,它的输入已经是sigmoid(x)。所以x*(1-x)就是sigmoid(x)*(1-sigmoid(x))

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/61975704

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档