# 如何在 Scratch 中用 Python 构建神经网络

## 神经网络是什么？

• 一个输入层，x
• 任意数量的隐藏层
• 一个输出层，ŷ
• 每层之间有一组权值和偏置，W and b
• 为隐藏层选择一种激活函数，σ。在教程中我们使用 Sigmoid 激活函数

2 层神经网络的结构

class NeuralNetwork: def __init__(self, x, y): self.input = x self.weights1 = np.random.rand(self.input.shape[1],4) self.weights2 = np.random.rand(4,1) self.y = y self.output = np.zeros(y.shape)

• 计算预测结果 ŷ，这一步称为前向传播
• 更新 W 和 b,，这一步成为反向传播

## 前向传播

```class NeuralNetwork:

def __init__(self, x, y):

self.input      = x

self.weights1   = np.random.rand(self.input.shape[1],4)

self.weights2   = np.random.rand(4,1)

self.y          = y

self.output     = np.zeros(self.y.shape)

def feedforward(self):

self.layer1 = sigmoid(np.dot(self.input, self.weights1))

self.output = sigmoid(np.dot(self.layer1, self.weights2))```

## 反向传播

```class NeuralNetwork:

def __init__(self, x, y):

self.input      = x

self.weights1   = np.random.rand(self.input.shape[1],4)

self.weights2   = np.random.rand(4,1)

self.y          = y

self.output     = np.zeros(self.y.shape)

def feedforward(self):

self.layer1 = sigmoid(np.dot(self.input, self.weights1))

self.output = sigmoid(np.dot(self.layer1, self.weights2))

def backprop(self):

# application of the chain rule to find derivative of the loss function with respect to weights2 and weights1

d_weights2 = np.dot(self.layer1.T, (2*(self.y - self.output) * sigmoid_derivative(self.output)))

d_weights1 = np.dot(self.input.T,  (np.dot(2*(self.y - self.output) * sigmoid_derivative(self.output), self.weights2.T) * sigmoid_derivative(self.layer1)))

# update the weights with the derivative (slope) of the loss function

self.weights1 += d_weights1

self.weights2 += d_weights2```

## 下一步是什么？

• 除了 Sigmoid 以外，还可以用哪些激活函数
• 在训练网络的时候应用学习率
• 在面对图像分类任务的时候使用卷积神经网络

0 条评论

## 相关文章

### 二值人脸对齐--Binarized Convolutional Landmark Localizers for Human Pose Estimation and Face Alignment

Binarized Convolutional Landmark Localizers for Human Pose Estimation and Face A...

2905

### 查收一份附带答案的面经！

1.1.1 全量梯度下降(Batch gradient descent) 每次使用全量的训练集样本来更新模型参数，即θ=θ−η⋅∇θJ(θ)。 优点:每次更新都...

2133

4006

1023

2402

3535

1462

36511

4318

### 机器学习：你需要多少训练数据？

? 从谷歌的机器学习代码中得知，目前需要一万亿个训练样本 训练数据的特性和数量是决定一个模型性能好坏的最主要因素。一旦你对一个模型输入比较全面的训练数据，通...

3997