简单神经网络train and test详解

【 The latest data ： 2018/05/01 】Yuchen

1. NN模型如下

其中，

n是指的样本数

Mnist数据集 784是28×28×1 灰度图 channel = 1

wb是指的权重参数

输出的是10分类的得分值，也可以接softmax分类器

out是L2层和输出层之间的关系

256 128 10是指的神经元数量

2. 构造参数

由于w_1

w

1

前后数据分别是 784 和 256 ，所以w_1=784\times256

w

1

=784×256

，同理w_2=256\times128

w

2

=256×128

，out=128\times10

out=128×1

对于b

b

直接让其等于常量，因为L_1 L_2

L

1

L

2

神经元数量分别是 256 和 128，可以令b_1=256,b_2=128,b_3=10

b

1

=256,b

2

=128,b

3

=1

3. Code1. 网络模型架构搭建

导入相应数据

network topologies

input and output

network parameters

output

可以看到网络模型架构搭建成功

2.训练网络模型

定义前向传播函数

反向传播

（1）将前向传播预测值

（2）定义损失函数

（3）梯度下降最优化

（4）精确值

（5）初始化

output

可以看出传播中的参数和优化模型搭建成功

3. Train and Test

output

像素28\times

×

28\times

×

1

20个batch每个batch 100个样本，每隔4个batch打印一次

处理器：Intel Core i5-6200U CPU @ 2.30GHz 2.04GHz

04 epoch：train+test, cost_time: 25’40”

08 epoch：train+test, cost_time: 50’29”

12 epoch：train+test, cost_time: 74’42”

16 epoch：train+test, cost_time: 98’63”

20 epoch：train+test, cost_time: 121’49”