​专为初学者设计——最小的神经网络

图源：zhihu

约翰，不可忽视直觉。因为直觉表示处理过快的数据，这让有意识的人根本无法理解。——Sherlock Holmes

神经网络庞大且复杂，对初学者非常不友好。

所以小芯带来了本期文章——致力于为初学者创建最小的神经网络。

而比起神经网络背后的复杂数学和算法，通过创建最小的神经网络并训练它来完成一个简单的任务，更能让你对神经网络如何工作有一个直观的印象。

下面，我们开始吧~

图源：blog.sina.com.cn

神经网络背后的想法

神经网络是权重的集合。我们可以在一组输入和输出值（目标或标签）上训练神经网络。神经网络内部的权重与输入相连并输出结果。在训练网络时，权重会更新，这样网络就能尝试匹配输出值与目标值。简而言之，神经网络就是学习输入和输出之间的映射。现在，让我们一起来看看所有这些是什么意思。

最小的神经网络

以下是只有一个权重（w）的最小神经网络。输入一个值（x），乘以权重，结果就是网络的输出值。

由于这个神经网络非常小，我们将在一个非常简单的任务上对其进行训练。我们的任务是向其提供任何数字，网络应更改该数字的符号。例如，如果输入3，则网络应输出-3。

利用Keras创建神经网络

现在，我将在Keras中构建并训练最小的神经网络，这是一个深度学习库。现在不需要深入了解语法，这只是为了有个直观印象。

import keras
from  keras.layers import Dense
model =  keras.models.Sequential()
model.add(Dense(1, input_shape=(1,)))
model.compile(loss='mse', optimizer='adam')

创建一个神经网络

太棒了！我们创建了只有一个权重的神经网络。现在，我们来创建用于训练神经网络的训练数据。

创建数据

import numpy as np
data_input  = np.random.normal(size=100000)
data_label  =-(data_input)

创建训练数据

我们也创建了训练数据。数据包含10万个随机数，标签为该数字的负数。用刚刚创建的数据来训练网络。

训练网络

首先，随机初始化神经网络的权重。随着不断训练网络，权重也会随之更新。开始训练之前，请先检查权重。

训练之前的权重

现在把数据放入网络中进行拟合。拟合只不过是训练的另一个名称。

训练网络

我们已经训练完了网络。正如你在进度条中看到的一样，网络是在10万个样本上训练的。现在向网络输入一个值并观察反应。

观察反应

网络几乎完成了任务。输出值与输入数字非常接近，而且符号相反。因为我们将在更多的数据上训练这个网络，所以输出结果会越来越接近目标值。看一下现在的权值。

训练后的权重

当我们对网络进行数据训练时，权重从0.42变为-1左右。很显然，一个数字只有乘以-1才能改变该数字的符号。

图源：ofoto.cc

作为一个函数逼近器，基本上神经网络可以通过调整它的权值来学习任何输入值和输出值之间的映射。一旦它学会了这种映射，它就可以给任何一个输入值生成一个近似的输出值。

所以，即使你是初学者，也不要怕，从创建最小的神经网络开始吧~