神经网络简介

简单解释神经网络是如何工作的，以及如何在Python中从头实现一个。

这句话可能会让你大吃一惊:神经网络并没有那么复杂!“神经网络”这个词经常被用作流行语，但实际上它们往往比人们想象的要简单得多。

这篇文章是完全针对初学者准备的，我们假设你没有任何机器学习的知识。我们将了解神经网络如何工作，同时在Python中从零开始实现一个。

让我们开始吧!

1. 构建块:神经元

首先，我们必需讨论神经元，神经网络的基本单位。一个经元接受输入，对它们进行一些数学运算，然后产生一个输出。这里是一个2输入神经元的样子:

这里发生了三件事。首先，每个输入被乘以一个权重:

接下来，将所有加权后的输入与一个偏差b相加:

最后，总和被传入一个激活函数:

激活函数用于将一个无界输入转换为一个具有良好的、可预测形式的输出。一个常用的激活函数是sigmoid函数:

sigmoid函数只输出(0,1)范围内的数字。你可以认为它是把(−∞,+∞) 压缩到(0,1)——大负数变成~0，大正数变成~1。

一个简单的例子

假设我们有一个使用sigmoid激活函数的2输入神经元，并带有以下参数:

w =[0,1]就是向量形式的w1 =0,w2 =1。现在，我们给这个神经元提供一个x=[2,3]的输入 。我们用点积来写得更简洁一些:

给定输入x=[2,3] ，神经元会输出0.999。就是这样!这个将输入向前传递以获得输出的过程称为前馈。

编写一个神经元

是时候实现一个神经元了!我们将使用NumPy，一个流行而强大的Python计算库，来帮助我们处理数学运算:

认出这些数了吗？这就是我们刚才举的例子！我们得到了相同的答案0.999。

2. 将神经元组合成一个神经网络

一个神经网络只不过是一群连接在一起的神经元。下面是一个简单的神经网络的样子:

这个网络有2个输入，一个带有2个神经元(h1和h2)的隐藏层，一个带有1个神经元(σ1)的输出层。注意σ1的输入是来自h1和h2的输出——这就是一个网络的组成。

隐藏层是在输入(第一个)层和输出(最后一个)层之间的任何层。可以有多个隐藏层!

一个例子:前馈

我们来使用上图所示的网络，假设所有的神经元都具有相同的权重w=[0,1] ，相同的偏差b= 0，以及相同的sigmoid激活函数。让h1、h2、σ1表示它们所表示的神经元的输出。

如果我们传入输入x=[2,3] 会发生什么?

该神经网络对输入x=[2,3] 的输出为0.7216。很简单,对吧?

一个神经网络可以有任意数量的层，每个层可以包含任意数量的神经元。其基本思想是相同的: 通过网络中的神经元向前反馈输入以便最终得到输出。为了简单起见，我们将在本文的其余部分继续使用上面所示的网络。

编写一个神经网络: 前馈

我们来实现我们神经网络的前馈。这里是该网络的图片，再次供参考:

我们又得到了0.7216 !看起来它可以工作。

3.训练神经网络，第1部分

假设我们有以下测量值:

我们来训练我们的网络，并根据一个人的体重和身高来预测他的性别:

我们将用0表示男性，用1表示女性，我们还将对数据进行移位，使其更容易使用:

我随意选择了移位量(135和66)来使数字看起来漂亮一些。一般情况下，你应该使用平均值来移位。

损失

在训练我们的网络之前，我们首先需要一种方法来量化它做得有多“好”，这样它就可以尝试做得“更好”。这种方法就是损失。

我们将使用均方误差(MSE)损失:

让我们来分解一下:

n是样本的个数，这里是4 (Alice、 Bob、 Charlie、 Diana)。

y表示要预测的变量，即性别。

ytrue是变量(“正确答案”)的真值。例如，对于Alice来说，ytrue是1(女性)。

ypred是变量的预测值。它是我们网络的输出。

(ytrue - ypred)2称为平方误差。我们损失函数只是取所有平方误差的平均值(因此得名均方误差)。我们的预测越好，我们的损失就会越低!

更好的预测=更低的损失。

训练一个网络=尽量减少它的损失。

一个损失计算例子

假设我们的网络总是输出0，换句话说，它确信所有的人类都是男性。那我们的损失是多少？

代码: 均方误差损失

下面是一些计算损失的代码:

如果你不理解这段代码的工作原理，请阅读NumPy数组操作快速入门。

好了。开始!

4.训练神经网络，第2部分

我们现在有了一个明确的目标: 最小化神经网络的损失。我们知道我们可以改变网络的权重和偏差来影响它的预测，但我们如何才能以一种减少损失的方式做到这一点呢?

本节使用了一些多变量微积分。如果你对微积分不熟悉，你可以跳过数学部分。

为了简单起见，假设我们的数据集中只有Alice:

那么均方误差损失就是Alice的平方误差:

另一种考虑损失的方法是将损失看作是一个权重和偏差的函数。我们来标记我们的网络中的每个权重和偏差:

然后，我们可以将损失写成一个多元函数：

假设我们想调整w1。如果我们改变w1，损失L将如何变化? 偏导数∂L/∂w1可以回答这个问题。我们如何计算它?

这就是数学开始变得更加复杂的地方。不要气馁!我建议你带一支笔和一张纸来跟着计算，它们可以帮助你理解。

首先，我们用∂ypred/∂w1来重写偏导数代替:

由于我们上边计算出了L=（1-ypred）2,因此，我们可以计算∂L/∂ypred:

现在，让我们算出∂ypred/∂w1的值。就像之前一样，假设h1、 h2 、σ1是它们所代表的神经元的输出。那么

由于w1只影响h1(不影响h2)，因此，我们可以写

我们对∂h1/∂w1做相同的事情：

这里的x1 是体重 , x2是身高。现在已经是我们第二次看到f'(x)（sigmoid函数的推导式）了！我们对它进行推导:

我们稍后将使用f'(x)这个漂亮的形式。

我们完成了!我们已经将∂L/∂w1分解成了几个我们可以计算的部分:

这种通过逆向运行计算偏导数的系统称为反向传播，或者“backprop”。

哦。这里有很多符号——如果你仍然有点困惑，也没关系。让我们举一个例子来实际看一下!

例子: 计算偏导数

我们将继续假设我们的数据集中只有Alice:

我们初始化所有的权重为1，所有的偏差为0。如果我们执行一个前馈通过网络，我们得到:

该网络输出 ypred =0.524，这并没有特别偏向男性(0)或女性(1)。我们来计算∂L/∂w1:

提醒: 我们在前面为我们的 sigmoid函数推导出了f'(x) = f(x) * (1 - f(x))。

我们做到了!这告诉我们，如果我们增加w1，L就会相应地增加一点点。

训练:随机梯度下降法

我们现在有了训练神经网络所需的所有工具! 我们将使用一种称为随机梯度下降(SGD)的优化算法，它告诉我们如何改变权重和偏差以最小化损失。它基本上就是这个更新方程:

η是一个称为学习率的常数，它控制我们训练的速度。我们所做的就是从w1中减去η∂L/∂w1:

如果∂L/∂w1是正数，w1会减小，从而使得L也减小。

如果∂L/∂w1 是负数，w1会增加，从而使得L也减小。

如果我们对网络中的每一个权重和偏差都这样做，损失就会慢慢减小，我们的网络就会改善。

我们的训练过程如下:

从数据集中选择一个样本。这就是称其为随机梯度下降的原因——我们一次只对一个样本进行操作。

计算所有关于权重或偏差的损失的偏导数(例如∂L/∂w1、∂L/∂w2等等)。

使用更新方程来更新每个权重和偏差。

回到步骤1。

让我们实际看一下!

代码: 一个完整的神经网络

终于是时候实现一个完整的神经网络了:

你可以自己运行/测试这段代码（https://repl.it/@vzhou842/An-Introduction-to-Neural-Networks ）。你也可以在Github上找到它。（https://github.com/vzhou842/neural-network-from-scratch ）

随着网络的学习，我们的损失逐渐减小:

我们现在可以用这个网络来预测性别:

现在怎么办？

你成功了!现在来快速回顾一下我们所做的:

介绍了神经元——神经网络的构建块。

在我们的神经元中使用了sigmoid激活函数。

看到了神经网络只是连接在一起的神经元。

创建了一个带有体重和身高的数据集，并将其作为输入(或特征)，性别作为输出(或标签)。

学习了损失函数和均方误差（MSE）损失。

意识到训练一个网络只是最小化它的损失。

使用反向传播计算偏导数。

利用随机梯度下降法(SGD)对网络进行训练。

还有很多事情要做:

使用合适的机器学习库(如Tensorflow、Keras和PyTorch)来测试更大/更好的神经网络。

使用Keras构建你的第一个神经网络。

在你的浏览器中修补一个神经网络。

发现除了sigmoid之外的其它激活函数，如Softmax。

发现除了SGD之外的其它优化器。

阅读我的《卷积神经网络(CNNs)介绍》。CNNs给计算机视觉领域带来了革命性的变化，其功能非常强大。

阅读我的《递归神经网络(RNNs)介绍》。RNNs经常用于自然语言处理(NLP)。

我可能会在将来写这些主题或类似的主题，所以如果你想获得关于新文章的通知，请订阅我吧。

感谢阅读!

英文原文：https://victorzhou.com/blog/intro-to-neural-networks/

译者：Nothing