独家 | 初学者的问题：在神经网络中应使用多少隐藏层/神经元？（附实例）

作者：Ahmed Gad

翻译：蒋雨畅

校对：李海明

本文约2400字，建议阅读8分钟。

本文将通过两个简单的例子，讲解确定所需隐藏层和神经元数量的方法，帮助初学者构建神经网络。

人工神经网络（ANNs）初学者可能会问这样的问题：

• 该用多少个隐藏层？
• 每个隐藏层中有多少个隐藏的神经元？
• 使用隐藏层/神经元的目的是什么？
• 增加隐藏层/神经元的数量总能带来更好的结果吗？

很高兴我们可以回答这些问题。首先要清楚，如果要解决的问题很复杂，回答这些问题可能会过于复杂。到本文结束时，您至少可以了解这些问题的答案，而且能够在简单的例子上进行测试。

ANN的灵感来自生物神经网络。在计算机科学中，它被简化表示为一组层级。而层级分为三类，即输入，隐藏和输出类。

确定输入和输出层的数量及其神经元的数量是最容易的部分。每一神经网络都有一个输入和一个输出层。输入层中的神经元数量等于正在处理的数据中输入变量的数量。输出层中的神经元数量等于与每个输入相关联的输出数量。但挑战在于确定隐藏层及其神经元的数量。

以下是一些指导，可以帮助了解分类问题中每个隐藏层的隐藏层数和神经元数：

• 根据数据绘制预期的决策边界，从而将各个类别分开。
• 将决策边界表示为一组线。注意这些线的组合必须服从于决策边界。
• 所选的线的数量表示第一隐藏层中隐藏神经元的数量。
• 如要连接由前一层所创建的连线，则需添加一个新的隐藏层。注意，每次添加一个新的隐藏层时，都需要与上一个隐藏层创建连接。
• 每个新隐藏层中隐藏神经元的数量等于要建立的连接数。

为便于理解，请看以下实例：

实例一

让我们从一个两个类的分类问题的简单示例开始。如图1所示，每个示例都有两个输入和一个表示类标签的输出。它与XOR问题非常相似。

图1

第一个问题是是否需要隐藏层。确定是否需要隐藏层的规则如下：

在人工神经网络中，当且仅当数据必须非线性分离时，才需要隐藏层。

如图2所示，似乎这些类必须是非线性分离的。一条单线不能分离数据。因此，我们必须使用隐藏层以获得最佳决策边界。在这种情况下，我们可能仍然不使用隐藏层，但这会影响分类准确性。因此，最好使用隐藏层。

知道需要隐藏层之后，有两个重要问题需要回答，即：

• 所需的隐藏层数是多少？
• 每个隐藏层的隐藏神经元数量是多少？

按照前面的过程，第一步是绘制分割两个类的决策边界。如图2所示，有多个可能的决策边界正确地分割数据。我们将进一步讨论图2（a）中的那个。

图2

接下来是通过一组线进行表达决策边界。

使用一组线来表示决策边界的事实依据是：任何ANN都是使用单层感知器作为构建块构建的。单层感知器是一个线性分类器，它使用根据以下等式创建的线来分隔不同类：

y = w_1 * x_1 + w_2 * x_2 +⋯+ w_i * x_i + b

其中 x_i 是 输入，w_i 是其权重，b 是偏差，y 是输出。因为添加的每个隐藏神经元都会增加权重数量，且使用更多的隐藏神经元会增加复杂性，因此建议使用最少数量的隐藏神经元来完成任务。

回到我们的例子，说ANN是使用多个感知器网络构建的，就像说网络是使用多条线路构建的。

在这个例子中，决策边界被一组线代替。线从边界曲线改变方向的点开始。在这一点上，放置两条线，每条线在不同的方向上。

如图3所示，因为边界曲线只有一个点通过灰色圆圈改变方向，所以只需要两条线。换句话说，这里有两个单层感知器网络，每个感知器产生一条线。

图3

决策边界只需要两条线即可表示，这意味着第一个隐藏层将有两个隐藏的神经元。

到目前为止，我们有一个隐藏层，其包括有两个隐藏的神经元，每个隐藏的神经元可以被视为线性分类器，如图3中的线所示。这里将有两类输出，其中一类来自每一个分类器（即隐藏的神经元）。然而我们希望构建一个只能输出类标的分类器。因此，两个隐藏神经元的输出将合并为一个输出。换句话说，这两条线将由另一个神经元连接。结果如图4所示。

幸运的是，我们不需要添加另一个带有单个神经元的隐藏层来完成这项工作。输出层神经元将完成任务。其可将先前生成的两条线进行融合，使网络最终只有一个输出。

图4

知道隐藏层及其神经元的数量后，网络架构现已完成，如图5所示。

图5

实例二

另一个分类的例子如图6所示。与之前的例子类似，有两个分类，其中每个样本有两个输入和一个输出。区别在于决策边界。此示例的边界比前一个示例更复杂。

图6

根据最开始的指示，第一步是绘制决策边界。前述中使用的决策边界如图7（a）所示。

下一步是将决策边界分成一组线，每条线都可构建为像ANN感知器那样的模型。在绘制线之前，应该标记边界变化方向的点，如图7（b）所示。

图7

问题是需要多少条线？顶点和底点中的每一个将具有与它们相关联的两条线，总共4条线。中间点有两条线从其他点共享。要创建的线如图8所示。

因为第一个隐藏层将具有等于线数的隐藏层神经元，所以第一个隐藏层将具有4个神经元。换句话说，有4个分类器，每个分类器由单层感知器创建。目前，网络将生成4个输出，每个分类器一个。接下来是将这些分类器连接在一起，以使网络仅生成单个输出。换句话说，线条将通过其他隐藏层连接在一起来生成单独一条曲线。

图8

模型设计者可以选择网络布局。一种可行的网络架构是构建具有两个隐藏神经元的第二隐藏层。第一个隐藏的神经元将连接前两条线，最后一个隐藏的神经元将连接最后两条线。第二个隐藏层的结果如图9所示。

图9

到目前为止，这里有两条分开的曲线。因此，网络有两个输出。接下来是将这些曲线连接在一起从整个网络中获得单个输出。在这种情况下，输出层神经元可用于进行最终连接而非添加新的隐藏层。最终结果如图10所示。

图10

网络设计完成后，完整的网络架构如图11所示。

图11

更多详细信息：

深度学习简介+使用人工神经网络求解XOR

• SlideShare：

https://www.slideshare.net/AhmedGadFCIT/brief-introduction-to-deep-learning-solving-xor-using-anns

• YouTube：

https：//www.youtube.com/watch？v = EjWDFt-2n9k

作者简介： Ahmed Gad于2015年7月在埃及Menoufia大学计算机与信息学院（FCI）获得了信息技术优秀学位的理学士学位。由于他在学院里排名第一，他在2015年被推荐为一所埃及研究机构的教学助理，然后于2016年在学院里担任教学助理和研究员。他目前的研究兴趣包括深度学习，机器学习，人工智能，数字信号处理和计算机视觉。

原文标题:

Beginners Ask “How Many Hidden Layers/Neurons to Use in Artificial Neural Networks?

原文链接：

https://www.kdnuggets.com/2018/07/beginners-ask-how-many-hidden-layers-neurons-neural-networks.html

译者简介

蒋雨畅，中国香港理工大学大三在读，主修地理信息，辅修计算机科学，目前在研究学习通过数据科学等方法探索城市与人类活动的关系。希望能认识更多对数据科学感兴趣的朋友，了解更多前沿知识，开拓自己的眼界。