初学者的问题:在神经网络中应使用多少隐藏层/神经元?

作者:Ahmed Gad

翻译:蒋雨畅

校对:李海明

本文约2400字,建议阅读8分钟

本文将通过两个简单的例子,讲解确定所需隐藏层和神经元数量的方法,帮助初学者构建神经网络。

人工神经网络(ANNs)初学者可能会问这样的问题:

该用多少个隐藏层?

每个隐藏层中有多少个隐藏的神经元?

使用隐藏层/神经元的目的是什么?

增加隐藏层/神经元的数量总能带来更好的结果吗?

很高兴我们可以回答这些问题。首先要清楚,如果要解决的问题很复杂,回答这些问题可能会过于复杂。到本文结束时,您至少可以了解这些问题的答案,而且能够在简单的例子上进行测试。

ANN的灵感来自生物神经网络。在计算机科学中,它被简化表示为一组层级。而层级分为三类,即输入,隐藏和输出类。

确定输入和输出层的数量及其神经元的数量是最容易的部分。每一神经网络都有一个输入和一个输出层。输入层中的神经元数量等于正在处理的数据中输入变量的数量。输出层中的神经元数量等于与每个输入相关联的输出数量。但挑战在于确定隐藏层及其神经元的数量。

以下是一些指导,可以帮助了解分类问题中每个隐藏层的隐藏层数和神经元数:

根据数据绘制预期的决策边界,从而将各个类别分开。

将决策边界表示为一组线。注意这些线的组合必须服从于决策边界。

所选的线的数量表示第一隐藏层中隐藏神经元的数量。

如要连接由前一层所创建的连线,则需添加一个新的隐藏层。注意,每次添加一个新的隐藏层时,都需要与上一个隐藏层创建连接。

每个新隐藏层中隐藏神经元的数量等于要建立的连接数。

为便于理解,请看以下实例:

实例一

让我们从一个两个类的分类问题的简单示例开始。如图1所示,每个示例都有两个输入和一个表示类标签的输出。它与XOR问题非常相似。

图1

第一个问题是是否需要隐藏层。确定是否需要隐藏层的规则如下:

在人工神经网络中,当且仅当数据必须非线性分离时,才需要隐藏层。

如图2所示,似乎这些类必须是非线性分离的。一条单线不能分离数据。因此,我们必须使用隐藏层以获得最佳决策边界。在这种情况下,我们可能仍然不使用隐藏层,但这会影响分类准确性。因此,最好使用隐藏层。

知道需要隐藏层之后,有两个重要问题需要回答,即:

所需的隐藏层数是多少?

每个隐藏层的隐藏神经元数量是多少?

按照前面的过程,第一步是绘制分割两个类的决策边界。如图2所示,有多个可能的决策边界正确地分割数据。我们将进一步讨论图2(a)中的那个。

图2

接下来是通过一组线进行表达决策边界。

使用一组线来表示决策边界的事实依据是:任何ANN都是使用单层感知器作为构建块构建的。单层感知器是一个线性分类器,它使用根据以下等式创建的线来分隔不同类:

y = w_1 * x_1 + w_2 * x_2 +⋯+ w_i * x_i + b

其中 x_i 是 输入,w_i 是其权重,b 是偏差,y 是输出。因为添加的每个隐藏神经元都会增加权重数量,且使用更多的隐藏神经元会增加复杂性,因此建议使用最少数量的隐藏神经元来完成任务。

回到我们的例子,说ANN是使用多个感知器网络构建的,就像说网络是使用多条线路构建的。

在这个例子中,决策边界被一组线代替。线从边界曲线改变方向的点开始。在这一点上,放置两条线,每条线在不同的方向上。

如图3所示,因为边界曲线只有一个点通过灰色圆圈改变方向,所以只需要两条线。换句话说,这里有两个单层感知器网络,每个感知器产生一条线。

图3

决策边界只需要两条线即可表示,这意味着第一个隐藏层将有两个隐藏的神经元。

到目前为止,我们有一个隐藏层,其包括有两个隐藏的神经元,每个隐藏的神经元可以被视为线性分类器,如图3中的线所示。这里将有两类输出,其中一类来自每一个分类器(即隐藏的神经元)。然而我们希望构建一个只能输出类标的分类器。因此,两个隐藏神经元的输出将合并为一个输出。换句话说,这两条线将由另一个神经元连接。结果如图4所示。

幸运的是,我们不需要添加另一个带有单个神经元的隐藏层来完成这项工作。输出层神经元将完成任务。其可将先前生成的两条线进行融合,使网络最终只有一个输出。

图4

知道隐藏层及其神经元的数量后,网络架构现已完成,如图5所示。

图5

实例二

另一个分类的例子如图6所示。与之前的例子类似,有两个分类,其中每个样本有两个输入和一个输出。区别在于决策边界。此示例的边界比前一个示例更复杂。

图6

根据最开始的指示,第一步是绘制决策边界。前述中使用的决策边界如图7(a)所示。

下一步是将决策边界分成一组线,每条线都可构建为像ANN感知器那样的模型。在绘制线之前,应该标记边界变化方向的点,如图7(b)所示。

图7

问题是需要多少条线?顶点和底点中的每一个将具有与它们相关联的两条线,总共4条线。中间点有两条线从其他点共享。要创建的线如图8所示。

因为第一个隐藏层将具有等于线数的隐藏层神经元,所以第一个隐藏层将具有4个神经元。换句话说,有4个分类器,每个分类器由单层感知器创建。目前,网络将生成4个输出,每个分类器一个。接下来是将这些分类器连接在一起,以使网络仅生成单个输出。换句话说,线条将通过其他隐藏层连接在一起来生成单独一条曲线。

图8

模型设计者可以选择网络布局。一种可行的网络架构是构建具有两个隐藏神经元的第二隐藏层。第一个隐藏的神经元将连接前两条线,最后一个隐藏的神经元将连接最后两条线。第二个隐藏层的结果如图9所示。

图9

到目前为止,这里有两条分开的曲线。因此,网络有两个输出。接下来是将这些曲线连接在一起从整个网络中获得单个输出。在这种情况下,输出层神经元可用于进行最终连接而非添加新的隐藏层。最终结果如图10所示。

图10

网络设计完成后,完整的网络架构如图11所示。

图11

更多详细信息:

深度学习简介+使用人工神经网络求解XOR

SlideShare:

https://www.slideshare.net/AhmedGadFCIT/brief-introduction-to-deep-learning-solving-xor-using-anns

YouTube:

https://www.youtube.com/watch?v = EjWDFt-2n9k

作者简介:

Ahmed Gad于2015年7月在埃及Menoufia大学计算机与信息学院(FCI)获得了信息技术优秀学位的理学士学位。由于他在学院里排名第一,他在2015年被推荐为一所埃及研究机构的教学助理,然后于2016年在学院里担任教学助理和研究员。他目前的研究兴趣包括深度学习,机器学习,人工智能,数字信号处理和计算机视觉。

原文标题:

Beginners Ask “How Many Hidden Layers/Neurons to Use in Artificial Neural Networks?

https://www.kdnuggets.com/2018/07/beginners-ask-how-many-hidden-layers-neurons-neural-networks.html

译者简介

蒋雨畅,中国香港理工大学大三在读,主修地理信息,辅修计算机科学,目前在研究学习通过数据科学等方法探索城市与人类活动的关系。希望能认识更多对数据科学感兴趣的朋友,了解更多前沿知识,开拓自己的眼界。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180903A1KXI600?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券