在训练神经网络时,内部层和内部节点的默认数目是多少?
我的数据有62个观测数据和大约200个预测器。我有一个有两个类的目标变量,实现了一个不重复的一个内部层和一个内部节点的神经网络。另外,我尝试了两个内部层,其中5个内部节点在一个,2个内部节点在第二层。我想要找到的准确性,首先,对默认值,然后我将尝试优化模型的性能。
在神经网络训练模型中,选择层数和内节点数的标准是什么?在随机森林的情况下,我们可以选择大致相等于预测器数目的平方根。
发布于 2017-08-15 19:46:58
一种可能的方法是迭代设计神经网络体系结构,例如多层感知器(MLP),如下文所述:
https://stats.stackexchange.com/questions/238637/deep-neural-network-tuning-hyperparameters
我们可以限制自己的4-8层,8-128 (功率2)神经元每层。此外,我们还可以假设推荐 ReLU激活具有正常的权值初始化,以及Adam或SGD具有Nesterov动量优化器。
为了避免在小数据集上过度拟合,必须增加l1或l2正则化(重量衰减)和丢失层(例如,保持概率为0.5)。
然后,我们可以使用交叉验证与随机搜索或贝叶斯优化来选择最好的架构,如上面的交叉验证文章所描述的那样。
发布于 2017-08-12 17:54:04
有些网站可以很好地解释这些问题。
来自https://www.r-bloggers.com/selecting-the-number-of-neurons-in-the-hidden-layer-of-a-neural-network/:
最常见的经验法则是在1和输入变量的数目之间选择一些隐藏的神经元。
对于大多数问题,只要使用两个规则来设置隐藏层配置,就可以获得良好的性能(即使没有第二个优化步骤):(i)隐藏层的数量等于一个;(ii)该层中的神经元数量是输入和输出层中神经元的平均值。
希望这能回答你的问题!
https://datascience.stackexchange.com/questions/22199
复制相似问题