首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >在神经网络模型中,节点和内部层的默认值是多少?

在神经网络模型中,节点和内部层的默认值是多少?
EN

Data Science用户
提问于 2017-08-12 01:01:07
回答 2查看 1.9K关注 0票数 4

在训练神经网络时,内部层和内部节点的默认数目是多少?

我的数据有62个观测数据和大约200个预测器。我有一个有两个类的目标变量,实现了一个不重复的一个内部层和一个内部节点的神经网络。另外,我尝试了两个内部层,其中5个内部节点在一个,2个内部节点在第二层。我想要找到的准确性,首先,对默认值,然后我将尝试优化模型的性能。

在神经网络训练模型中,选择层数和内节点数的标准是什么?在随机森林的情况下,我们可以选择大致相等于预测器数目的平方根。

EN

回答 2

Data Science用户

回答已采纳

发布于 2017-08-15 19:46:58

一种可能的方法是迭代设计神经网络体系结构,例如多层感知器(MLP),如下文所述:

https://stats.stackexchange.com/questions/238637/deep-neural-network-tuning-hyperparameters

我们可以限制自己的4-8层,8-128 (功率2)神经元每层。此外,我们还可以假设推荐 ReLU激活具有正常的权值初始化,以及Adam或SGD具有Nesterov动量优化器。

为了避免在小数据集上过度拟合,必须增加l1或l2正则化(重量衰减)和丢失层(例如,保持概率为0.5)。

然后,我们可以使用交叉验证与随机搜索贝叶斯优化来选择最好的架构,如上面的交叉验证文章所描述的那样。

票数 1
EN

Data Science用户

发布于 2017-08-12 17:54:04

有些网站可以很好地解释这些问题。

确定隐层神经元数目(S)

来自https://www.r-bloggers.com/selecting-the-number-of-neurons-in-the-hidden-layer-of-a-neural-network/

最常见的经验法则是在1和输入变量的数目之间选择一些隐藏的神经元。

确定隐藏层的层数

来自https://stats.stackexchange.com/questions/181/how-to-choose-the-number-of-hidden-layers-and-nodes-in-a-feedforward-neural-netw

对于大多数问题,只要使用两个规则来设置隐藏层配置,就可以获得良好的性能(即使没有第二个优化步骤):(i)隐藏层的数量等于一个;(ii)该层中的神经元数量是输入和输出层中神经元的平均值。

希望这能回答你的问题!

票数 3
EN
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://datascience.stackexchange.com/questions/22199

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档