如果只有几个特征,比如2-5特征,那么是否可以对神经网络的体系结构提出一些一般性建议?
这里隐藏的完全连接层的数量应该是多少?每层可能有多少个神经元?不同层的神经元数量是否需要保持恒定(例如16,16,16)或上升(例如,8,16,32)或下降(32,16,8)或上下(例如16,32,16)或下降和上升(例如32,16,32)?
发布于 2018-10-15 03:55:42
对于神经网络的结构有各种各样的经验规则(如果n个特性使用n+1或2n或1.5n节点,等等)。我不会把他们中的任何一个当作福音。
你的神经网络的大小和结构主要取决于你想要学习的数据的复杂性。如果你的数据已经很好地用线性回归来表示,那么你就不需要额外的神经网络来很好地表示它。另一方面,如果你的五个输入是,比如说,一个末日游戏的移动和拍摄命令,你将需要一个大型的神经网络来适应各个命令之间的所有深刻而有意义的交互。
神经网络的每一层连续的节点都处理越来越复杂的形状。第一隐层是全部乙状结肠或ReLU函数,第二层是第一层的组合,第三层是第二层的组合,等等。
隐藏层的一般结构是锥形的,向右逐渐变细.第一层有大量的节点,而每一层的节点较少。每个层都可以有固定数量的节点,尽管在我的操作中,这似乎没有多大帮助,而且很多层节点相对来说都是未使用的。相反的方向(很少有第一层节点和多个最后一层节点)是积极有害的,因为后一层节点只能是前一层节点的组合,而且如果第一层节点不能为后一层节点组合创建足够的形状,那么它就无法适应任何东西。
我通过tensorflow的操场提供了几个交互的例子。
前两个应该相对容易地收敛,而第三个应该完全不收敛。
https://datascience.stackexchange.com/questions/39683
复制相似问题