扩展人工神经网络有什么好处?

内容来源于 Stack Overflow,并遵循CC BY-SA 3.0许可协议进行翻译与使用

  • 回答 (2)
  • 关注 (0)
  • 查看 (76)

一般来说,通过向隐藏层或更多隐藏层添加更多的节点,扩展人工神经网络可以得到什么好处?

它是否允许在映射中更精确,还是允许在它能够识别的关系中有更多的微妙之处,或者其他什么?

提问于
用户回答回答于

机器学习中有一个非常著名的结果,即一个隐藏层足以逼近任何光滑的有界函数(本文称为多层前馈网络是通用的逼近器现在它已经有了将近20年的历史了。然而,有几件事需要注意。

  • 单个隐藏层可能需要任意宽。
  • 这并没有说明找到近似的容易程度;一般来说,大型网络很难进行适当的训练,并且经常会受到过度拟合的影响(所谓的“卷积神经网络”例外,它实际上只适用于视力问题)。
  • 这也不能说明表示的效果。有些函数需要指数级的隐藏单元,如果使用更多层时,扩展得更好(有关此问题的更多讨论,具体参阅面向人工智能的尺度学习算法)

深层神经网络的问题是它们更难训练。最后,非常小的梯度被反向传播到早期的隐藏层,并且学习实际上不会有任何进展,特别是当权值被初始化为小时(如果您将它们初始化为更大的幅度,则经常陷入糟糕的局部极小值)。有一些“预训练”的技巧,参考这里:谷歌科技谈话

用户回答回答于

这取决于你试图解决的问题和你试图使用的神经网络。有几种神经网络类型。

我一般不太清楚,更多的节点是否等于更精确。研究表明,你基本上只需要一个隐藏层。节点编号应该是解决问题所需节点的最小数目。如果你没有足够的钱--你就无法找到解决办法。

另一方面--如果您已经达到了解决方案所需的节点数量--您可以添加越来越多的节点,您将不会看到在结果估计方面有任何进一步的进展。

这就是为什么有这么多类型的神经网络。他们试图解决不同类型的问题。所以你有神经网络来解决静态问题,解决与时间相关的问题等等。节点的数量并不像它们的设计那么重要。

扫码关注云+社区

领取腾讯云代金券