Dropout到底在干啥?看完这篇文章,你就知道了

【导读】Dropout是非常常用的深度学习组件,一般用来做模型正则化或模型压缩,然而,Dropout到底是怎么做的?它有哪些变体?CNN和RNN中Dropout该怎么用?看完这篇文章,你就都知道了。

论文链接: https://arxiv.org/pdf/1904.13310.pdf 论文题目: Survey of Dropout Methods for Deep Neural Networks

深度神经网络是当代人工智能和信号处理领域的一个重要课题。它们的大量参数使得它们特别容易过度拟合,在实践中需要正则化方法。Dropout是2012年推出的一种避免过度拟合的技术,随后被应用于2012年的大尺度视觉识别挑战赛 (Large Scale Visual Recognition Challenge) ,该挑战赛彻底改变了深度学习研究。原方法在每次训练迭代中省略概率为0.5的神经网络中的每个神经元,在测试中包含所有神经元。该技术被证明可以显著提高在各种任务上的结果。

近年来,受原始dropout方法的启发而提出的各种随机技术得到了广泛的应用。我们通常使用术语dropout方法来指代它们。其中包括dropconnect、standout、fast dropout、变分dropout、Monte Carlo dropout等。上图展示了对随时间推移的辍学方法的研究。一般来说,dropout方法是在神经网络训练、推理或近似过程中随机修改参数。虽然最初用于避免过度拟合,但dropout方法已经扩展到各种应用程序中。

本篇文章将上述dropout方法进行了一一分析。

请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“dropout” 就可以获取《Survey of Dropout Methods for Deep Neural Networks》的下载链接~

【部分文章】

-END-

原文发布于微信公众号 - 专知(Quan_Zhuanzhi)

原文发表时间:2019-05-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券