dropout到底在干什么？

我们用dropout主要是为了防止CNN过拟合。所谓过拟合就是所建的模型在训练样本中表现得过于优越，而在测试数据集中表现不佳。那既然死死的一个神经网络可能被过度训练，我们能不能每次训练时，随机挑选一部分参数来构成一个子网，将这个子网络作为此次训练更新的目标网络。下次挑选另外一批参数构成子网来训练。这样就避免了原来的整个单一网络被过分拟合到训练集。从现实来看，概率上来讲，这种方法卓有成效。原因可从概率论来分析，但是凡是概率，都不是很好直接验证。大学学概率就这种感觉。网上有人居然用生物学来分析，大家可参考。