文章/答案/技术大牛

发布

社区首页 >问答首页 >CNN的辍学与FCNN的Dropout

问CNN的辍学与FCNN的Dropout
EN

Data Science用户

提问于 2019-06-06 09:52:38

回答 2查看 915关注 0票数 4

在PyTorch nn模块中，有两种类型的辍学：

一个正常的Dropout -在训练过程中，使用Bernoulli分布的样本，随机地用概率p对输入张量的某些元素进行零点。每条通道都将在每一次呼叫中被独立地归零。
一个Dropout2d -随机零出整个频道。使用Bernoulli分布的样本，每个信道将在每个前向呼叫上独立地被零点化，概率为p。
- 来自文档

我的问题是当我们使用CNN时，我们在卷积层中使用的是哪一种。在这个纸中，有人说我们使用第一种。但我不太清楚一般的做法是什么。

neural-network

cnn

dropout

回答 2

Data Science用户

发布于 2019-11-03 17:42:34

检查这份文件：

https://arxiv.org/pdf/1411.4280.pdf

在3.2节中，他们详细讨论了为什么标准辍学在卷积层失败和空间辍学的概念。完全连接的网络通过单个神经元之间的连接学习，而卷积通过特征学习。从某种意义上说，放弃全部特征而不是单个神经元可以被认为是常规辍学的卷积版本。

票数 2

Data Science用户

发布于 2019-06-06 10:21:28

在我看来，整个频道的随机零值代表着信息的损失太大了。因此，我强烈推荐第一种。

但是，我只会在卷积部分之后的稠密层中应用下拉。我认为保存尽可能多的图像数据更好。但这只是个人的偏好/建议。

希望这能帮上忙，否则让我知道。

票数 0

页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://datascience.stackexchange.com/questions/53319

复制

相似问题

问CNN的辍学与FCNN的Dropout
EN

回答 2

Data Science用户

Data Science用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问CNN的辍学与FCNN的DropoutEN

回答 2

Data Science用户

Data Science用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问CNN的辍学与FCNN的Dropout
EN