具有Dropout的神经网络
我尝试使用神经网络进行分类，数据集由7个参数和超过30万个样本组成。通过使用dropout，我想看看dropout对我的网络的影响。我正在使用Matlab。但是，matlab没有完整的dropout文档。我找到了一些关于dropout的论文，但大多数都是针对图像的深度神经网络，方法非常复杂。我试过用matlab来使用nnstart，但是我不确定我能不能用这种方式添加dropout。有没有办法用matlab的dropout来实现简单的神经网络？
如果你能分享一些与我的问题相关的信息或matlab代码，那就太好了。
回答 2
Stack Overflow用户
发布于 2017-10-03 00:45:28
您将需要从您的300K样本中拿出一个验证集。然后在其他样本上训练和测试网络，并在保持的验证集上评估性能。对您的dropout和non-dropout网络执行此操作。
Stack Overflow用户
发布于 2018-07-19 09:15:02
使用dropouts背后的想法是为了防止过度拟合。如果将dropout设置为0.1，则对于每个时期内的每个迭代，该层中的每个节点都有10%的概率从神经网络中删除。这本质上迫使网络学习更深层次和更重要的关系，而不是学习导致过度拟合的琐碎关系。
一种好的方法是想象这是通过描绘一个基于神经网络的二进制分类器来预测图像是否是猫的。如果我们在没有辍学的情况下训练时使用橙色猫的图像，那么模型检测黑色猫的图像是否真的是猫的能力可能非常低。但是，当您添加dropouts时，它可能会开始理解猫的特征特征，而不是橙色猫的特征特征，因为将激活更少(也更重要)的节点，这可能是更重要的节点。
尽管我以前没有使用过Matlab，但您可以在matlab中创建一个遵循以下伪代码的自定义函数：
go through each of the nodes:
if random(0,10) == 1:
drop/turn off node ihttps://stackoverflow.com/questions/40861197
复制相似问题
腾讯云开发者
