我有一个5-5-2的反向传播神经网络,我正在训练,在阅读了LeCun的这个令人敬畏的LeCun后,我开始实践他提出的一些想法。
目前,我正在用我自己设计的10倍交叉验证算法来评估它,基本上是这样的:
for each epoch
for each possible split (training, validation)
train and validate
end
compute mean MSE between all k splits
end
我的输入和输出是标准化的(0-均值,方差1),我使用的是tanh激活函数。所有网络算法似乎都能正常工作:我使用相同