人脑有海量的神经元，那么人脑有没有过拟合行为？

人脑确实有时也会过拟合，但远远没有现有的机器学习模型容易过拟合。典型的例子就是物体识别的任务中，现有的机器学习模型需要成百万的样本来训练，而人类需要的样本比这要少很多，但人类识别的效果依然比机器好。这与人脑的不变性表达（invariant representation）是分不开的。人脑的表达本身就利用了平移（translations）,尺度（scale）, 旋转（rotations）甚至姿态（pose）的不变性。这样的表达可以让用于分类的特征空间变得很小，也就不容易过拟合了。但目前的机器学习模型（比如CNN，卷积神经网络）只利用了平移不变性和很有限的尺度不变性，所以更容易overfiting。data augmentation可以一定程度上缓解这个问题，但效果肯定没有像人脑这样直接encode不变性要好。