大家好,又见面了,我是你们的朋友全栈君。
1、全连接层: 、全连接网络可以使feature map的维度减少,进而输入到softmax 、全连接层的参数超多 、会造成过拟合 、模型本身变得非常臃肿 2、全局平均池化层(global average poolilng)[GAP]: 、直接实现了降维 、极大地减少了网络的参数 、对整个网路在结构上做正则化防止过拟合,直接赋予了每个channel实际的内别意义 、gap可能会造成收敛速度减慢 3、为什么会收敛速度变慢?以及对模型训练有什么差异? 、全连接层结构的模型对于训练学习的过程,压力更多在全连接层,卷积的特征学习低级一些,但是在不断学习调整参数中,一样效果不差。 、GAP 在学习训练的压力前导于卷积层,卷积的特征学习会高级一些,但也会淡化不同特征间的相对位置的组合关系,丢失了图像的位置信息,因此卷积训练出来的特征应该更加‘高级’。 、以上推到出一个结论:不利于迁移学习,那就调正卷积出来的特征。 、 提供建议: 全局平均池化层+softmax层代替FC层,效果要好。 全局平均池化层以后也可以试一试dropout,进行正则化。无论采用何种方法,毕竟全局池化是比较火的用法,采用正则至少不用被过拟合的象限困扰。
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/128401.html原文链接:https://javaforall.cn