图像分类中全连接层对卷积神经网络性能的影响

论文链接：https://arxiv.org/abs/1902.02771

Code: https://github.com/shabbeersh/Impact-of-FC-layers

发表日期：2019.02.08

卷积神经网络（CNN）在计算机视觉等领域，由于能够从原始输入数据中学习特定问题所需的特征，因此大大减少了手工提取特征的需求。但是，选择特定于数据集的CNN架构（主要依赖经验或专业知识）是一个耗时且容易出错的过程。为了自动化探索CNN架构的过程，本文试图找到全连接（FC）层与数据集的某些特征之间的关系。 CNN网络结构以及数据集最近也被分类为深度，浅度，宽度等。本文试图将这些术语形式化，并回答以下问题。（i）更深/浅层架构对CNN和FC层性能的影响是什么？（ii）更深/更宽的数据集如何影响CNN与FC层的性能？，以及（iii）哪种架构（更深/更浅）更适合哪种（更深/更宽）数据集。为了验证这些发现，本文用三种具有不同深度的CNN架构通过改变FC层的数量来进行实验。使用了包括CIFAR-10，CIFAR-100，Tiny ImageNet和CRCHistoPhenotypes四个数据集以证明在图像分类问题背景下的发现。

本文主要贡献如下：

1）进行了系统的研究，以观察在图像分类的背景下，CNN 和 FC层的深层/浅层架构对性能的影响。

2）观察了更深/更宽的数据集对CNN 和 FC层性能的影响。

3）概括了Bansal等人的一个重要发现。根据数据集的深度选择更深或更浅的架构。Bansal等人在人脸识别的背景下报告了相同的情况，而本文进行了严格的研究，以便在不同类型的数据集上推广这一观察结果。

4）为了对本文的研究结果进行经验证明，本文对CIFAR-10和CIFAR-100，Tiny ImageNet 和CRCHistoPhenotypes等数据集的不同模态（即自然和生物医学图像）进行了实验。

结论：

i）浅层网络结构需要在FC层中呈现大量节点，在更深的网络结构中FC层需要更少数量的节点而与数据集的类型无关。 ii）与较深的数据集相比，浅层模型需要更多的FC层及FC层中需要更多的节点数以用于更宽的数据集，反之亦然。 iii）更深的网络架构比浅层架构在较深的数据集上表现更好。相比之下，浅层架构比更深层次的架构对更广泛的数据集表现更好。