学习
实践
活动
专区
工具
TVP
写文章

图像分类中全连接层对卷积神经网络性能的影响

论文链接:https://arxiv.org/abs/1902.02771

Code: https://github.com/shabbeersh/Impact-of-FC-layers

发表日期:2019.02.08

卷积神经网络(CNN)在计算机视觉等领域,由于能够从原始输入数据中学习特定问题所需的特征,因此大大减少了手工提取特征的需求。但是,选择特定于数据集的CNN架构(主要依赖经验或专业知识)是一个耗时且容易出错的过程。为了自动化探索CNN架构的过程,本文试图找到全连接(FC)层与数据集的某些特征之间的关系。 CNN网络结构以及数据集最近也被分类为深度,浅度,宽度等。本文试图将这些术语形式化,并回答以下问题。(i)更深/浅层架构对CNN和FC层性能的影响是什么?(ii)更深/更宽的数据集如何影响CNN与FC层的性能?,以及(iii)哪种架构(更深/更浅)更适合哪种(更深/更宽)数据集。为了验证这些发现,本文用三种具有不同深度的CNN架构通过改变FC层的数量来进行实验。使用了包括CIFAR-10,CIFAR-100,Tiny ImageNet和CRCHistoPhenotypes四个数据集以证明在图像分类问题背景下的发现。

本文主要贡献如下:

1)进行了系统的研究,以观察在图像分类的背景下,CNN 和 FC层的深层/浅层架构对性能的影响。

2)观察了更深/更宽的数据集对CNN 和 FC层性能的影响。

3)概括了Bansal等人的一个重要发现。根据数据集的深度选择更深或更浅的架构。Bansal等人在人脸识别的背景下报告了相同的情况,而本文进行了严格的研究,以便在不同类型的数据集上推广这一观察结果。

4)为了对本文的研究结果进行经验证明,本文对CIFAR-10和CIFAR-100,Tiny ImageNet 和CRCHistoPhenotypes等数据集的不同模态(即自然和生物医学图像)进行了实验。

结论:

i)浅层网络结构需要在FC层中呈现大量节点,在更深的网络结构中FC层需要更少数量的节点而与数据集的类型无关。 ii)与较深的数据集相比,浅层模型需要更多的FC层及FC层中需要更多的节点数以用于更宽的数据集,反之亦然。 iii)更深的网络架构比浅层架构在较深的数据集上表现更好。相比之下,浅层架构比更深层次的架构对更广泛的数据集表现更好。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20190209G0D7XD00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

关注

腾讯云开发者公众号
10元无门槛代金券
洞察腾讯核心技术
剖析业界实践案例
腾讯云开发者公众号二维码

扫码关注腾讯云开发者

领取腾讯云代金券