图来自http://www.weixiushen.com/project/Awesome_FGIA/Awesome_FGIA.html
2019 年第 61 篇文章,总第 85 篇文章 本文大约 4500 字,阅读大约需要 10 分钟
细粒度图像,相对通用图像(general/generic images)的区别和难点在于其图像所属类别的粒度更为精细,也是目前计算机视觉领域比较热门的一个方向,包括了分类、检索以及图片生成方向。 细粒度图像类别的数据集也是越来越多,最早的时候,2011年左右的时候,基准的数据集就是花卉、鸟类(CUB200)以及猫狗数据集,并且数据量最多的狗类数据集是 2 万张图片左右,而现在数据集更多,涉及到更多的类别,包括服饰、水果蔬菜、零售商品等等,并且随着深度学习的发展,各种分类模型的提出,对这些数据集的分类准确率也是越来越高。
今天推荐的是一个关于细粒度图像分析资源的网站,作者是旷视的南京研究院负责人魏秀参,网站地址如下
http://www.weixiushen.com/project/Awesome_FGIA/Awesome_FGIA.html
这个网站主要是介绍了和细粒度图像分析相关的论文、代码和数据集,论文都是非常新的结果,基本是2017到2019年的结果。
主要介绍的内容如下所示:
分别是9个方面的介绍:
主要是介绍该网站的内容,也就是展示一些基于深度学习的细粒度图像方面的有代表性的论文、代码和数据集,它们的研究方向包括分类、检索、图片生成等等。
这里推荐了两份教程,都是作者本人做的教程,分别是 2018 版和 2019 版本
同样是两份:
论文地址:https://arxiv.org/abs/1907.03069
论文地址:https://link.springer.com/article/10.1007/s11633-017-1053-3
这里展示了 11 个数据集,如下图所示,其中 BBox 表示数据集提供物体的边界框信息,Part anno 则是数据集共了关键部位的位置信息,HRCHY 表示有分层次的标签,ATR 表示属性标签(比如翅膀颜色等),Texts 表示提供了图片的文本描述信息。
这里的 11 个数据集基本包含不同类别的物体,比如鸟类、花朵、服饰、猫狗、水果蔬菜、零售商品等等,其中常用的数据集应该就是 CUB200 这个包含 200 个类别的鸟类数据集,很多论文的实验数据集都会包含这个数据集。
这里将细粒度图像识别的方法分为以下三种:
这里介绍的前两种方法的论文会更多,给出的论文,最老的是 2014 年的,然后还有最新的 CVPR 2019 的论文,并且对于有开源代码的都提供了代码地址。因为论文太多,就不一一列举了,分别列出最新的一篇论文
论文:Weakly Supervised Complementary Parts Models for Fine-Grained Image Classification From the Bottom Up. CVPR,2019
论文地址:http://openaccess.thecvf.com/content_CVPR_2019/papers/Ge_Weakly_Supervised_Complementary_Parts_Models_for_Fine-Grained_Image_Classification_From_CVPR_2019_paper.pdf
论文:Destruction and Construction Learning for Fine-grained Image Recognition,CVPR,2019
论文地址:http://openaccess.thecvf.com/content_CVPR_2019/papers/Chen_Destruction_and_Construction_Learning_for_Fine-Grained_Image_Recognition_CVPR_2019_paper.pdf
Github:https://github.com/JDAI-CV/DCL
论文:Learning from Web Data using Adversarial Discriminative Neural Networks for Fine-Grained Classification. AAAI,2019
论文地址:https://github.com/sxzrt/Learning-from-web-data
细粒度检索方向分为两个方向
论文名称:Selective Convolutional Descriptor Aggregation for Fine-Grained Image Retrieval.2017
论文地址:http://www.weixiushen.com/project/SCDA/SCDA.html
论文地址:https://www.ijcai.org/proceedings/2018/0171.pdf
论文地址:http://mac.xmu.edu.cn/rrji/papers/AAAI2019_zxw.pdf
同样分为两个方向:
论文地址:http://openaccess.thecvf.com/content_ICCV_2017/papers/Bao_CVAE-GAN_Fine-Grained_Image_ICCV_2017_paper.pdf
Github:https://github.com/tkazusa/CVAE-GAN
论文地址:http://openaccess.thecvf.com/content_CVPR_2019/papers/Singh_FineGAN_Unsupervised_Hierarchical_Disentanglement_for_Fine-Grained_Object_Generation_and_Discovery_CVPR_2019_paper.pdf
Github:https://github.com/kkanshul/finegan
论文:AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks.CVPR,2018
论文地址:http://openaccess.thecvf.com/content_cvpr_2018/papers/Xu_AttnGAN_Fine-Grained_Text_CVPR_2018_paper.pdf
Github:https://github.com/taoxugit/AttnGAN
列举了两个可能的方向:
论文:Piecewise classifier mappings: Learning fine-grained learners for novel categories with few examples. TIP,2019
论文地址:http://www.weixiushen.com/publication/tip19PCM.pdf
下面是给出的三篇论文:
论文地址:https://ai.stanford.edu/~tgebru/papers/iccv.pdf
论文地址:http://openaccess.thecvf.com/content_cvpr_2018/papers/Van_Horn_The_INaturalist_Species_CVPR_2018_paper.pdf
论文地址:https://arxiv.org/abs/1901.07249
这里主要是在数据集 CUB200-2011 数据集上的测试准确率,列举出目前最好的方法和其是否采用标准信息、额外的数据、采用的网络结构、输入图片的大小设置以及分类准确率:
这个网站收集了目前细粒度图像分析方面的资料,包括论文、代码和数据集,特别是介绍的最新的一篇综述论文:Deep Learning for Fine-Grained Image Analysis: A Survey.
论文地址:https://arxiv.org/abs/1907.03069
以及,魏秀参老师在 2017 年知乎上也发表过一篇细粒度图像分析综述,感兴趣的也可以看看:
https://zhuanlan.zhihu.com/p/24738319