向着CV迈进—fine-grained 图像识别

细粒度图像识别 (fine-grained image recognition)，即 精细化分类，比如，分清2005年版100元毛泽东主席和2015年版100元毛泽东像？

细粒度图像分类(Fine-Grained Categorization)，又被称作子类别图像分类(Sub-Category Recognition),由于子类别间细微的类间差异和较大的类内差异, 较之普通的图像分类任务, 细粒度图像分类难度更大。

目前, 绝大多数的分类算法都遵循这样的流程框架:

Step A：先找到前景（目标对象，比如鸟），及其局部区域（头、脚、翅膀等）；

Step B：分别对这些区域提取特征. 对所得到的特征进行适当的处理之后, 用来完成分类器的训练和预测。

目前，精细化分类的方法主要有以下两类：

1. 基于图像重要区域定位的方法：

该方法集中探讨如何利用弱监督的信息自动找到图像中有判别力的区域，从而达到精细化分类的目的。

2. 基于图像精细化特征表达的方法：

该方法提出使用高维度的图像特征（如：bilinear vector）对图像信息进行高阶编码，以达到准确分类的目的。

按照使用的样本，监督的强弱，分强监督和弱监督。

1、强监督：是指，在模型训练时，为了获得更好的分类精度，除了图像的类别标签外，还使用了物体标注框（object bounding box）和 部位标注点（part annotation）等额外的人工标注信息。

2、弱监督：在模型训练时仅使用图像级别标注信息，而不再使用额外的part annotation信息时，也能取得与强监督分类模型可比的分类精度。仅使用图像的类别标签 + 物体标注框。

思路同强监督分类模型类似，也需要借助全局和局部信息来做细粒度级别的分类。

而区别在于，弱监督细粒度分类希望在不借助part annotation的情况下，也可以做到较好的局部信息的捕捉。

代表算法有：

Bilinear CNN：

下次再专门学习~

RA-CNN：（A 代表 attention ）把Attention仍然理解为从大量信息中有选择地筛选出少量重要信息并聚焦到这些重要信息上。忽略大多不重要的信息，这种思路仍然成立。

1. 首先原图大尺度图像通过 CNN 卷积网络 提取特征，

一部分进过APN（Attention Proposal Net 注意力建议网络）得到注意力中心框（感兴趣区域，例如上半身区域），

另一部分通过全连接层再经过softmax归一化分类概率输出；

2. 对第一步得到的注意力中心框（感兴趣区域，例如上半身区域），再进行1的步骤，

得到更小的注意力中心框，和分类概率；

3. 对第二步得到的注意力中心框（感兴趣区域，例如头部区域），通过卷积网络提取特征，

通过全连接层再经过softmax归一化分类概率输出。