论文阅读学习 - Hard-Aware Deeply Cascaded(HDC) Embedding
论文阅读学习 - Hard-Aware Deeply Cascaded(HDC) Embedding
Hard-Aware Deeply Cascaded(HDC) Embedding
摘要： 深度度量学习基本目标是，使相同类别的图片间的距离比不同类别的图片间的距离小. 由于优化问题，通常采用 hard example mining 来只对样本的 hard 子集进行处理. 但，hard 是相对于模型而言的，复杂模型将大部分样本作为 easy 的，而简单模型将大部分样本作为 hard 的，二者结合又难以训练. 启发点： 样本是具有不同的 hard 层次的，但难以定义复杂性合适的模型，且能充分的选择 hard 样本. 因此，以级联方式来集合不同复杂度的模型，以充分挖掘 hard 样本；通过复杂度递增的一系列模型来判断样本，且只对被判断为 hard 的样本进行模型更新. 实验是将 GoogleNet 的两个辅助 loss 分支和一个主 loss 作为级联模型，三个分支 loss 的权重都设为1，三个分支的特征组合成最终的样本特征.
1.2 HDC 框架图
1.3 Hard Example 的选择
给定 loss 函数，可以根据传统的 hard example mining 方法来定义 loss 值较大的样本作为 hard examples，但多个 loss 值将被用于挖掘每一个样本的 hard examples.
由于不同模型的 loss 分布是不同的，且在训练过程中一直变化，因此在挖掘 hard examples 时，很难预定义每个模型的阈值.
这里采用一种简单的处理方式：
以降序方式对 mini-batch 内的所有的 positive 样本对的 losses 进行排列；然后取前 hkhkh^k 比例的样本作为模型 kkk 的 hard positive set； 类似地， 以降序方式对 mini-batch 内的所有的 negative 样本对的 losses 进行排列；然后取前 hkhkh^k 比例的样本作为模型 kkk 的 hard negative set； 被选取的 hard samples 传向后面的级联网络模型.
例示：
1.4 HDC 实现细节
类似于 lifted structured feature embedding ，构建图像 mini-batch 作为输入，例如，一个 mini-batch 内的 100 张图片是均匀地从 10 个不同的类别中随机采样得到的.
为了利用更多训练样本，采用[Learning a metric embedding for face recognition using the multibatch method] 的 mini-batch 方法，构建 min-batch 内的所有图像对，以计算训练 loss；例如，一个 mini-batch 内有 100 张图片，可以构建 1002−100=99001002−100=9900100^2 - 100 = 9900 个图像对.
基于 HDC 级联模型，一张图片是由全部模型的链接特征来表示的.
算法：
2. Experiments
HDC - image-retrieval tasks.
- CARS196 dataset 196 类 cars，16185 张图片，前 98 类(8054张图片)作训练，其余 98 类(8131张图片) 作测试.
- CUB-200-2011 dataset 200 类 birds，11788 张图片，前 100 类(5864 张图片)作训练，其余的(5924 张图片) 作测试.
- Stanford Online Products dataset 22634 类 products，120053 张图片，11318 类(59551 张图片) 作训练，其余的 11316 类(共 60502 张图片)作测试.
- In-shop Clothes Retrieval dataset DeepFashion，11735 类 clothes，54642 张图片，从中筛选 7982 类(52712 张图片) 作训练和测试. 3997 类(25882 张图片)作训练，3985类(28760 张图片)作测试. 测试集分为 query set 和 database set. query set 共 3985 类(14218 张图片)；database set 共 3985 类(12612 张图片).
- VehicleID dataset 26267 类 vehicles，221763 张图片，13134 类(110178 张图片)作训练，13133 类(111585 张图片)作测试.
2.2 Results
