Deep Learning of Binary Hash Codes for Fast Image Retrieval

• [Paper]
• [Code-Caffe]

1. 摘要

• 针对图像检索问题，提出简单有效的监督学习框架
• CNN网络结构能同时学习图像特征表示以及 hash-like 编码函数集合
• 利用深度学习以逐点(point-wise)的方式，得到二值哈希编码(binary hash codes)，以快速检索图像；对比卷积pair-wised方法，在数据大小上具好的扩展性.
• 论文思想，当数据标签可用时，可以利用隐层来学习能够表示图像类别标签的潜在语义的二值编码

2. 方法

Figure 1: 基于分层深度搜索的图像检索框架.

方法主要包括三部分：

• Module1 - 在ImageNet上有监督地预训练CNN网络，以学习得到丰富的mid-level图像表示特征；
• Module2 - 添加隐层(latent) 网络层，通过在目标图像数据集finetuning网络，该隐层可以学习得到图像的 hashes-like 编码表示；
• Module3 - 利用 hashes-like 二值编码和 F7 层特征，采用 coarse-to-fine 策略检索相似图片.

2.2 基于分层深度搜索的图像检索

采用 coarse-to-fine 搜索策略进行快速精确的图像检索.

• 首先，检索得到相似 high-level 语义特征的候选图片集，即，具有隐层得到隐含二值激活值想死;
• 然后，进一步过滤具有相似外表的图片，主要是基于最深的 mid-level 图像特征表示进行相似性排名.

3. 实验结果

3.1 数据集

• MNIST Dataset - 10类手写数字，0~9，共 60000张训练图片，10000测试图片，每张数字图片都归一化为 28×28 的灰度图片.
• CIFAR-10 Dataset - 10类物体，每一类有 6000 张图片，一种60000张图片，其中50000张作训练，10000张作测试.
• Yahoo-1M Dataset - 一共1124087张商品图片，116类服装类别，如 TOP，Dress，Skirt等. 如Figure2.

3.2 检索结果