基于素描图的细粒度图像检索【附PPT与视频资料】

关注文章公众号 回复"庞璐"获取PPT与视频 视频资料可点击下方阅读原文在线观看

Introduction

近年来，随着监控摄像头的普及与应用，监控摄像头系统在打击罪犯和刑侦安全方面起到了至关重要的作用。利用监控系统查找犯罪嫌疑人，从而侦破案件已经成为公安机关的重要破案手段。这一重要应用使得行人重识别问题得到广泛关注。行人重识别是指给定行人在某一监控摄像头下的图片，利用计算机视觉算法在其余监控摄像头下识别出这一特定行人。

然而，在刑侦和很多犯罪场景下，通常监控摄像头并不能拍摄到嫌疑人或者罪犯的照片。在此情况下，通过与目击证人和受害者的多次交流，法医艺术家最终绘出犯罪嫌疑人或罪犯的素描图。之后，公安机关使用这张素描图在监控摄像头下识别和检索嫌疑人或罪犯。这个问题被定义为行人素描重识别问题，是指给定行人的素描图，利用计算机视觉算法在监控摄像头下识别出这一特定行人。

作者简介

庞璐，北京大学信息工程学院在读硕士，本科毕业于北京大学信息科学技术学院，目前主要研究方向是基于素描图的图像检索，同时研究兴趣也在于强化学习，迁移学习和计算机视觉。目前已在CVPR和ACM Multimedia发表过文章。

Related work

基于素描图的细粒度图像检索问题是一个跨域匹配问题，指的是给定一个手画的素描图（例如一只鞋），在这一类物体的图片库中检索出这个物体。Yi Li[1]首先提出基于细粒度的图像检索问题，使用DPM（Deformable Part Models）编码提取的手工特征，之后利用图匹配的方式匹配素描图和图片。2016年，Qian Yu[4]第一次利用深度学习的模型解决基于素描图的细粒度图像检索问题，提出三个分支的网络结构，用triplet损失函数进行优化；为了解决数据集过小的问题，提出两种数据增强的方式：比划去除和图像变形；同时提出了三阶段的训练方式来避免数据集过小产生的过拟合的问题。Zhun Zhong[2]使用生成网络来加强提取出的特征的判别性。为了解决素描图和图片的不对齐问题，Wei Li[3]在三分支网络结构的基础上引入三个模块：注意力机制模块，短接融合模块和HOLEF（Higher-Order Learnable Energy Function）损失函数。然而，这些方法的共同点在于：为了消除素描域和图片域的差距，需要对图片进行预处理：提取边缘图，将边缘图和素描图输入到深度网络结构中提取特征并匹配。总之，这些算法并没有从本质上解决跨域匹配的问题。

Method

为了解决不能学到域不变特征的问题，本文运用跨域对抗特征学习模型，通过结合个体特征学习和对抗特征学习的优势，过滤掉底层干扰信息，保留高层域不变特征。

本文提出联合特征学习架构同时学习个体可区分特征和域不变特征。素描图和行人照片分别通过行人素描图特征生成器和行人照片特征生成器进行特征提取，提取到的特征分别通过行人ID确认子网络和域判别器子网络。其中行人ID确认子网络代表个体特征学习任务，可以是行人ID分类和确认任务，用于学习个体可区分的特征。通过引入域判别器来建立对抗特征学习任务，域判别器的优化目标是尽可能判别输入的特征是来自于素描图还是行人图片，特征生成器的优化目标是尽可能生成域不变的特征，因此两个特征生成器和域判别器的优化目标是对抗的。实际上，交替优化特征生成器和域判别器。

Dataset

实验数据集使用PKU Sketch Re-ID数据集。这个数据集一共有200个人：每个人有1张素描图，两张照片，分别来自不同的摄像头。

数据集下载地址：

https://www.pkuml.org/resources/pkusketchreid-dataset.html

Take-home-message

Reference

[1]Yi Li, Timothy M Hospedales, Yi-Zhe Song, and Shaogang Gong. 2014. Fine-grained sketch-based image retrieval by matching deformable part models. (2014).

[2]Kaiyue Pang, Yi-Zhe Song, Tao Xiang, and Timothy Hospedales. 2017. Cross-domain generative learning for fine-grained sketch-based image retrieval. BMVC.

[3]Jifei Song, Yu Qian, Yi-Zhe Song, Tao Xiang, and Timothy Hospedales. 2017. Deep spatial-semantic attention for fine-grained sketch-based image retrieval. In ICCV.

[4]Qian Yu, Feng Liu, Yi-Zhe Song, Tao Xiang, Timothy M Hospedales, and Chen Change Loy. 2016. Sketch me that shoe. In Computer Vision and Pattern Recognition (CVPR), 2016 IEEE Conference on. IEEE, 799–807.

[5]Lu Pang, Yaowei Wang, Yi-Zhe Song, Tiejun Huang, Yonghong Tian, Cross domain adversarial feature learning for sketch re-identification, In ACM Multimedia 2018.

SFFAI讲者招募

为了满足人工智能不同领域研究者相互交流、彼此启发的需求，我们发起了SFFAI这个公益活动。SFFAI每周举行一期线下活动，邀请一线科研人员分享、讨论人工智能各个领域的前沿思想和最新成果，使专注于各个细分领域的研究者开拓视野、触类旁通。

SFFAI目前主要关注机器学习、计算机视觉、自然语言处理等各个人工智能垂直领域及交叉领域的前沿进展，将对线下讨论的内容进行线上传播，使后来者少踩坑，也为讲者塑造个人影响力。

SFFAI还将构建人工智能领域的知识树（AI Knowledge Tree），通过汇总各位参与者贡献的领域知识，沉淀线下分享的前沿精华，使AI Knowledge Tree枝繁叶茂，为人工智能社区做出贡献。

这项意义非凡的社区工作正在稳步向前，衷心期待和感谢您的支持与奉献！

有意加入者请与我们联系：wangxl@mustedu.cn