专栏首页人工智能前沿讲习基于素描图的细粒度图像检索【附PPT与视频资料】

基于素描图的细粒度图像检索【附PPT与视频资料】

关注文章公众号 回复"庞璐"获取PPT与视频 视频资料可点击下方阅读原文在线观看

Introduction


近年来,随着监控摄像头的普及与应用,监控摄像头系统在打击罪犯和刑侦安全方面起到了至关重要的作用。利用监控系统查找犯罪嫌疑人,从而侦破案件已经成为公安机关的重要破案手段。这一重要应用使得行人重识别问题得到广泛关注。行人重识别是指给定行人在某一监控摄像头下的图片,利用计算机视觉算法在其余监控摄像头下识别出这一特定行人。

然而,在刑侦和很多犯罪场景下,通常监控摄像头并不能拍摄到嫌疑人或者罪犯的照片。在此情况下,通过与目击证人和受害者的多次交流,法医艺术家最终绘出犯罪嫌疑人或罪犯的素描图。之后,公安机关使用这张素描图在监控摄像头下识别和检索嫌疑人或罪犯。这个问题被定义为行人素描重识别问题,是指给定行人的素描图,利用计算机视觉算法在监控摄像头下识别出这一特定行人。

作者简介


庞璐,北京大学信息工程学院在读硕士,本科毕业于北京大学信息科学技术学院,目前主要研究方向是基于素描图的图像检索,同时研究兴趣也在于强化学习,迁移学习和计算机视觉。目前已在CVPR和ACM Multimedia发表过文章。

Related work


基于素描图的细粒度图像检索问题是一个跨域匹配问题,指的是给定一个手画的素描图(例如一只鞋),在这一类物体的图片库中检索出这个物体。Yi Li[1]首先提出基于细粒度的图像检索问题,使用DPM(Deformable Part Models)编码提取的手工特征,之后利用图匹配的方式匹配素描图和图片。2016年,Qian Yu[4]第一次利用深度学习的模型解决基于素描图的细粒度图像检索问题,提出三个分支的网络结构,用triplet损失函数进行优化;为了解决数据集过小的问题,提出两种数据增强的方式:比划去除和图像变形;同时提出了三阶段的训练方式来避免数据集过小产生的过拟合的问题。Zhun Zhong[2]使用生成网络来加强提取出的特征的判别性。为了解决素描图和图片的不对齐问题,Wei Li[3]在三分支网络结构的基础上引入三个模块:注意力机制模块,短接融合模块和HOLEF(Higher-Order Learnable Energy Function)损失函数。然而,这些方法的共同点在于:为了消除素描域和图片域的差距,需要对图片进行预处理:提取边缘图,将边缘图和素描图输入到深度网络结构中提取特征并匹配。总之,这些算法并没有从本质上解决跨域匹配的问题。

Method


为了解决不能学到域不变特征的问题,本文运用跨域对抗特征学习模型,通过结合个体特征学习和对抗特征学习的优势,过滤掉底层干扰信息,保留高层域不变特征。

本文提出联合特征学习架构同时学习个体可区分特征和域不变特征。素描图和行人照片分别通过行人素描图特征生成器和行人照片特征生成器进行特征提取,提取到的特征分别通过行人ID确认子网络和域判别器子网络。其中行人ID确认子网络代表个体特征学习任务,可以是行人ID分类和确认任务,用于学习个体可区分的特征。通过引入域判别器来建立对抗特征学习任务,域判别器的优化目标是尽可能判别输入的特征是来自于素描图还是行人图片,特征生成器的优化目标是尽可能生成域不变的特征,因此两个特征生成器和域判别器的优化目标是对抗的。实际上,交替优化特征生成器和域判别器。

Dataset


实验数据集使用PKU Sketch Re-ID数据集。这个数据集一共有200个人:每个人有1张素描图,两张照片,分别来自不同的摄像头。

数据集下载地址:

https://www.pkuml.org/resources/pkusketchreid-dataset.html

Take-home-message


Reference


[1]Yi Li, Timothy M Hospedales, Yi-Zhe Song, and Shaogang Gong. 2014. Fine-grained sketch-based image retrieval by matching deformable part models. (2014).

[2]Kaiyue Pang, Yi-Zhe Song, Tao Xiang, and Timothy Hospedales. 2017. Cross-domain generative learning for fine-grained sketch-based image retrieval. BMVC.

[3]Jifei Song, Yu Qian, Yi-Zhe Song, Tao Xiang, and Timothy Hospedales. 2017. Deep spatial-semantic attention for fine-grained sketch-based image retrieval. In ICCV.

[4]Qian Yu, Feng Liu, Yi-Zhe Song, Tao Xiang, Timothy M Hospedales, and Chen Change Loy. 2016. Sketch me that shoe. In Computer Vision and Pattern Recognition (CVPR), 2016 IEEE Conference on. IEEE, 799–807.

[5]Lu Pang, Yaowei Wang, Yi-Zhe Song, Tiejun Huang, Yonghong Tian, Cross domain adversarial feature learning for sketch re-identification, In ACM Multimedia 2018.

SFFAI讲者招募

为了满足人工智能不同领域研究者相互交流、彼此启发的需求,我们发起了SFFAI这个公益活动。SFFAI每周举行一期线下活动,邀请一线科研人员分享、讨论人工智能各个领域的前沿思想和最新成果,使专注于各个细分领域的研究者开拓视野、触类旁通。

SFFAI目前主要关注机器学习、计算机视觉、自然语言处理等各个人工智能垂直领域及交叉领域的前沿进展,将对线下讨论的内容进行线上传播,使后来者少踩坑,也为讲者塑造个人影响力。

SFFAI还将构建人工智能领域的知识树(AI Knowledge Tree),通过汇总各位参与者贡献的领域知识,沉淀线下分享的前沿精华,使AI Knowledge Tree枝繁叶茂,为人工智能社区做出贡献。

这项意义非凡的社区工作正在稳步向前,衷心期待和感谢您的支持与奉献!

有意加入者请与我们联系:wangxl@mustedu.cn

本文分享自微信公众号 - 人工智能前沿讲习(AIFrontier),作者:庞璐

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-12-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 深度了解特征工程

    Feature:An attribute useful for your modeling task. Feature Selection:From many ...

    马上科普尚尚
  • Mars说光场(1)— 为何巨头纷纷布局光场技术

    沉浸感按:光场技术是目前最受追捧的下一代显示技术,谷歌、Facebook、Magic Leap等国内外大公司都在大力布局。然而目前国内对光场(Light Fie...

    马上科普尚尚
  • CVPR2019 |《胶囊网络(Capsule Networks)综述》,附93页PPT下载

    胶囊网络(Capsule Networks)图领奖得主Geoffrey Hinton在17年提出的一种新型神经网络结构,可以克服卷积神经网络存在的一些问题。CV...

    马上科普尚尚
  • 特征归一化:Why?How?When?

    在使用某些算法时,特征缩放可能会使结果发生很大变化,而在其他算法中影响很小或没有影响。为了理解这一点,让我们看看为什么需要特征缩放、各种缩放方法以及什么时候应该...

    量化投资与机器学习微信公众号
  • 特征工程方法综述

    随着我们底层特征库中特征数目的不断增长,如何组合特征,如何针对不同场景选择适合的特征,如何评估特征优劣?这些问题已经日益凸显,所以这次想梳理现有的特征工程方法,...

    DevOps时代
  • 面对新蓝海 主动变革或迎来新生机

    当然,回看到整个IDC市场的发展现状,我们不难发现,当前的IDC产业在呈现出巨大潜力的同时,也处于重要战略机遇期。

    用户6049522
  • 云计算助力传统IDC华丽转型

    “风起云涌”、“风云突变”来形容当下云计算市场可谓最恰当不过。运营商、互联网公司、传统主机服务商、数据中心厂商等各方势力正“各抱地势”加紧角逐。传统IDC运营商...

    静一
  • 云基地,推动云计算集约化(上)

    IDC(互联网数据中心),是云计算的主要载体和最主要支点,IDC布局是否合理,规模化程度大小,不仅影响云计算是否能够持续发展,也影响着使用云计算服务的用户体验,...

    腾讯数据中心
  • 中国IDC圈、科智咨询王若冰:从供到需——IDC产业的演进之路

    未来三年,IDC市场的发展仍是乐观的。2019年,中国IDC市场规模将达到1900亿。其中互联网企业贡献最大,其次是传统金融业、政府职能部门、制造业、能源业等。...

    企鹅号小编
  • 15分钟进击Kaggle大赛top2%

    对于从事机器学习行业的人来说,Kaggle比赛可能大家都耳熟能详,它是一个流行的数据科学竞赛平台。

    CDA数据分析师

扫码关注云+社区

领取腾讯云代金券