近日,在 AI 顶会 NeurIPS 2021 的图像相似度挑战赛中(Image Similarity Challenge),来自腾讯在线视频 BU-AI 技术中心的团队,在 Matching Track 赛道战胜来自全球 1000 多支队伍,荣获季军。
相似图像检索,该比赛中主要指图像的拷贝检测,是计算机视觉领域的一项经典任务。其目的是判断查询图像(query),是否由库存(reference)中的任何图像编辑或攻击变换而来。该技术目前已广泛应用于互联网服务中,它作为社交媒体以及内容平台上的一个重要组成部分,主要用于低质内容识别、重复内容识别、版权保护等一系列内容审查领域,从而有助于互联网平台提供更加安全和可信的内容。
近年来,随着社交媒体以及内容平台的发展,图像拷贝检测面临了新的挑战点:大规模检索与复杂的攻击。以 Facebook 网站为例,每天将产生数十亿张新图片,如何快速的在较大库存检测这些新图片成为一个挑战。另外,查询图像在现实中会受到多种攻击变换,如滤镜、遮挡、裁剪、模糊、手绘等等。导致检测工作仅靠人工无法完成,需要算法来帮助进行自动的标记,因此大规模检索变得越来越重要和实用。
图像变换攻击示例
为了进一步促进图像拷贝检测技术的研究,Facebook AI 在顶会 NeurIPS 2021 上举办了图像相似度挑战赛(Image Similarity Challenge),比赛共分为 Matching Track 和 Descriptor Track 两个赛道。同时,比赛提供了一个具有挑战性的数据集,该数据集来自于真实的社交媒体平台,主要由一百万库存图片、五万查询图片,以及一百万训练集组成,它可以作为大规模图像相似性检测的新基准。本次比赛吸引了来自腾讯、百度、阿里、旷世、三星、Intel、DeNA 等国内外知名公司及研究机构,共 1000 多支队伍参加。
腾讯 imgFp 团队获得季军
在本次 NeurIPS 2021 图像相似度挑战赛中,来自腾讯的 imgFp 团队针对上述挑战点,设计了一种结合全局特征与局部特征双路召回的高效检测算法,该算法能够以较高的鲁棒性来应对绝大多数的变换攻击,并且实用性强,单图全流程检索耗时约 2-3 秒,最终获得 Matching Track 赛道季军。
最终榜单:https://www.drivendata.org/competitions/84/competition-image-similarity-1-final/leaderboard/
1、鲁棒的单一模型
imgFp 团队采用以 Swin-Transformer 为主干网络的模型来提取查询图像的全局特征,并基于 EsViT 的方法,设计了一种多阶段的自监督训练方式,以充分发挥网络的自注意力机制。
为了提高模型的抗攻击能力,imgFp 团队在训练过程中设计了超过 40 种数据增强方式来生成正样本对,充分模拟各种图像攻击变换,并在训练过程中使用 memory bank 来达到扩充 batch size 的效果,充分挖掘难分负样本。
最终,imgFp 团队训练得到一个鲁棒的单一网络模型,来对每张查询图像计算生成一个 256 维的特征向量。全局特征检索结果可视化如图所示,对于很多极端的攻击干扰依然可以获得较好的检索排序结果。
2、双路召回,应对极端样本
imgFp 团队发现,全局特征仍然较难表征某些极端的攻击变换,例如,较大范围的裁剪或者作为很小的区域叠加在背景图像上等,如图所示。这导致了仅靠全局特征的召回率偏低。
然而,这些极端样本在局部上具有较强的一致性,因此 imgFp 团队提出了结合局部特征做双路召回的方案,并使用 GPU Faiss 来加速大规模局部特征的搜索,最后采用 KNN-matching 的方法对两路召回的结果进行融合并计算相似分数。
方法的整体 pipeline 如图所示,imgFp 团队发现,这种结合全局特征与局部特征的双路召回方式,能够发挥两种特征的互补优势,从而实现应对大多数攻击变换的作用。
详细方法见论文:https://arxiv.org/abs/2112.02373
团队简介
imgFp 团队的参赛成员均来自于腾讯在线视频 BU 的 AI 技术中心。该团队作为腾讯 PCG 视频关系中台的主要建设者,自 2014 年开始,便积极探索视频间关系的建立与应用,并积累了丰厚的技术和经验。团队所研发的视频排重、图文排重、短带长等技术,已应用于公司内多项产品和业务,包括腾讯视频、腾讯微视、腾讯新闻、腾讯看点,以及微信视频号。
据团队成员介绍,本次比赛,是团队在业务之余的一次探索,初衷是想验证其算法在高难度数据集上的表现。相较于第一和第二名的方法,他们的方法虽然精度略低,但却更加适用于线上生产环境。目前,图像拷贝检测技术已经在互联网服务中发挥了重要价值,但仍面临着大规模检索和复杂攻击的挑战,团队将继续钻研和打磨技术,不断助力内容生态,积极创造更多社会价值。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:content@jiqizhixin.com