ReID：通用性能评价标准

简介

Market-1501是行人重识别领域最为常用的benchmark，数据集在清华大学校园中采集，夏天拍摄，在 2015 年构建并公开。它包括由6个摄像头（其中5个高清摄像头和1个低清摄像头）拍摄到的 1501 个行人、32668 个检测到的行人矩形框。每个行人至少由2个摄像头捕获到，并且在一个摄像头中可能具有多张图像。训练集有 751 人，包含 12,936 张图像，平均每个人有 17.2 张训练数据；测试集有 750 人，包含 19,732 张图像，平均每个人有 26.3 张测试数据。3368 张查询图像的行人检测矩形框是人工绘制的，而 gallery 中的行人检测矩形框则是使用DPM检测器检测得到的。该数据集提供的固定数量的训练集和测试集均可以在single-shot或multi-shot测试设置下使用。

结构

Market-1501
　　├── bounding_box_test
　　　　　　　├── 0000_c1s1_000151_01.jpg
　　　　　　　├── 0000_c1s1_000376_03.jpg
　　　　　　　├── 0000_c1s1_001051_02.jpg
　　├── bounding_box_train
　　　　　　　├── 0002_c1s1_000451_03.jpg
　　　　　　　├── 0002_c1s1_000551_01.jpg
　　　　　　　├── 0002_c1s1_000801_01.jpg
　　├── gt_bbox
　　　　　　　├── 0001_c1s1_001051_00.jpg
　　　　　　　├── 0001_c1s1_009376_00.jpg
　　　　　　　├── 0001_c2s1_001976_00.jpg
　　├── gt_query
　　　　　　　├── 0001_c1s1_001051_00_good.mat
　　　　　　　├── 0001_c1s1_001051_00_junk.mat
　　├── query
　　　　　　　├── 0001_c1s1_001051_00.jpg
　　　　　　　├── 0001_c2s1_000301_00.jpg
　　　　　　　├── 0001_c3s1_000551_00.jpg
　　└── readme.txt

介绍

• bounding_box_test文件夹用于测试集的 750 人，包含 19,732 张图像，前缀为 0000 表示在提取这 750 人的过程中DPM检测错的图（可能与query是同一个人），-1 表示检测出来其他人的图（不在这 750 人中）
• bounding_box_train文件夹用于训练集的 751 人，包含 12,936 张图像
• query文件夹为 750 人在每个摄像头中随机选择一张图像作为query，因此一个人的query最多有 6 个，共有 3,368 张图像
• gt_query文件夹中存储matlab格式的标注文件，用于判断一个query的哪些图片是好的匹配（同一个人不同摄像头的图像）和不好的匹配（同一个人同一个摄像头的图像或非同一个人的图像）
• gt_bbox为手工标注的bounding box，用于判断DPM检测的bounding box是不是一个好的box

命名规则

以 0001_c1s1_000151_01.jpg 为例 1） 0001 表示每个人的标签编号，从0001到1501； 2） c1 表示第一个摄像头(camera1)，共有6个摄像头； 3） s1 表示第一个录像片段(sequece1)，每个摄像机都有数个录像段； 4） 000151 表示 c1s1 的第000151帧图片，视频帧率25fps； 5） 01 表示 c1s1_001051 这一帧上的第1个检测框，由于采用DPM检测器，对于每一帧上的行人可能会框出好几个bbox。00 表示手工标注框

评价指标

Rank1

Rank1是我们在阅读ReID相关论文中最常见的两个指标之一，它的计算如下： 1）首先定义一个指示函数表示 q，i 两张图片是否具有相同标签：

2）那么计算rank1时，只需统计所有查询图片与他们的第一个返回结果是否相同，Q为全体查询图片query的集合， 为q这张查询图片对应的图像库中第 i 个返回结果的标签：

Rank1可以表示图像的第一检索目标的准确率，同样的计算方式也可以获得Rank5，Rank10等指标。

MAP

在ReID中MAP表示所有检索结果的准确率，是常用的两个ReID指标之一。计算过程如下：

1. P：精度，即对某一张probe图片，计算前k个返回结果中与查询图片相同ID的数量比例。
2. AP@n：平均精度，即在前n个返回结果中，只对那些返回结果正确的位置的精度进行平均，即nq为q这张查询图片在前k个返回结果中有多少个正确返回结果。
3. mAP@n：对所有pro图片，均计算其AP，将这些结果求均值。 完整公式如下：