行人重识别近几年获得了在测试结果上的大幅提升,甚至超过了人的分辨能力,但是我们在实际应用上仍有很多待解决的问题。在本文中,我们take a step back, 提出了一些问题和潜在的解决方案,主要以我们reler组的尝试为主,包括大家比较熟知的 PCB / HHL/ PUL/ SPGAN/ DG-Net等工作,抛砖引玉。 希望能为未来这个领域的发展提供一些新的视野。
由于篇幅,我们只能展示有限的工作,我们respect所有在这个领域作出贡献的老师同学们。感谢大家!这篇文章中提到多数文章的代码,我们都开源在github了,如果没有找到,可以联系 @郑哲东 或者联系对应作者来提供。感谢大家的支持和关注!
---------------更新-------------
B站讲解视频: 【极市】郑哲东:从行人重识别到无人机定位_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
行人重识别任务就是一个跨摄像头检索的任务。这个任务的出现是由于 日益提升的公共安全需求 和 在公共区域的大型摄像头网络 (如迪士尼乐园/商场/大学校园)。
首要的难度是在于不同摄像头下,由于视角的差异所引入的appearance变化。同时,也需要一些细粒度的信息来区分不同人。
Reference: Zheng L, Bie Z, Sun Y, et al. Mars: A video benchmark for large-scale person re-identification[C]//European Conference on Computer Vision. Springer, Cham, 2016: 868-884.
近几年,supervised person re-id 一直在提升结果。
今年我们组也在CVPR 2020 Workshop的比赛中,在车辆重识别赛道拿到了第一名。我们发现仍有一些问题没有被解决,包括训练数据等等方面。
目前已经有了很多数据集,但是相比ImageNet 一百万的训练数据,目前reID的数据集都还是相对小。
Reference : Zheng, Z., Jiang, M., Wang, Z., Wang, J., Bai, Z., Zhang, X., Yu, X., Tan, X., Yang, Y., Wen, S. and Ding, E., 2020. Going beyond real data: A robust visual representation for vehicle re-identification. InProceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops(pp. 598-599).
Reference: NEU-Gou/awesome-reid-dataset
Reference: Zheng, Z., Yang, X., Yu, Z., Zheng, L., Yang, Y., & Kautz, J. (2019). Joint discriminative and generative learning for person re-identification. InProceedings of the IEEE conference on computer vision and pattern recognition(pp. 2138-2147).
Code: NVlabs/DG-Net
2. 除了训练数据,大家最关心的就是训练的有效性了。如何挖掘数据背后的故事,特别是局部细节。
3. 在行人重识别的精准度有了长足发展之后,效率也是一个必须考虑的方面。
4. 如果标注很有限,该怎么学习呢?
5. 训练集与测试集的采集方式不同,就导致了domain gap。这也是在实际落地reID遇到的最大问题。
6.最后,在非限制场景中,往往会遇到遮挡等等环境问题。如何学习一个鲁棒的行人表示?
Reference: Zheng, Z. and Yang, Y., 2020. Person Re-identification in the 3D Space.arXiv preprint arXiv:2006.04569.
Code: layumi/person-reid-3d
目前reID任务已经有了长足的发展,未来可能的方向,包含 鲁棒性,快速学习,在线学习等等。基本还是以落地实用 为导向。
感谢大家,我们提出了一些问题和潜在的解决方案,主要以我们reler组的尝试为主,抛砖引玉。 希望我们微小的工作能为未来这个领域的发展提供一些新的视野。
由于篇幅,我们只能展示有限的工作,我们respect所有在这个领域作出贡献的老师同学们。感谢大家!
最后感谢看完,欢迎关注我们实验室的知乎专栏 和我的其他文章,每周会不定时更新~
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。