最近终于有了一篇的顶会像样的RGBD tracking的论文了: ICCV2021: DepthTrack: Unveiling the Power of RGBD Tracking Github: https://github.com/xiaozai/DeT
这边看完就随手记录一下关键的部分:主要是创建了个大规模的RGBD tracking benchmark: DepthTrack (有数据集之后才能促进算法的研究),当然随之也搞了个baseline tracker—DeT, 这也是现在搞dataset contribution的基本套路。
新创建的数据集DepthTrack比以往的RGBD Tracking的数据集具有以下的特点:
数据集为了对RGB Tracker更具有挑战性,也为了突出Depth信息真的有助于RGBD Tracker的学习,部分序列会针对RGB Tracker中还存在的几方面的属性进行收集。比如黑暗场景,目标和背景颜色纹理相似,形变物体,相似物体。确实,这才是多模态数据提出来更主要的意义。(据我了解,轻微的遮挡对于transformer-based 的RGB Tracker已经不是太大问题了)
先放几张VOT RGBD2021的结果图,上边的是在公开集CDTB上测出来的,下面是选出在公开集上的前三名和组委会自己选的几个往年好的tracker在隐藏集上(也就是现在的DepthTrack的测试集)的性能,这里面的算法多半只是把depth信息当做一个sidekick,但是会用很多个tracker一起融合出结果,比较sophisticated
然后是论文里面的baseline DeT的性能: 主要看Sequence-based的评测就好了,这个是和上面用的一样的方法。但是还是有点尴尬,似乎不及上面的冠军,也只能排个第二,但是毕竟人家只是一个simple baseline,还有发挥的空间。
先放几张框架图
具体代码和原初ATOM和DIMP代码是差不多的。就是增加了对depth image的backbone特征提取,在代码用的color image和rgb image合并成一个6通道的输入到backbone里面,然后merge两个模态下的reference和test特征,具体就是max或者mean或者mul,这几个操作都是element-wise的,所以得到的tensor就是和原初ATOM和DIMP的是一样的,所以送入后面进行iou预测过程就都一样了,整体改动是比较容易的。基本还是延续了benckmark+baseline=paper的模式,说明还是有很大提升空间的。具体请看ltr/models/bbreg/atom.py
文件即可清楚
说到这个的评估,不得不说到CDTB(也就是VOT RGBD2019和VOT RGBD2020的公开集,当时也没有隐藏集,所以冠军也是通过在其上评估排名得到的),像RGBD都是one pass evaluation的(也就是rgbd-unsupervised),所以可以先跑完再用toolkit进行评估。 我评估出来和论文里面的值是一模一样的:
我自己跑出来的结果:
评估很简单,只要做好下面几方面:
下载好CDTB数据集(不会下的可以去看我的这篇博客,把它放在你创建的workspace下的sequences文件夹里面,或者直接去这里面获取下载链接)
从上面的github里面获得在CDTB上的结果,把它放在你创建的workspace下的results文件夹里下
编写trackers.ini
,内容如下(command任意不用管):
[DeT_ATOM_MC] # <tracker-name>
protocol = traxpython
command = jjjjj
[DeT_ATOM_Max] # <tracker-name>
protocol = traxpython
command = jjjjj
[DeT_ATOM_Mean] # <tracker-name>
protocol = traxpython
command = jjjjj
[DeT_DiMP50_DO] # <tracker-name>
protocol = traxpython
command = jjjjj
[DeT_DiMP50_MC] # <tracker-name>
protocol = traxpython
command = jjjjj
[DeT_DiMP50_Max] # <tracker-name>
protocol = traxpython
command = jjjjj
[DeT_DiMP50_Mean] # <tracker-name>
protocol = traxpython
command = jjjjj
[DiMP50] # <tracker-name>
protocol = traxpython
command = jjjjj
然后运行vot analysis --workspace <your_workspace_dir> DeT_ATOM_MC DeT_ATOM_Max DeT_ATOM_Mean DeT_DiMP50_DO DeT_DiMP50_MC DeT_DiMP50_Max DeT_DiMP50_Mean DiMP50 --format html
,就可以出结果了。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。