首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

CVPR:深度无监督跟踪

本文提出了一种无监督的视觉跟踪方法。与使用大量带注释数据进行监督学习的现有方法不同,本文的CNN模型是在无监督的大规模无标签视频上进行训练的。动机是,强大的跟踪器在向前和向后预测中均应有效(即,跟踪器可以在连续帧中向前定位目标对象,并在第一个帧中回溯到其初始位置)。在Siameses相关过滤器网络上构建框架,该网络使用未标记的原始视频进行训练。同时提出了一种多帧验证方法和一种对成本敏感的损失,以促进无监督学习。由于没有bells & whistles,本文的无监督跟踪器可达到完全受监督的在训练过程中需要完整且准确的标签的跟踪器的基线精度。此外,无监督框架在利用未标记或标记较弱的数据以进一步提高跟踪准确性方面具有潜力。

03

CVPR 2023--CiteTracker:关联图像和文本以进行视觉跟踪

现有的视觉跟踪方法通常以图像块作为目标的参考来进行跟踪。然而,单个图像块无法提供目标对象的完整和精确的概念,因为图像的抽象能力有限并且可能是模糊的,这使得跟踪变化剧烈的目标变得困难。在本文中,我们提出了 CiteTracker,通过连接图像和文本来增强视觉跟踪中的目标建模和推理。具体来说,我们开发了一个文本生成模块,将目标图像块转换为包含其类别和属性信息的描述性文本,为目标提供全面的参考点。此外,还设计了动态描述模块来适应目标变化,以实现更有效的目标表示。然后,我们使用基于注意力的相关模块将目标描述和搜索图像关联起来,以生成目标状态参考的相关特征。在五个不同的数据集上进行了广泛的实验来评估所提出的算法,并且相对于最先进的方法的良好性能证明了所提出的跟踪方法的有效性。源代码和训练模型将在 https://github.com/NorahGreen/CiteTracker 发布。

01

学习用于视觉跟踪的深度紧凑图像表示

在本文中,我们研究了跟踪可能非常复杂背景的视频中运动物体轨迹的挑战性问题。与大多数仅在线学习跟踪对象外观的现有跟踪器相比,我们采用不同的方法,受深度学习架构的最新进展的启发,更加强调(无监督)特征学习问题。具体来说,通过使用辅助自然图像,我们离线训练堆叠去噪自动编码器,以学习对变化更加鲁棒的通用图像特征。然后是从离线培训到在线跟踪过程的知识转移。在线跟踪涉及分类神经网络,该分类神经网络由训练的自动编码器的编码器部分构成,作为特征提取器和附加分类层。可以进一步调整特征提取器和分类器以适应移动物体的外观变化。与一些具有挑战性的基准视频序列的最先进的跟踪器进行比较表明,当我们的跟踪器的MATLAB实现与适度的图形处理一起使用时,我们的深度学习跟踪器更准确,同时保持低计算成本和实时性能单位(GPU)。

05
领券