【视频分割】开源 | 基于查询自适应Transformer的Few-Shot时间动作定位，性能SOTA！

获取完整原文和代码，公众号回复：10090931855

论文地址： http://arxiv.org/pdf/2110.10552v1.pdf

代码： 公众号回复：10090931855

来源： University of Surrey

论文名称：Few-Shot Temporal Action Localization with Query Adaptive Transformer

原文作者：Sauradip Nag

内容提要

现有的时间动作定位(TAL)工作依赖于大量具有详尽的片段级注释的训练视频，从而阻止它们扩展到新的类。作为这一问题的解决方案，few-shot TAL (FS-TAL) 以少到一个单一的视频，旨在调整一个模型，以适应一个新的类。现有的FS-TAL方法假设新类的训练视频经过修剪。然而，这种假设在未修剪的视频进行捕获是完全不合理的，而且也忽略了包含重要的背景线索的视频片段的前景动作分割。在本研究中，我们首先提出一种新的FS-TAL设置，即使用未修剪的训练视频。此外，还提出了一种新的FS-TAL模型，该模型最大限度地实现了训练类的知识转移，同时使该模型能够动态地适应新类和该类的每个视频。这是通过在模型中引入一个查询自适应Transformer来实现的。在两个动作定位基准上的大量实验表明，我们的方法在单域和跨域场景下都能显著优于所有最新的替代方法。

主要框架及实验结果

声明：文章来自于网络，仅用于学习分享，版权归原作者所有，侵权请加上文微信联系删除。