[CVPR 2022 | 论文简读] 用于动作检测的多尺度时间ConvTransformer

作者 | 汪逢生 编辑 | 赵晏浠

论文题目

MS-TCT: Multi-Scale Temporal ConvTransformer for Action Detection

摘要

动作检测是一项重要且具有挑战性的任务，尤其是在标记密集的未剪辑视频数据集中。这些数据由复杂的时间关系组成，包括复合或共同发生的动作。要在这些复杂的环境中检测动作，有效地捕获短期和长期时间信息至关重要。为此，作者提出了一种用于动作检测的新型“ConvTransformer”网络：MS-TCT。该网络由三个主要组件组成：时间编码器模块，它以多个时间分辨率探索全局和局部时间关系；时间尺度混合器模块，它有效地融合多尺度特征，创建统一的特征表示；分类模块，它在时间上学习每个动作实例的中心相对位置，并预测帧级分类分数。作者在多个具有挑战性的数据集（如Charades、TSU和MultiTHUMOS）上的实验结果验证了所提方法的有效性，该方法在所有三个数据集上都优于最先进的方法。

论文链接

https://arxiv.org/abs/2112.03902