时空建模新文解读：用于高效视频理解的TSM

SIGAI特约作者

Fisher Yu@Oulu

CV在读博士

研究方向：情感计算

接着之前的

《浅谈动作识别TSN，TRN，ECO》

，我们来谈谈最近 MIT和IBM Watson 的新文 Temporal Shift Module（TSM）[1]。

图1. Something-SomethingV1 数据集上的个算法性能对比

看看上图，文章的主要贡献一目了然：

1. 对比主流的轻量级在线视频理解ECO系列， TSM系列在参数量少三倍的情况下，性能仍然超越ECO系列

2. 另外文章的TSM模块的实现非常简洁而且硬件友好：通过在2D CNN中位移 temporal 维度上的 channels，来实现时间上的信息交互。故不需要添加任何额外参数，且能捕捉Long-term 时空上下文关系。

Related Work:

大概过一下之前的几个重要工作（也是本文性能对比的主要几个state-of-the-art）:

1. TSN[2]：视频动作/行为识别的基本框架，将视频帧下采样（分成K个Segment，各取一帧）后接2D CNN对各帧进行处理+fusion

2. TRN[3]：对视频下采样出来的 frames 的deep feature，使用 MLP 来融合，建立帧间temporal context 联系。最后将多级（不同采样率）出来的结果进行再一步融合，更好表征short-term 和 long-term 关系。

3. ECO[4]系列：

ECO-Lite：轻量级网络，使用 TSN的中间层 feature maps，来组成 feature clips，然后使用3D CNN来融合时空特征。

ECOen-Lite：在ECO-Lite基础上，concat上帧间fusion后的 TSN 特征，再做决策。

4. NL I3D+GCN[5]： @Xiaolong Wang大佬ECCV2018的工作。使用 non-local I3D来捕获long-range时空特征，使用 space-time region graphs 来获取物体区域间的关联及时空变化。

故上述性能特别高的 ECO系列 和 NL I3D+GCN，都是或多或少都是使用了3D卷积或者伪3D卷积运算，故在大规模在线视频理解上用，运算量和效率还是有一定瓶颈。

算法框架

启发

为了解决上述的3D卷积运算量问题，作者提出了可嵌入到2D CNN中的 TSM 模块。作者发现：一般的卷积操作，可以分解成 位移shift + 权值叠加 multiply-accumulate 两个过程。

比如说对一个1D vector X 进行 kernel size=3 的卷积操作 Y = Conv(W; X) 可以写成：

yi=w1Xi-1+w2Xi+w3Xi+1

故分解后的两个操作分别为：

1. 位移（基本不消耗计算资源，常规地址偏移指针操作）

Xi-1=Xi-1，Xi=Xi，Xi+1=Xi+1

2. 权值叠加

Y=w1X-1+w2X+w3X+1

故作者认为，设计TSM模块时候，尽可能多使用位移操作（几乎0计算量），把权值叠加操作放到2D CNN本身的卷积里去做，这样就可在不加任何参数计算量基础上，实现更多功能。

TSM模块

那么问题来了，怎么在时空建模的视频理解任务里，用好这个位移操作呢？

图2. Temporal shift module

上图中最左边的二维矩阵是Ti时刻 tensor中 temporal和 channel维度（不需要考虑 batch 和 spatial 维度先）; 中间是通过STM模块位移后的的矩阵，可见前两个channel向前位移一步来表征Ti-1的 feature maps，而第三、四个channel 则向后位移一步来表征Ti+1，最后位移后的空缺 padding补零；右边的与中间的类似，不过是 circulant 方式来 padding，后面实验会对比两种不同padding方式的性能差异。

这里就涉及一个超参：究竟多少比例的channel进行 temporal shift 才比较合适呢？

作者也考虑到了这个问题，因为如果太多channel进行时间位移，那么原始固定时刻帧的 2D CNN空间特征就会受到损害，但如果太少channel进行时间位移，那么网络又会因temporal上下文交互太少而学不到准确的temporal representation。

为了解决这个问题，作者提出了残差TSM，这样就可以整合位移前后的特征。

图3. 原地TSM与残差TSM

最后我们来看看用作动作/行为识别的整个框架：

图4. TSM整体框架

文中使用的backbone是ResNet-50，且在每个 residual unit 后都会加入 残差TSM 模块，当用2D 3x3的卷积时，每次插入TSM模块后的时间感受野都会扩大2，故整个框架最后的时间感受野会很大，足以进行复杂的时空建模。

实验结果

1. 首先在经典的动作/行为识别数据集上，与纯2D CNN框架的 TSN baseline 进行对比。由于两者都使用相同的backbone网络和下采样方式，故唯一的不同就是有无加 TSM 模块。从表中可见，加入TSM后，特别在 复杂行为 Something-Something 集上性能有极大的提升。

图5. TSM与TSN性能对比

2. 下图是与 TSN, ECO, NL I3D+GCN 系列的性能综合对比，可见TSM即使在输入只有 8 frames的情况下，用最少的参数和浮点运算次数，来取得最高的识别性能，确实BT~~

图6. Something-Something集上 识别性能与速度性能对比

3. 从下面两图可见，使用了Residual shift后，网络变得更加稳定，对 shifted channel数比例的依赖更小。而 zero padding 的性能明显比 环形 padding 要好，因为后者的话会把 temporal 的顺序打乱，导致学出来的时间特征变混乱。

图7. 残差/原地TSM及channel shift比例的超参实验

图8. 不同Padding方式的性能对比

总结及展望

文章 first 提出了 temporal shift 这个视角（感觉像是搞硬件底层或芯片的人来跨界融合搞算法一样~~），通过人为地调度 temporal channel 的顺序让网络学到其交互的时空特征，非常地高效实用。

未来的可能性能否探索3D卷积与channel shift之间的新可能性？Temporal 维度multi-scale shifted 是否更有效？channel shift 的思想能否进一步放在其他复杂任务里，比如4D的任务？

Reference:

[1]Ji Lin, Temporal Shift Module for Efficient Video Understanding

[2] Limin Wang, Temporal Segment Networks: Towards Good Practices for Deep Action Recognition, ECCV2016

[3]Bolei Zhou, Temporal Relational Reasoning in Videos，ECCV2018

[4]Mohammadreza Zolfaghari, ECO: Efficient Convolutional Network for Online Video Understanding，ECCV2018

[5] Xiaolong Wang, Videos as Space-Time Region Graphs, ECCV2018

SIGAI推荐

知识库论文解读视频

知识库小视频，通过论文解读，源码解析（正在加强）、源码分享等几个方面的努力，切切实实让你搞懂一篇论文。

目前上线了这些，更多内容将在节后与大家见面。

机器学习机器学习中的目标函数总结支持向量机1-从线性分类器到最大化分类间隔支持向量机2-拉格朗日对偶支持向量机3-线性不可分的问题

支持向量机4-核映射与核函数支持向量机5-KKT条件的使用

深度学习为什么需要深度学习

卷积神经网络的压缩和加速系列1:网络裁枝原理2:网络裁枝论文讲解3、低秩估计的基本原理4:网络压缩量化之低秩估计相关实践5:网络压缩量化之参数量化原理，聚类编码，参数定点化6:网络压缩量化之参数量化相关实践7、网络压缩量化之模型蒸馏原理详解8:网络压缩量化之模型蒸馏相关实践Generative Adversarial Nets论文解读【含代码】

计算机视觉基于CNN的通用物体检测方法【代码准备中】1. 简介2:RCNN3:Fast-RCNN4:Faster-RCNN5、YOLO16: YOLO27: YOLO3

基于深度学习的人脸检测方法1. CascadeCNN方法原理与实践详解2. MTCNN方法原理与实践详解

强化学习Playing Atari with Deep Reinforcement Learning论文解读Human-level control through deep reinforcement learning论文解读【含代码】

...更多优质视频和源码，马不停蹄赶来中