北大&FAIR&自动化所&快手提出基于动量对比学习的层次Transformer—HiT，用于视频文本检索！代码已开源！

CV君

发布于 2021-12-02 19:28:57

5260

发布于 2021-12-02 19:28:57

文章被收录于专栏：我爱计算机视觉我爱计算机视觉

▊ 写在前面

随着互联网上多媒体数据的增长，视频文本检索已经成为一个热门的研究课。用于视频文本学习的Transformer因其良好的性能而受到越来越多的关注。然而，现有的跨模态Transformer方法通常受到两个限制：

1） 不同层具有不同特征的Transformer结构的开发受到了限制 ；

2） 端到端训练机制限制了mini-batch中的负样本交互 。

在本文中，作者提出了一种新的视频文本检索方法，称为层次Transformer（HiT） 。HiT在特征层 和语义层 进行层次化的跨模态对比匹配，实现多视角、综合检索结果。

此外，受MoCo的启发，作者提出动量跨模态对比用于跨模态学习，以实现大规模的负样本动态交互，这有助于生成更精确和更具辨别力的表示。在三大视频文本检索基准数据集上的实验结果表明了该方法的优越性。

▊ 1. 论文和代码地址

HiT: Hierarchical Transformer with Momentum Contrast for Video-Text Retrieval

论文地址：https://arxiv.org/abs/2103.15049

代码地址：未开源

▊ 2. Motivation

跨模态检索已经引起了越来越多的关注，其目的是从不同模态中搜索语义相似的样本。互联网上视频内容的爆炸式增长给视频文本的准确检索带来了巨大的挑战。在本文中，作者重点研究了视频文本检索的学习，也希望能对其他跨模态任务有所启发。

最近的工作表明，Transformer可以学习高级视频表示。现有的跨模态学习方法大致可分为two-stream、single-stream和dual stream结构。

如上图（a）所示，Two stream 结构利用视觉Transformer和文本Transformer独立学习视觉和文本表示，然后引入多模态Transformer来实现跨模态信息交换。Singe-stream 架构，如上图（b）所示，在Transformer模型的初始阶段融合了视觉和文本表示。

但是，这两种体系结构不适用于大规模跨模态检索任务，因为它们需要

的时间复杂度。在本文中作者采用了Dual Stream 的结构，如上图（c）所示，该结构已成为跨模态检索的最新趋势，具有更高的效率，时间复杂度为

基于Dual Stream结构，本文提出了一种新的基于Transformer的视频文本检索方法，即分层Transformer（HiT），主要执行两个任务：

层次交叉模态对比匹配（Hierarchical Cross-modal Contrastive Matching） ：根据transformer架构中不同层的注意力分配特征，不同层的特征集中在不同的视图上。例如，较低层中的特征倾向于使用基本语法表示对更多局部内容进行编码。更高的层捕获更复杂的语义，通常产生更高级别的语义表示。

基于这些特点，作者提出了分层跨模态对比匹配，以实现分层的多视点综合视频文本检索，如上图所示。

动量交叉模态对比度（Momentum Cross-modal Contrast，MCC） ：最近，用于无监督视觉表征学习的自监督方法强调了大规模负样本的必要性。受这些工作的启发，作者认为在跨模态对比学习中，训练过程中大规模的负样本交互作用被忽略了。

在本文中，作者将MoCo引入HiT，以实现大规模负样本相互作用。在MCC中，作者构建了几个内存库来保存一组丰富的负样本表示，这有助于在训练期间扩大负样本交互。然而，如果使用梯度下降法大幅更新的视频和文本编码器来生成存储库的表示，将导致存储库中的表示不一致，从而在很大程度上影响检索性能。因此，需要使用动量更新两种模态的键编码器来保持表示一致性。

▊ 3. Problem Definition

对于视频文本检索任务，M个视频表示为

N个文本表示为

每个视频都有多种专家嵌入，以在多个视图中表示视频，例如运动、外观和音频。每个文本都用英语的自然语言表示。

形式上，视频文本检索方法的目标是获得两个query encoders

和

其中f和g分别表示视频域和文本域，包含了L个公共嵌入空间。

在公共嵌入空间中，交叉模态样本由一系列紧凑的嵌入表示。同时，在公共嵌入空间中，相似交叉模态样本之间的距离小于不同交叉模态样本之间的距离。该约束可表述如下：

d\left(f\left(V_{i}\right), g\left(T_{i}\right)\right) \leq d\left(f\left(V_{i}\right), g\left(T_{j}\right)\right) \text { s.t. } i \neq j

其中

为样本间的距离。

▊ 4. 方法

上图展示了用于视频文本检索的分层Transformer（HiT）的结构。对于视频编码，有查询视频编码器 Query Video Encoder和键视频编码器 Key Video Encoder，两个视频编码器使用相同的结构。

对于文本编码，有采用相同结构的查询文本编码 Query Text Encoder和键文本编码 Key Text Encoder。其中，键编码器用于利用动量交叉模态对比（MCC）进行更新学习。

4.1. Video Encoders

视频编码器，包括查询和键视频编码器，设计为基于Transformer的结构。作者将原始视觉特征转换为离散的token序列作为输入。

为此，作者采用了一系列预训练的视频相关特征，包括运动、外观和音频特征，以获得视觉嵌入

作为输入。视觉段

和视觉位置嵌入

需要分别指示输入特征的真实长度和位置信息。

此外，作者还加入了专家嵌入E，最终视觉输入如下所示：

\mathbf{V}=\mathbf{F}_{v}+\mathbf{M}_{v}+\mathbf{P}_{v}+\mathbf{E}

Video Feature-level Feature

以前工作表明，在基于Transformer的结构中，较低层中的特征捕获描述基本语法信息的低级模式。作者在查询视频编码器和键视频编码器的第一层中获得这些视觉token特征。然后对它们进行平均池化和非线性投影，得到

和

Video Semantic-level Feature

基于transformer的结构中的更高层特征捕获了更复杂的语义表示。作者对最后一层中的上下文token进行平均池化，以表示语义级别的特征，然后用两个投影头进行非线性变换得到

4.2. Text Encoders

作者使用Bert base uncased模型作为文本编码器并对其进行微调。值得注意的是，视频特征是由预训练的深度神经网络生成的，并且已经具有更高级别的语义表示能力。而文本模态与视频模态有着不同的内在复杂性，需要更多的Transformer块来建模词与词之间的语义关系。因此，文本编码器比视频编码器更深。

文本中的每个单词将被嵌入到一个单词嵌入向量中，得到Token Embedding

[CLS]和[END]表示第一个和最后一个位置。文本段Mask用来指示输入序列的实际长度。文本位置嵌入

用于表示文本编码器中输入序列的单词索引。文本编码器的最终输入定义为：

\mathbf{T}=\mathbf{F}_{t}+\mathbf{M}_{t}+\mathbf{P}_{t}

Text Word-level Feature

作者从查询文本编码器和键字文本编码器的第一层获取词级特征。与视频特征级特征的获取类似，作者执行平均池化，并利用两个投影头进行非线性变换，获得

Text Semantic-level Feature

来自最后一层的token特征的平均池化称为文本语义特征。这些上下文token表示了给定文本的高层含义。使用两个投影头进行非线性变换以获得

4.3. Momentum Cross-modal Contrast

在大多数实现方法中，端到端训练机制在很大程度上限制了负样本交互。为了使大规模负样本相互作用产生更精确和更具区别性的表征，作者提出了动量交叉模态对比（MCC） 。并将四个内存库构建为队列，用于动态保存负样本表示。

Text Memory Banks

文本内存库为两个队列（包括用于保存键文本字级特征 （key text word-level features）的和用于保存键文本语义级特征 （key text semantic-level features）的）

在每次训练迭代中，由键文本编码器编码的当前mini-batch的键文本表示

将排入

队列，最早的mini-batch将退出队列。

中的键文本表示将用于计算查询视频编码器中当前mini-batch视频表示

的损失函数。

Video Memory Banks

类似地，作者构建了用于保存键视频特征级特征 的

和用于保存键视频语义级特征 的

此外，为了保持内存库中的表示一致性，需要两个执行动量更新的键编码器。将

和

表示为查询和键视频编码器的参数。

和

是查询和键文本编码器的参数。

和

的动量更新公式为：

\begin{aligned} \theta_{k}^{v} & \leftarrow m \theta_{k}^{v}+(1-m) \theta_{q}^{v} \\ \theta_{k}^{t} & \leftarrow m \theta_{k}^{t}+(1-m) \theta_{q}^{t} \end{aligned}

是动量系数，它是一个相对较大的值。在本文中，作者设定为m=0.9999。参数

和

通过反向传播更新。动量更新使

和

的更新比和更平滑。因此，尽管内存库中的键表示由不同的编码器编码，但这些编码器之间的差异将很小。

4.4. Hierarchical Cross-modal Contrastive Matching

作者提出了分层跨模态对比匹配的视频文本检索学习。具体地说，作者利用视频特征级特征和文本词级特征进行特征级对比匹配 ，视频语义级特征和文本语义级特征用于语义级对比匹配 。

Feature-level Contrastive Matching

对于视频文本检索，作者通过计算

之间的余弦相似度得到正样本相似度

然后，作者通过计算

和

中的所有键文本表示之间的余弦相似性得到负样本相似度

因此，就得到了

其中

是

的队列大小。类似地，对于使用文本检索视频，可以得到

其中

是

的队列大小。然后使用InfoNCE来计算损失函数：

\mathcal{L}_{1}=-\log \frac{\exp \left(s^{v t+} / \gamma\right)}{\sum_{i=1}^{1+K_{t}} \exp \left(s_{i}^{v t} / \gamma\right)}-\log \frac{\exp \left(s^{t v+} / \gamma\right)}{\sum_{i=1}^{1+K_{v}} \exp \left(s_{i}^{t v} / \gamma\right)}

其中γ是温度超参数。

Semantic-level Contrastive Matching

以同样的方式，可以实现了语义级别的正样本相似性和负样本相似性：

语义级对比匹配的目标函数定义为：

\mathcal{L}_{2}=-\log \frac{\exp \left(c_{v t+} / \gamma\right)}{\sum_{i=1}^{1+K_{t}} \exp \left(c_{i}^{v t} / \gamma\right)}-\log \frac{\exp \left(c_{t v+} / \gamma\right)}{\sum_{i=1}^{1+K_{v}} \exp \left(c_{i}^{t v} / \gamma\right)}

最终的损失函数为：

\mathcal{L}=\alpha \mathcal{L}_{1}+\beta \mathcal{L}_{2}

其中α和β是平衡两个目标函数的两个超参数。作者在实验中将α和β都设为1。

▊ 5.实验

5.1. Compare to state of the art

上表展示了本文方法在MSR-VTT数据集上和SOTA方法的对比。

上表展示了本文方法在ActivityNet数据集上和SOTA方法的对比。

上表展示了本文方法在 LSMDC数据集上和SOTA方法的对比。

5.2. Ablation Study

Hierarchical Cross-modal Matching

如方法部分所述，作者使用第一层的token特征进行特征级对比匹配，而最后一层的token特征用于语义级对比匹配。在本节中，作者设计了几个变体来验证层次交叉模态对比匹配的影响，结果如上表所示。可以看出，使用更多的层次进行对比匹配能够获得明显的性能改进。

Momentum Cross-modal Contrast

上表展示了不同内存库列表长度实验结果，可以看出，随着队列规模的增长，检索性能在增长后略有下降，这可能是由于一些正样本被误分类为负样本所致。 Momentum Encoders

在本节中，作者减少了两个动量编码器，通过评估检索性能来探索它们在保持表示一致性方面的有效性。可以看出，当不使用动量编码器时，检索性能下降。

Expert Utilization

上表展示了不同损失函数的实验结果，可以看出InfoNCE能够达到更好的实验结果。

Feature Aggregation

上表展示了不同聚合函数的实验结果，可以看出平均池化能够达到更好的实验结果。

▊ 6. 总结

本文主要做了两方面的工作：

1）在层次交叉模态对比匹配中，作者证明了利用Transformer中的特征层次可以获得良好的性能增益 。

2）动量跨模态对比表明，跨模态学习可以受益于大规模负样本学习 。

作者在三大视频文本检索基准数据集上进行了广泛的实验，实验结果表明了该方法的优越性。

本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。

原始发表：2021-11-24，如有侵权请联系 cloudcommunity@tencent.com 删除

图像处理

本文分享自我爱计算机视觉微信公众号，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

图像处理

登录后参与评论

0 条评论

热度