CVPR2021-《T2VLAD》-浙大&百度&悉尼科技提出用局部全局对齐来进行视频文本检索！效果优于MMT！

CV君

发布于 2021-12-02 17:29:18

1.1K0

发布于 2021-12-02 17:29:18

▊ 写在前面

文本视频检索是一项具有挑战性的任务，其目的是基于自然语言描述搜索相关的视频内容。这个问题的关键是在联合嵌入空间中测量文本视频的相似性。然而，大多数现有的方法只考虑全局交叉模态相似性，忽略局部细节。有些作品通过跨模态局部匹配和推理结合了局部比较。这些复杂的操作会带来巨大的计算量。

在本文中，作者设计了一种有效的全局-局部对齐方法 。多模态视频序列和文本特征通过一组共享语义中心自适应聚合。计算同一中心内的视频特征和文本特征之间的局部交叉模态相似性。这种设计实现了细致的局部比较，并降低了每个文本-视频对之间交互的计算成本。

此外，作者还提出了一种全局对齐方法，以提供与局部角度互补的全局跨模态测量。全局聚合的视觉特征还提供了额外的监督，这对于优化可学习语义中心是必不可少的。作者在三个标准文本视频检索基准上实现了一致的改进，并以明显的优势超越了SOTA水平。

▊ 1. 论文和代码地址

T2VLAD: Global-Local Sequence Alignment for Text-Video Retrieval

论文地址：https://arxiv.org/abs/2104.10054

代码地址：未开源

▊ 2. Motivation

视频由于其丰富的多模态内容和时间动态性而成为信息量最大的媒体之一。文本视频检索系统使人们能够通过简单自然的交互方式搜索视频。实现视频跨模态检索的一个方向是基于度量学习的文本视频相似性度量。

在这种情况下，通常的做法是将描述和视频都嵌入到联合嵌入空间中。大多数现有作品是将描述和视频内容编码为全局表示，并从全局角度比较它们的相似性。这些方法侧重于学习有效的语言和视频表示，但忽视了细粒度语义对齐。

其他一些工作利用复杂的跨模态匹配操作来利用局部细节并对齐多个语义线索。他们手动设计了三个级别的语义，包括事件、动作和实体。然而，由于成对匹配操作代价昂贵，这些方法需要较高的计算成本 。

在本文中，作者提出了一种有效的文本-视频检索的全局-局部序列对齐方法。从局部角度 来看，作者的目标是利用一些可学习的语义主题来共同总结文本和视频。与将文本描述解析为分层语义角色图的方法不同，作者希望这些语义主题能够在端到端训练期间被发现并自动学习。

作者进一步共享文本主题和视频主题的权重，以提供联合主题表示学习，减少文本和视频数据之间的语义差距。为了实现局部对齐，作者最小化了分组文本特征和相同主题中相应的分组视频特征之间的距离。

从全局角度来看，多模态视频序列在每个模态内时间维度上进行聚合。在聚合的视频特征和全局文本特征之间计算全局相似性。全局对齐不仅作为局部对齐的补充度量，而且还为可学习的语义主题提供额外的监督。

▊ 3. 方法

3.1. Overview

在本文中，作者提出了用于跨模态检索的Text-to-Video VLAD （T2VLAD ），它从全局和局部角度对齐文本和视频特征。给定一对文本-视频，模型的目标是将其编码到一个联合特征空间来度量相似度。如上图所示，作者利用了多个专家提取对应于每个模态的局部视频特征，利用BERT模型提取上下文词特征。

然后，作者将来自不同专家的所有视频特征送入到一个自注意力层，以增强基于跨模态关系的特征。输出的视频特征和文本特征被分配到一组聚类中心，这些聚类中心在文本编码和视频编码之间共享。

作者根据指定聚合局部特征，并生成视频和文本的局部对齐特征，以计算局部视频文本相似性。为了对局部对齐提供额外监督并引入补充信息，作者还制定了一个全局对齐方案 。

3.2. Video Representations

与图像数据相比，视频更复杂，包含更丰富的信息，如动作动、音频和语音。为了在文本视频检索任务中充分利用视频数据中的多模态信息，作者利用了多个专家对原始视频进行编码。

具体地说，给定一个输入视频，利用N个专家

来提取多模态特征。对每个专家进行特定任务的预训练，以获取相应模态的特定知识。本文的目标是实现文本视频检索的局部和全局对齐，因此作者从每个时间段提取特征。

对于每个专家，作者获得一组段级视频表示，即

其中T是视频段数，xi是视频的第t段。作者利用以下两个操作进一步处理分段级的多专家特征，以进行后续的全局-局部对齐。

global expert features for global alignment

全局专家特征的目标是为每个专家执行时间聚合，以生成用于全局对齐的全局专家特征。目前存在一些现有的时间聚合操作来获得全局向量，例如，CNN，Transformer和NetVLAD。

为简单起见，作者在不使用其他参数的情况下利用最大池化操作。这个简单的操作在实验中效果很好。将时间聚集的特征投影到同一维度以进行后续聚类。然后，作者通过Self-Gating机制增强了这些特征。因此，获得了一组全局专家特征

，其中是专家的数量。

fuse multi-expert features for local alignment

作者首先为每个专家使用一个全连接层，将不同的专家特征投影到C维嵌入空间。然后，将来自所有专家的特征concat起来，生成局部特征，

其中M表示来自所有专家的特征数量。

然后，作者进一步研究了多模态特征与自注意机制之间的关系。与MMT相比，有两点不同：

1）本文的方法只使用一层Transformer编码器，因此引入的参数更少，计算效率更高；

2）本文的目标是保持输入特征的局部性。此过程的输出特征

与输入特征具有相同的长度。

3.3. Text Representations

BERT模型在语言特征编码方面显示了强大的泛化能力，因此作者利用了预训练的BERT模型。BERT模型为每个文本输入提取上下文单词嵌入。输入句子被标记并填充为固定长度的序列，然后输入到BERT模型中。

此外，作者添加了特殊token，如“[CLS]”和“[SEP]”，以指示句子的开始和结束。特征可以计算为，

其中

是BERT模型，S是输入token。

其中B是序列长度。

BERT模型

与框架中的其他模块以端到端的方式进行了优化。它提供了强大的文本建模能力。与视频编码不同，文本的全局特征与后续T2VLAD模块的局部表示联合提取。

3.4. Local Alignment

在上述文本编码和视频编码之后，作者为每个输入文本视频对获得B个局部上下文单词嵌入

和M个视频局部特征。

这些特征包含有关输入句子和视频的丰富信息。

然而，这两类特征之间的直接比较是不可行的，因为它们没有很好地对齐。此外，局部视频特征来自不同的模态。域gap增加了局部对齐的难度。

直观地说，如果能够选择并聚合同一主题的局部文本特征和视频特征，然后在比较他们的相似度，测量将变得更加精确。

基于这一思想，作者提出了文本到视频VLAD（T2VLAD） ，将多个模态中的局部特征与共享中心进行聚类。这些中心提供共享的语义主题，可以弥合不同模态之间的差距。这些中心可以与整个网络一起学习，并且可以动态执行特征聚类。

具体来说，作者学习了K+1个C维共享聚类中心。

这里的K个聚类中心用于局部对齐，附加的一个中心用于删除背景信息。然后使用点积计算每个局部特征和聚类中心之间的相似性。对于从视频特征的编码，给定一个局部视频特征，

它对第j个聚类的分配权重可以生成如下：

a_{i, j}=\frac{\exp \left(\boldsymbol{z}_{i}^{\text {video }} \boldsymbol{c}_{j}^{\top}+b_{j}\right)}{\sum_{k=1}^{K+1} \exp \left(\boldsymbol{z}_{i}^{\text {video }} \boldsymbol{c}_{k}^{\top}+b_{k}\right)}

其中是一个可学习的偏置项。在实践中，可以用BN代替偏差项，该层通过两个内置的可学习参数标准化和移位激活。然后得到每个中心上的聚类残差特征：

\boldsymbol{g}_{j}^{\text {video }}=\operatorname{normalize}\left(\sum_{i=1}^{M} a_{i, j}\left(\boldsymbol{z}_{i}^{\text {video }}-\boldsymbol{c}_{j}^{\prime}\right)\right)

其中，和具有相同尺寸的可训练权重，“normalize”表示ℓ2-标准化操作。然后就可以获得一组聚合的视频特征。

的每一个特征都是视频的局部特征对齐的。背景中心的聚合特征已被丢弃，并且不涉及以下相似度的计算。

可以使用共享聚类中心，以相同的方式计算聚合的文本特征：

\boldsymbol{g}_{j}^{\text {text }}=\operatorname{normalize}\left(\sum_{i=1}^{B} \frac{\exp \left(\boldsymbol{z}_{i}^{\text {text }} \boldsymbol{c}_{j}^{\top}+b_{j}\right)}{\sum_{k=1}^{K+1} \exp \left(\boldsymbol{z}_{i}^{\text {text }} \boldsymbol{c}_{k}^{\top}+b_{k}\right)}\left(\boldsymbol{z}_{i}^{\text {text }}-\boldsymbol{c}_{j}^{\prime}\right)\right)

其中，