不同视角构造cycle-consistency,降低视频标注成本

SIGAI特约作者

Fisher Yu

CV在读博士

研究方向:情感计算

导言

两篇文章从不同视角来构造cycle-consistency约束,目标都是为了在不需要标注label情况下,学到更好的视频representation,这也是解决在real-world中大规模无标注视频数据的低利用率及高昂的frame-level人工标注成本等问题。

两篇文章题目惊人的相似,但是切入点和潜在应用却完全不同:

《Temporal Cycle-Consistency Learning》[1],出自谷歌DeepMind,是上一篇《Time-Contrastive Networks: Self-Supervised Learning from Video》[2]的拓展升级版。在文中对于temporal alignment 任务,利用多个同类视频间的时间上下文的一致性来做frame matching,self-supervised 地学习多帧的embedding features。

《Learning Correspondence from the Cycle-consistency of Time》[3],出自CMU的Xiaolong等。对于一个视频内时间上下文的mid-level特征一致性来做patch matching,self-supervised 地学习单帧的embedding features。

这两篇文章都同时提到很多相同的关键词:self-supervised, corresponding, nearest neighbors, embeddings。

它们的主要相同点

1) 都设计了cycle-consistency的loss来进行自监督学习。

2) 都是先对每帧单独提取mid-level feature,然后再在deep space里进行matching。

它们的主要区别

1) 前者的cycle loss设计是基于多个视频间的,而后者是对于一个视频内部的

2) 由于前者对frame-level进行matching,帧global 与 global运算;而后者是local patch与global运算。

Temporal Cycle-Consistency Learning (TCC) [1],CVPR2019

该文的目标是自学习embedding spaces,使得视频1和视频2尽量对齐。如下图所示,1) 首先对视频1和视频2若干帧映射到embedding spaces,左边的每个圆圈表示每帧的表征;2) 接着在视频1中寻找视频2当前帧(黑色和红色的圆圈)中的nearest neighbors(即实线蓝色箭头对应的两个绿色点);3) 最后cycle-back,用同样的方法寻找视频2中对应视频1两个绿色点nearest neighbors。这里产生的cycle consistency error就作为模型的Loss。

Cycle-consistent representation learning

由于 cycle-consistency 的计算是不可微的,文中的主要贡献是设计了两种可微方法来实现 cycle-consistency,分别是Cycle-back 分类和Cycle-back 回归。

我们首先计算视频U中的ui在视频V的soft nearest neighbor

,然后再反过来求

在视频U中的nearest neighbor。下面两种方式是用来实现soft nearest neighbor matching:

Temporal cycle consistency

Cycle-back 分类

把每一帧当成是一个类别,那么匹配nearest neighbor可看成是one-hot分类问题,即只有匹配帧为1,其他帧为0。逻辑单元直接由两者在embedding space的距离表示,这样从视频V中寻找当前ui的近邻可以表达成:

反过来,从视频U中寻找

的近邻也可通过距离的Softmax表示,最后产生的cross-entropy loss就是cycle consistency error。

Cycle-back 回归

由于上述分类过程没有约束cycled back的时间点要离当前时间点的远近,而作者希望对离得近的时间点惩罚小,而离得远的时间点惩罚大,故在cycling back的过程加入了regression loss,即约束相似性分布为高斯分布,使得在当前时间点附近有Peak分布,而整体的variance尽量小,Loss表示为:

后面实验时也对比了MSE版本的Loss,即只考虑高斯分布中的均值,不考虑方差

关于Encoder,使用的是VGG-M/ResNet50。而Embedding Network结构如下,加入3D卷积和3D池化,在补充材料中作者说到,即使在 k=2 情况下,性能也较好。

实验结果

从下面实验结果图可见

1) 在仅仅有 0.1%和0.5%标注的label情况下,TCC性能远比Supervised learning的效果好,体现出 self-supervised learning在少样本学习下的优势.

2) TCC性能明显优于现有的两种无监督学习方法 SaL 和 TCN,当TCC+TCN结合时,在Penn Action下性能达到最大。

潜在应用

1.语音和视频跨模态迁移对齐

2.视频的细粒度检索,检索到内容对齐好的frame-level

3.视频异常检测

4.视频同步回放

具体可见https://sites.google.com/view/temporal-cycle-consistency

Time-Contrastive Networks(TCN)[2],ICRA2018

由于上面实验有对比TCN的结果,这里简单介绍下,都是同一个组的工作。主要思想在temporal上构造三元组,离anchor近的当成positive,离anchor远的当成negative。通过这个self-supervised learning,模型能学到强时间上下文的表达,尽管在空间上这些帧都是similar-looking images。

与TCC相比,TCN只有一个视频内部训练,难以学到多个视频的时间上下文关联,这也是在视频对齐中性能不如TCC的主要原因。

Single-view TCN

Learning Correspondence from the Cycle-consistency of Time[3],CVPR2019

该文主要致力于统一光流和跟踪,通过自学习时空上的corresponding来得更好的embedding表征。如下图所示,主要贡献点有:1)构造了从t-->t-1-->t-2-->t-1-->t的time cycle,在不要手工标注label情况下,通过cycle前后的信息差异,来引导模型学习 ;2)对于上下文tracking,如t-->t-1,构造了可微分的tracking operation,使得网络能进行端到端地训练。

A Cycle in Time

首先我们来看可微分tracking operation

,简单的patch matching过程。如下图所示,1) 首先对当前帧需要跟踪的patch和上一帧,提取下采样8倍的Mid-level feature,进行L2正规化,通过点乘计算Affinity矩阵后Softmax;2)接着通过两个卷积层和一个全连接层,定位出仿射变换的三个参数,2D平移和旋转;3)最后进行双线性sample,得到匹配后区域的特征。

可微分tracking operation

网络的端到端训练是基于Backward-forward的iterative tracking后的模板匹配来实现的。如下图所示,在backward过程,从

It -->It-1 --> It-2 ,通过迭代进行上述的tracking operation

,我们可以得到跟踪到的特征;然后进行反向forward,迭代两次

,最后得到cycled back的patch特征,计算与原始patch特征的loss,更新网络Φ和

训练端到端Cycle-consistent

文中使用的 Loss 由三部分组成:Lsim 为每个tracking operation

前后的patch feature的相似度损失,LskipLlong 为 2-step skip cycle和原始cycle下的坐标级别的patch alignment误差。

实验结果

性能远超当前的几种unsupervised methods,但相比fully supervised,仍需努力。

实例分割on DAVIS-2017

不同应用下可视化效果,在不需要人工label情况下,已经很棒棒哒:

文中具体的应用如上图所示,在特定帧标定好target后(这里的target可以是mask, pose, texture 等等),在视频的后续帧进行propogation。

官方的代码链接:https://github.com/xiaolonw/TimeCycle

总结与展望

两篇文章从不同视角来构造cycle-consistency约束,目标都是为了在不需要标注label情况下,学到更好的视频representation,这也是解决在real-world中大规模无标注视频数据的低利用率及高昂的frame-level人工标注成本等问题。正如作者在future work里谈到的,这两篇文章还是存在一定局限,比如[1]中的训练需要保证同一个视频内部尽量无重复的动作片段,以及两个视频的类别及内容必须有一定的相似性;[3]中在训练过程patch的选取是随机化的,可能包含多个物体,很容易导致网络学习歧异。

未来展望的话,必须把两篇文章的思想用起来,拓展到各种视频任务中;而对于两篇文章本身,双方的结合未尝不可,对于[1]中embedding特征是基于全局的,可参考[3]中类似思想,找到场景下带语义的object/patch来进行cycle交互,估计能理解得更好,对齐得更好。

Reference:

[1] Debidatta Dwibedi et al., Temporal Cycle-Consistency Learning, CVPR2019

[2] Pierre Sermanet et al., Time-Contrastive Networks: Self-Supervised Learning from Video, ICRA2018

[3] Xiaolong Wang et al. , Learning Correspondence from the Cycle-consistency of Time, CVPR2019

本文为SIGAI原创

如需转载,欢迎发消息到本订阅号

原文发布于微信公众号 - SIGAI(SIGAICN)

原文发表时间:2019-04-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券