CNN光流计算--FlowNet: Learning Optical Flow with Convolutional Networks

FlowNet: Learning Optical Flow with Convolutional Networks ICCV2015 Code: https://lmb.informatik.uni-freiburg.de/Publications/2015/DFIB15/

本文使用CNN网络来计算光流，实现端对端训练，自己制作了个训练数据库 Flying Chairs

这里写图片描述

1. Network Architectures 因为最后的结果需要得到像素级别的，所以需要对CNN网络得到卷积特征图进行方法

光流计算的输入是一个图像对，这里我们尝试了两个网络结构 FlowNetSimple (top) and FlowNetCorr (bottom)

这里写图片描述

FlowNetSimple 直接将两个图像放到一起输入网络 FlowNetCorr 首先分别处理单个图像，然后再用一个 correlation layer 将两个图像的特征结合起来

特征图放大网络结构 Expanding part

这里写图片描述

经过 Expanding part 处理，CNN 特征图放大了4倍，和输入图像尺寸相比缩小了4倍，再放大4倍达到输入图像尺寸有两种方法： 1）FCN中的 bilinear upsampling 2）Variational refinement

这里写图片描述

4.1. Existing Datasets

这里写图片描述

合成的数据库Flying Chairs

这里写图片描述

1. Experiments

这里写图片描述

这里写图片描述

FlowNet2.0 就比较厉害了！