首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >基于运动的视频插帧技术

基于运动的视频插帧技术

作者头像
用户1324186
发布2020-01-14 17:21:58
2K0
发布2020-01-14 17:21:58
举报
文章被收录于专栏:媒矿工厂媒矿工厂

本文是来自AOMedia Symposium 2019的演讲,主要内容是基于运动的视频插帧技术(Motion Based Video Frame Interpolation),演讲内容来自YouTube/Google转码小组技术主管,同时也是都柏林圣三一大学教授的Anil Kokaram。演讲中,Kokaram对用于视频插帧工作的各类模型预测及其效果进行了分析,指出了对运动信息的处理仍是当前各类算法的基础。

Kokaram首先对视频插帧技术的背景、目标进行了介绍,并以单帧插值为例解释了帧插值实际上就是运动插值的过程。同时对近年出现的基于卷积神经网络的方法进行了分析,事实上使用CNN获取图像光流同样是为运动插值过程服务。

Kokaram接着提出了他们项目组的方法。根据朴素贝叶斯的想法,要从观察到的图像与运动中得到缺失的图像与运动,可以先从观察到的运动中得到缺失的运动,并从缺失的运动还原缺失的图像。根据能量最小化的原理,在动作插值工作中,我们估计现有运动,测量运动能量、遮挡能量和图像能量,然后以最小化局部能量对运动进行选择。获取运动后接着进行图片插值工作,使用遮挡生成插值图片并进行后处理。通过Adobe240fps数据集上的测试与排名,使用MRF模型的Kronos方法仍是目前最好的方法之一。

Kokaram最后对演讲进行了总结,

  • 超帧至60fps是一个重点
  • 基于CNNs的方法与基于MRF运动插值的方法相比,在插帧工作中效率基本相同或稍差
  • 但所有成功的方法都明确地使用了运动
  • 如果你对运动的处理失败,那你将无法完成工作
  • 混合使用MRF+CNN/3DAR方法可能会是未来研究的方向。

附上演讲视频:

http://mpvideo.qpic.cn/0bf2a4aaaaaagyaaavatg5pfab6daadqaaaa.f10002.mp4?dis_k=559304025fb3912ee4ee61121f70729b&dis_t=1578993703

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2020-01-06,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 媒矿工厂 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档