专栏首页Jack-CuiAI 隐身术,能让物体在视频中消失的魔法。

AI 隐身术,能让物体在视频中消失的魔法。

一、前言

刚刚过去的 2020 年 ECCV,有一项 AI“隐身”技术引人瞩目。

正在坐秋千的小孩,突然只剩下秋千架。

让漫步的行人消失,让奔驰的汽车消失。

能让物体在视频中消失的算法

这么好玩的 AI 算法,你想学吗?

老规矩,今天,继续手把手教学。

算法原理、环境搭建、效果实现,一条龙服务,尽在下文!

二、FGVC

FGVC 的作者是一位 90 后北京小伙,目前在弗吉尼亚理工大学计算机工程专业就读博士三年级,师从华人教授 Jia-Bin Huang。

FGVC 算法本质上是一个基于光流法的视频修复算法。

光流法是视域中物体运动检测的概念,其用于描述运动所造成的观测目标、表面或边缘的运动,主要应用于计算机视觉和影像处理等。

使用光流法,可寻到不同帧之间的关系,并通过在不同帧之间传播信息来补全视频。

FGVC 主要包含三个步骤:Flow completion、Temporal propagation、Fusion。

Flow completion:具体操作时,要计算相邻帧之间的正向光流和反向光流、以及一组非相邻帧 (Non-local) 的正向光流和反向光流。

Temporal propagation:按照光流的轨迹,为每个丢失的像素找到一组候选像素,对于每个候选帧,都要估计一个置信分数以及一个二进制有效性指标。

Fusion:使用置信加权平均值,将每个缺失像素的候选像素与至少一个有效候选像素融合。对于没有候选像素,则使用一个关键帧,并使用单个图像补全技术来填充它。

更具体的原理,比如边缘引导的光流补充等,可以去「啃下」论文,学习一下。

Paper 地址:

https://arxiv.org/abs/2009.01835

三、环境配置

想要测试算法效果,先要部署下开发环境。

Github 开源项目地址:https://github.com/vt-vl-lab/FGVC

Github 下载慢的,可以下载我已经打包的代码(提取码:jack):

https://pan.baidu.com/s/1t_EDDDgMCHBS83QFywuFdg

这里推荐使用 Anaconda 完成部署,不知道 conda 用法的,可以看下我写过的另一篇基础教程:

一劳永逸的 Python 开发环境搭建

FGVC 算法依赖于另外两个算法 DeepFill 和 RAFT。

所以,可以创建两个虚拟环境 FGVC 和 raft。

FGVC 环境使用 PyTorch 0.4.0,并配置算法 DeepFill 的环境。

DeepFill 环境配置方法:

https://github.com/nbei/Deep-Flow-Guided-Video-Inpainting#install--requirements

直接使用指令安装依赖库:

pip install -r requirements.txt

raft 环境使用 PyTorch 1.6.0,并配置算法 RAFT 的环境。

RAFT 环境配置方法:

https://github.com/princeton-vl/RAFT#requirements

这里比较简单,使用 conda 安装需要的库即可。

都配置完毕,就可以测试算法效果了!

四、效果测试

先激活 raft 虚拟环境,直到运行结果出现提示:

「Please switch to Pytorch 0.4.0」

然后切换到 FGVC 虚拟环境,然后再运行一次代码。

Object removal:

cd tool
python video_completion.py \
       --mode object_removal \
       --path ../data/tennis \
       --path_mask ../data/tennis_mask \
       --outroot ../result/tennis_removal \
       --seamless

FOV extrapolation:

cd tool
python video_completion.py \
       --mode video_extrapolation \
       --path ../data/tennis \
       --outroot ../result/tennis_extrapolation \
       --H_scale 2 \
       --W_scale 2 \
       --seamless

想要计算速度更快些,可以去掉 seamless 参数。

算法需要 rgb 图片和 mask 图片,这些数据是已知的,想要去除什么物体,给个物体的 mask 即可。

运行效果示意图

五、最后

好玩的 AI 算法有很多,关注我带你玩转各种好玩的算法,我是 Jack Cui,我们下期见!

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 分分钟拥有哈利波特的隐身衣,还是在手机端的那种

    不需要道具,不需要托儿,也不挑时间地点,她就这么在直播镜头里blingbling地闪现了。

    代码医生工作室
  • 今天你禁止出镜!AI视频隐身技术登场

    作者:scarlett,腾讯TEG 基础研究组 2019新型冠状病毒来势汹汹,全国有将近2亿人选择“云上班”、“云会议”,同时随着随着越来越多企业的数字化转型...

    腾讯大讲堂
  • Clearview AI全部客户列表数据被入侵窃取:公司拥有30亿张人脸照片、为600家美国执法机构提供服务

    2月27日,成立于2016年,位于纽约的面部识别应用服务公司Clearview AI向美国福克斯新闻网证实,公司所有的客户列表、账户数量以及客户进行的相关搜索数...

    数据猿
  • 警惕!AI变声技术造就新型诈骗!

    简单并不简单
  • 不用AI的彩妆店不是好专柜?

    人工智能赋能美妆早已不是新鲜事,经过前几年的“试水”,AI+彩妆似乎已在美妆行业形成一种风潮,逐渐改变了化妆品营销手段与产品研发的走向。而目前市场发展最成...

    用户2908108
  • 短视频造假术,你值得拥有

    从古至今,“欺骗”和“造假”这两个词可谓是贯穿了人类的历史。到了现代社会,面对着互联网上那些似是而非的庞杂信息,“有图有真相”开始成为网友们的诉求。

    用户2908108
  • 视频会议玩消失?借助神器TensorFlow.js,200行代码教你“隐身”,GitHub标星3k+

    疫情期间,许多公司都开启了远程办公,试想一下,在视频会议时,如果你的同事突然从镜头中消失,大家会有什么样的反应?

    大数据文摘
  • 苹果FaceID被一副眼镜破解,腾讯:漏洞出在活体检测

    生物识别技术在验证过程中出现的漏洞可能会让不法分子破解各种人脸识别应用,包括苹果的 Face ID。

    机器之心
  • 吴恩达团队盘点2019AI大势:自动驾驶寒冬、NLP大跃进、Deepfake已成魔!

    2019注定是充满了里程碑的一年。它将大众从《西部世界》、《终结者》等好莱坞科幻电影不切实际的虚幻场景中抽离出来,让人们认识到,AI其实是世界上的有形力量而非梦...

    钱塘数据
  • ZAO 刷屏后 让我担心被随意拿走的隐私 还仅仅是个开始……

    一秒换脸 " 莱昂纳多 ",两秒占据 " 舞王 C 位 ",一夜之间暴走网络—— AI 换脸软件 ZAO 经过周末的集中式爆发,逐渐偃旗息鼓。

    鲸准商业评论
  • 视频PS神器!人物隐身、水印去除,简直像重拍了一遍,这项登上CVPR的研究刚刚开源了

    毕竟,你永远不知道,录好的节目里,哪个明星艺人会突然翻车,形象大跌,后期团队被迫紧急加班,用各种方式掩盖他们的痕迹。

    量子位
  • 视频隐身衣:物体移除、去水印、后期处理毫无痕迹

    在视频后期处理中,经常会遇到一项难搞的需求:如何把一个人/物从视频中完美剔除?虽然Ps技术已经很普及,但也很难处理视频问题。

    AI科技评论
  • 视频隐身衣:物体移除、去水印、后期处理毫无痕迹

    在视频后期处理中,经常会遇到一项难搞的需求:如何把一个人/物从视频中完美剔除?虽然Ps技术已经很普及,但也很难处理视频问题。

    小白学视觉
  • 谷歌最新黑科技:裸眼3D视频通话,宛如真人面对面!Jeff Dean:魔镜啊魔镜

    这个名为Starline的3D视频通话技术,让屏幕另一边的人看起来有体积、有深度和阴影,就像坐在你的面前一般真实。

    量子位
  • 吴恩达团队盘点2019AI大势:自动驾驶寒冬、NLP大跃进、Deepfake已成魔!

    这一年注定是充满了里程碑的一年。它将大众从《西部世界》、《终结者》等好莱坞科幻电影不切实际的虚幻场景中抽离出来,让人们认识到,AI其实是世界上的有形力量而非梦幻...

    新智元
  • AI 劳动节创意盘点:绘画、写作、识别情绪……匹敌人类创造力

    【新智元导读】AI 正在展示出真正的创造力,它们像梵高一样绘画,像莎翁一样写作,像人类编剧一样创作着电影剧本。设计公司 SketchDeck 的联合创始人兼 C...

    新智元
  • 全球首例!移动材料上实现动态对抗,这件T恤让你在AI眼皮下隐身

    当迎面走来一位穿着白T恤的男性和一位穿着黑T恤的女性时,如果我们从AI摄像头中观察,会惊讶地发现画面中只有女性的身影。

    大数据文摘
  • “年轻时尚且议题不断”的两会,VR/AR、5G、4K、AI频繁被Cue!

    近期,两会正在火热召开中,国内外目光均聚焦于此。而VR/AR、5G、4K、AI等展露锋芒的黑科技,也吸引不少眼球,频繁被Cue。各方真可谓上演了一番“科技看家本...

    VRPinea
  • 火爆的老照片动起来、唱歌,微视把AI视频特效打包「一键」实现了

    这几年,AI 模型在特效方向的技能似乎已被拉满。因此,我们在有生之年见到了会说话的蒙娜丽莎、cos 油画的周杰伦以及可以让人一秒变秃的「东升发型生成器」。但是,...

    机器之心

扫码关注云+社区

领取腾讯云代金券