专栏首页Jack-Cui打工人的「周游世界」,AI算法帮你实现,泪目!

打工人的「周游世界」,AI算法帮你实现,泪目!

一、前言

大家好,我是 Jack 。

最近又有一个算法火了,不知道你们看到没?直接看效果!

打工人的「周游世界」,AI 算法帮你实现。

效果这么稳定的人像 Image Matting算法真的不多,并且还能进行实时处理

处理视频、图像,不在话下。人在家中坐,录段视频,你就可以把自己放到世界各地的美景中。

这类的抠图 AI 算法,已经出现过不少,但这一款确实让人觉得很惊艳。

打工人的周游世界梦,还能靠 AI 算法实现,泪目

二、MODNet

当前对人像 Matting的研究主要围绕这两点:

  • 不使用 trimap 情况下提高精度
  • 实时与准确性兼顾

MODNet 都做到了,作者充分利用 Ground Truth 的信息,将模型学习分为三个部分:语义估计细节预测语义细节融合

语义估计(Semantic Estimation):采用 MobileNetV2 架构,通过编码器(即 MODNet 的低分辨率分支)来提取高层语义。对 high-level 的特征结果进行监督学习,标签使用的是下采样及高斯模糊后的GT,损失函数用的 L2-Loss。

细节预测(Detail Prediction):结合了输入图像的信息和语义部分的输出特征,通过 encoder-decoder 对人像边缘进行单独地约束学习,用的是交叉熵损失函数。为了减小计算量,encoder-decoder 结构较为 shallow ,同时处理的是原图下采样后的尺度。

语义细节融合(Semantic-Detail Fusion):把语义输出和细节输出结果拼起来后得到最终的 alpha 结果,这部分约束用的是 L1-Loss。

另外,基于以上底层框架,该研究还提出了一种自监督学习方法 SOC(Sub-Objectives Consistency)和帧延迟处理方法 OFD(One-Frame Delay )。

其中,SOC 策略可以保证 MODNet 架构在处理未标注数据时,让输出的子目标之间具有一致性;OFD 方法在执行人像抠像视频任务时,可以在平滑视频序列中预测 alpha 遮罩。

自监督学习以适应现实数据(SOC):

为了让输入图像的 alpha 输出与语义、细节输出相一致,分别用 L2 和 L1 损失进行约束。

其中 Loss 第一项 L2 约束语义部分,第二项 L1 约束边缘细节部分。

另一方面,为了保持原有的细节信息不被丢失,又将自监督的细节输出和原本全监督训练下的细节输出进行 L1 约束。

SOC 这一步不需要标注数据,只是网络模型的自监督学习。

帧延迟处理方法以增强时序稳定性(OFD):

这部分主要解决视频分割结果的闪烁等问题,提高时序稳定性。后处理操作需要满足一定条件:

连续三帧中,首尾两帧差异小且中间帧与首尾两帧差异大。

如上图所示,只有红框像素满足处理条件。后处理方式也简单,中间帧结果取首尾两帧平均。

对应到整图的处理效果:

研究人员创建了一个摄影人像基准数据集 PPM-100(Photographic Portrait Matting)。

它包含了 100 幅不同背景的已精细注释的肖像图像。

为了保证样本的多样性,PPM-100 还被定义了几个分类规则,来平衡样本类型。

比如是否包括整个人体;图像背景是否模糊;是否持有其他物体。

PPM-100 中的样图具有丰富的背景和人物姿势,可以被看做一个较为全面的基准。

采用 PPM-100 评估集,看下 MODNet 的效果:

MODNet 在 MSE(均方误差)和 MAD(平均值)上都优于其他无 Trimap 的方法。

虽然它的性能不如采用 Trimap 的 DIM ,但如果将 MODNet 修改为基于 Trimap 的方法。

即以 Trimap 作为输入,它的性能会优于基于 Trimap 的 DIM,这也再次表明显示 MODNet 算法的优越性。

此外,研究人员还进一步证明了 MODNet 在模型大小和执行效率方面的优势。

其中,模型大小通过参数总数来衡量,执行效率采用 NVIDIA GTX1080 Ti GPU 测试。

MODNet 的推理时间为 15.8ms(63fps),比 FDMPA(31fps)快两倍。

总之,MODNet 提出了一个简单、快速稳定的实时人像抠图处理算法。

论文地址:

https://arxiv.org/pdf/2011.11961.pdf

三、代码

我猜,有些读者,早已迫不及待地跳过算法原理说明,直接来找代码了。

遗憾的是,算法还没有开源。

但是项目仓库已经创建了:

https://github.com/ZHKKKe/MODNet

写稿截图的时候,项目只有一个 README,但是 Star 都快 500 了,足以看出人们对算法效果的认可,以及对算法代码实现的关注。

作者在 issues 中提到,两周后放代码和模型

心急吃不了热豆腐,好饭不怕晚,咱可以等一等!

希望作者不要像我一样,经常「鸽鸽鸽」。

四、絮叨

MODNet 没开源,周末没得玩了

我早已想到,当然不会让你们空手而归!

navigan 也是一个新鲜出炉的算法。能变脸,改变人的鼻子大小、眼睛大小、眼睛朝向、嘴巴的位置、眉毛高低、甚至让人吸血鬼化。

也可以改变汽车轮子的大小,马的胖瘦。一个挺好玩的 GAN,感兴趣可以周末玩一玩。

项目地址:

https://github.com/yandex-research/navigan

官方权重文件放在了 Dropbox ,下载费事,所以我将代码和权重文件打包放到了百度网盘,有的需要自取(提取码:jack ):

https://pan.baidu.com/s/16-UCGIEyucfIclKwtWy55g

我是 Jack ,我们下期见。

文章持续更新,可以微信公众号搜索【JackCui-AI】第一时间阅读,本文 GitHub https://github.com/Jack-Cherish/PythonPark 已经收录,有大厂面试完整考点,欢迎Star。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 预计到2060年AI能比人类所做的一切都做得更好

    2017 年AI在各种各样的游戏中打败了人类,战绩如下:

    人工智能的秘密
  • 2017年AI在游戏中完胜人类,2060年通吃一切人类任务

    编辑:Cecilia 【新智元导读】2017 年,AI在各种游戏中横扫人类: 在围棋比赛中,AlphaGo Master战胜世界排名最高的柯洁,随后又衍生出Al...

    新智元
  • 17年AI在游戏中完胜人类,AlphaGo的下一个目标是什么?DeepMind有一个45年超越人类计划

    2017 年,AI在各种游戏中横扫人类: 在围棋比赛中,AlphaGo Master战胜世界排名最高的柯洁,随后又衍生出AlphaGoZero和更高水平的Alp...

    企鹅号小编
  • 2018 Google 开发者大会精彩回顾

    一年一度的谷歌开发者大会在今天落下了帷幕,感谢数千位新老朋友的到场参与,以及数百万通过直播远程参加的小伙伴们!

    Android 开发者
  • 宝!AI来给你发对象了

    ? 今天的内容想跟大家聊个有意思的话题: 「用AI,找到心仪的另一半!」 第七次全国人口普查数据显示,我国男性比女性多出约3500万人。针对网络上3000多万...

    腾讯云AI
  • 宇宙法则

    聊下AI。 ? 还是先从游戏开始吧。 有一条『常识』需要先抛出来,大部分人都承认,网络游戏的游戏性不如单机。 『胡扯!我觉得网游比单机好玩多了。』 『好,本文到...

    沙因Sign
  • AI打《星际》被人类碾压?不,事情并没有这么简单

    李林 千平 发自 凹非寺 量子位 出品 | 公众号 QbitAI “人类总算能摆脱被统治的阴影”。 这两天,一场《星际争霸》的人机对抗“表演赛”,让不少人类感到...

    量子位
  • VR技术帮韩国妈妈与去世的女儿再相见,网友:堪比《黑镜》,人能瞬间崩溃

    这本是韩国一部电视纪录片《遇见你》中的内容,韩国MBC电视台把视频上传到了YouTube上,4天时间就获得了800多万的播放量。

    量子位
  • AI属于00后!10岁女孩开发世界首款AI桌游,13岁少年用AI检测胰腺

    今天的故事主人公是一个13岁的男孩Rishab Jain和一个10岁的女孩Samaira Mehta。

    新智元
  • 专访DeepMind CEO:阿法狗让我震惊,要用AI理解宇宙 | 万字长文

    国庆 李林 编译整理 量子位 报道 | 公众号 QbitAI ? 哈萨比斯,DeepMind创始人兼CEO。 DeepMind开发出人工智能围棋程序AlphaG...

    量子位
  • 拆盲盒,领七夕奇妙对象了

    ? 今天 我要大胆提醒你 七夕了 有人~自嘲: “人不好,嘴不甜,长得磕碜,还没钱” 四句话,写我一直单身 有人~感慨: 她逃,他追,她插翅难飞 他回,她...

    腾讯云AI
  • 人机大战已不止体育范畴 拥抱AI时代思之不及行不却步

    撰文/车莉 第十三届全运会成功举行、中国女排时隔16年再夺大冠军杯、体操世锦赛肖若腾男子全能称王、北京冬奥会会徽发布……新华社权威评出的2017十大体育新闻,其...

    企鹅号小编
  • 【AI研究者为什么喜欢游戏】DeepMind、Open AI和微软争相开源游戏训练平台

    【新智元导读】游戏,更准确地说,模拟场景对于人工智能的研发来说是一个非常理想的场所,对于人工智能技术走向实际应用有着不容忽视的推动作用。目前,DeepMind、...

    新智元
  • 别吹了,AI的泡沫快被吹破了

    别看现在的AI虽然已经63岁了,智力却连3岁都不到,但它给人类的孤独增加了许多话题。

    AI算法与图像处理
  • 腾讯云AI展示最新产业落地实践,亮相世界人工智能大会、数字生态大会合肥峰会

    ?  腾讯云AI多项解决方案 亮相2021世界人工智能大会 7月8日-10日,2021世界人工智能大会隆重召开,本次大会由国家发展与改革委员会、科学技术部、...

    腾讯云AI
  • 2017年,人类在自己设计的所有游戏中都败给了AI,无一幸免

    在20世纪的大部分时间里,国际象棋是人工智能研究人员的一个基准。早在上世纪50年代初,约翰·麦卡锡提出了“人工智能”一词,他曾把国际象棋称为“人工智能领域的果蝇...

    企鹅号小编
  • 人类设计了游戏和AI 2017年AI在游戏中打败了人类

    记得在上学的时候有个老师宣称“电脑永远不可能胜过人脑,因为是人类发明了电脑”,不知看到科技发展到现在的阶段之后,他会有何感想。2017年AI在人类设计的游戏里都...

    企鹅号小编
  • 克隆一个自己的 AI 来上网课,

    场景描述:在全球都开启远程办公、远程上课之际,一位外国工程师受不了每天的视频会议,于是用 AI 技术「克隆」了一个自己,替他去开会。而这项技术如果被学生们所用,...

    HyperAI超神经
  • ​AI大事件 | 人工智能检测自杀倾向,三星收购AI公司

    大数据文摘

扫码关注云+社区

领取腾讯云代金券