专栏首页Jack-Cui神奇的 Animal Matting 算法,毛发抠图不是事。

神奇的 Animal Matting 算法,毛发抠图不是事。

一、前言

抠图是个体力活。

抠图最难的,就是处理毛发。

想没想过,有一天,算法直接帮你自动抠图?细致到毛发的那种!

毛发的分割都不是问题

新鲜热乎刚出炉的 Image Matting 算法,你值得拥有。

老规矩,今天,继续手把手教学。

算法原理、环境搭建、效果实现,一条龙服务,尽在下文!

二、Animal Matting

抠图问题的核心是精确地将图像或视频中的前景估计出来,对图像编辑,影片剪辑等都有很深的意义。

最新发表的论文 End-to-end Animal Image Matting ,只需要一张图,无需任何先验知识,即可实现端到端的抠图,效果非常惊艳

论文提出了一个名为 GFM 的抠图模型,该模型可同时生成全局语义分割和局部 alpha mask。

同时,论文也开源了第一个自然动物图像抠像数据集 AM-2k,并设计了基于高分辨率背景数据集 BG-20k 的 RSSN 合成数据方法。

GFM 网络结构如下:

网络结构:是一个编码解码器的结构,编码器由两个平行的解码器共享。

被共享的编码器:以在 ImageNet 上预训练的 ResNet-34 或 DenseNet-121 作为编码器。

Glance Decoder(GD): 用于学习高层语义信息。在编码器的第四个模块之后,加入金字塔池化模块(PPM)输出全局上下文,用于GD中。

Focus Decoder (FD):用于在低结构特征中提取细节。在编码器的第四个模块之后,加入桥联模块(BB)收敛不同域中的局部上下文。并结合U-net,将 FD 与编码器的对应模块进行跳跃连接,训练 FD。

最后,以不同的表征域,连接 GD 和 FD 的输出结果。

GFM-TT:以真实 alpha 掩摸膨胀和腐蚀的 3 类 trimap T 作为 GD 监督信号、以未知过渡域的 alpha 掩摸作为 FD 监督信号。

GFM-FT:以 2 类前景分割 mask 作为 GD 的监督信号、以未知过渡域的 alpha 掩膜作为 FD 监督信号。

GFM-BT:以 2 类背景分割 mask 作为 GD 的监督信号、以未知过渡域的 alpha 掩膜作为 FD 监督信号。

最后,通过协同合作抠图(CM),将上述三个不同的表征域的结果,进行合并,获得最终的 alpha 预测。

更详细的内容,可以直接看 paper:

论文地址:https://arxiv.org/pdf/2010.16188.pdf

三、效果测试

Github 项目地址:https://github.com/JizhiziLi/animal-matting

第一步:搭建测试环境。

根据 Requirements.txt 安装依赖库即可,很简单。

第二步:下载训练好的模型权重文件。

下载地址:点击查看

第三步:在工程目录,运行程序。

python ./core/test_samples.py --cuda --arch="e2e_resnet34_2b_gfm_tt" --model_path="models/model_r34_2b_gfm_tt.pth" --pred_choice=3 --hybrid

samples 目录下的 original 目录保存原始图片;

samples 目录下的 result_alpha 目录保存分割 mask ;

samples 目录下的 result_color 目录保存提取结果。

我将程序和权重文件都进行了打包,嫌麻烦,可以下载直接使用。

下载地址(提取码:s6uh ):

https://pan.baidu.com/s/1xjBbj3iptZuPV8nlg9Dthw

运行效果:

运行速度很快,运行效果展示:

四、最后

算法只针对动物,想对人进行抠图,需要自己制作数据集以及训练模型。

文章持续更新,可以微信公众号搜索【JackCui-AI】第一时间阅读,本文 GitHub https://github.com/Jack-Cherish/PythonPark 已经收录,有大厂面试完整考点,欢迎Star。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • matting笔记_一周小结

    详情见之前的笔记 matting系列论文笔记(一):Deep Image Matting

    烤粽子
  • 学界 | Adobe提出深度抠图:利用卷积网络分离图像前景与背景

    选自arXiv 机器之心编译 参与:蒋思源 抠图,一直是一件体力活,它需要大量的操作与时间。而传统抠图算法主要是以色彩为特征分离前景与背景,并在小数据集上完成,...

    机器之心
  • CVPR2021 6篇惊艳审稿人的抠图算法&代码汇总!附创新点

    本文包含了 6 篇抠图相关的论文代码内容,主要包含两个大方向:图像抠图和视频抠图。

    AI算法与图像处理
  • 11. 图像合成与图像融合

    我们经常看到一些很奇妙的PS技术,例如下面这张,它把1928年的一位叫做Frankie Yale的黑帮老大被杀时的照片,与现在这栋房子的照片无缝融合在一起:

    HawkWang
  • 该卸载PhotoShop了!MIT用AI实现3分钟自动抠图,精细到头发丝

    最近,MIT计算机科学与人工智能实验室(CSAIL)的研究人员开发了一种AI辅助的图像编辑工具,它可以自动抠图,替换任何图像的背景。

    新智元
  • 一键免费自动AI抠图,效果连PS大哥也点赞!

    现在,抠图已经不再是专业设计师才会的技能,其应用的技术图像分割也不是一个新课题了,很早之前就有很多研究成果出现,按照是否使用深度学习的方法可分成传统方法(Blu...

    AI科技大本营
  • 抠图只精细到头发丝还不够,Adobe新方法能处理6000×6000的高分辨率图像

    很多深度学习方法实现了不错的抠图效果,但它们无法很好地处理高分辨率图像。而现实世界中需要使用抠图技术的图像通常是分辨率为 5000 × 5000 甚至更高的高分...

    OpenCV学堂
  • 抠图只精细到头发丝还不够,Adobe新方法能处理6000×6000的高分辨率图像

    抠图是图像和视频编辑与合成的关键技术。通常,深度学习方法会以整个输入图像和相关的 trimap 作为输入,使用卷积神经网络来推断前景蒙版(alpha matte...

    Amusi
  • matting系列论文笔记(二):Background Matting: The World is Your Green Screen

    论文链接: 2017 Background Matting: The World is Your Green Screen 代码:http://github....

    烤粽子
  • 抠图只精细到头发丝还不够,Adobe新方法能处理6000×6000的高分辨率图像

    抠图是图像和视频编辑与合成的关键技术。通常,深度学习方法会以整个输入图像和相关的 trimap 作为输入,使用卷积神经网络来推断前景蒙版(alpha matte...

    机器之心
  • 一键抠图,毛发毕现:这个GitHub项目助你快速PS

    抠图是 PS 中的一项常用技术。但是要做到完美地将图像中的目标选取出来往往费时费力。近日,一个名为 PyMatting 的项目无疑能够帮助你。

    机器之心
  • CVPR2021|快手: 深度视频抠图

    随着深度学习的发展,深度神经网络被应用于抠图技术中,从深度网络提取的高层语义特征能够从复杂场景中准确区别前后背景,从而极大地提升了抠图效果,基于深度学习的图像抠...

    公众号-arXiv每日学术速递
  • 当医学医疗遇上了人工智能,抠图算法应用的又一力作

    目前的医学实践中,血管分割技术在眼底图像分析与计算机辅助眼病诊断中扮演着举足轻重的角色,它是医疗诊断、手术辅助设计的基础,且对早期发现和治疗不同的心血管病和眼部...

    智能算法
  • GitHub 热点速览 Vol.15:Background-Matting 让你秒变专业抠图师

    以下内容摘录自上周微博@HelloGitHub 的 GitHub Trending,选项标准:新发布 | 实用 | 有趣,根据项目 release 时间分类,发...

    HelloGitHub
  • 硬核佩奇和圣诞鳌拜,没有抠图AI能同时闯过这两关

    随着AI技术的发展,抠图业也步入了新的竞争格局中,老牌巨头、新兴APP、开源项目、论文实现齐上阵,要把头发丝都抠出来。

    量子位
  • GitHub 热点速览 Vol.17:在?各家视频会员要不要?

    以下内容摘录自微博@HelloGitHub 的 GitHub Trending,选项标准:新发布 | 实用 | 有趣,根据项目 release 时间分类,发布时...

    HelloGitHub
  • 人像抠图已经满足不了研究者了,这个研究专门给动物抠图,毛发根根分明

    在这个图像和视频逐渐成为主流媒介的时代,大家早已对「抠图」习以为常,说不定还看过几部通过「抠图」拍摄的电视剧呢。然而,相比于人像抠图,长相各异、浑身毛茸茸的动物...

    机器之心
  • ICCV 2019 | 旷视研究院提出新型抠图方法AdaMatting,实现当前最佳

    两年一度的国际计算机视觉大会 ICCV 2019 ( IEEE International Conference on Computer Vision) 将于当...

    AI科技大本营
  • MIT提出精细到头发丝的语义分割技术,打造效果惊艳的特效电影

    随着电影越来越关注 CGI,电影制作人必须更加擅长「合成」,即将前景和背景图像融合,比如将演员放在飞机或行星上,或者放在电影《黑豹》里瓦坎达这样的虚构世界中。

    机器之心

扫码关注云+社区

领取腾讯云代金券