专栏首页Jack-Cui「完美复刻」的人物肖像画生成算法 U^2-Net

「完美复刻」的人物肖像画生成算法 U^2-Net

一、前言

大家好,我是 Jack 。

今年提出的 U^2-Net 显著性检测算法,刷爆了 reddit 和 twitter,号称是 2020 年「地表最强」的静态背景分割算法,可以看下效果:

你以为今天要讲分割?错!

U^2-Net 这两天又出新活,在 U^2-Net 网络架构基础上,实现了人物肖像画的生成,细节「完美」复刻。

我用自己的「歪脖子照」测试了下效果。

万年不变老规矩,继续手把手教学。

算法原理、环境搭建、效果实现,一条龙服务,尽在下文!

二、U^2-Net

受 U-Net 网络的启发,U^2-Net 也是一种类似编码-解码(Encoder-Decoder)的网络结构。

研究者在此基础上,提出了新型残差 U-block(ReSidual U-block, RSU),融合不同尺寸接受野的特征,以捕获更多不同尺度的上下文信息。

RSU 网络与现有卷积块的结构对比如下:

最右边的结构,就是 RSU-L,L 表示编码器中的层数,C_in、C_out 分别表示输入和输出通道,M 表示 RSU 内层通道数。

具体而言,RSU 主要有三个组成部件,分别是一个输入卷积层、一个高度为 L 的类 U-Net 对称编码器 - 解码器结构以及一个通过求和来融合局部和多尺度特征的残差连接。

为了更好地理解设计理念,研究者在下图中对 RSU 与原始残差块进行了比较。

结果显示,RSU 与原始残差块的最大区别在于 RSU 通过一个类 U-Net 的结构替换普通单流卷积,并且通过一个由权重层转换的局部特征替换原始特征。

更值得注意的是,得益于 U 形结构,RSU 的计算开销相对较少,因为大多数运算在下采样特征图中应用。下图展示了 RSU 与其他特征提取模块的计算成本曲线图:

U^2-Net 的整体网络架构如下:

U^2-Net 主要由三部分组成:

  • 6 阶段编码器;
  • 5 阶段解码器;
  • 与解码器阶段和最后编码器阶段相连接的显著图融合模块。

说完网络结构,再看下损失函数,研究者使用了类似于整体嵌套边缘检测(HED)的深度监督算法:

其中,M=6, 为 U^2-Net 的 Sup1, Sup2, ..., Sup6 stage。

为 Sup1, Sup2, ..., Sup6 输出的显著图

的损失函数。

为最终融合输出的显著图

的损失函数。

为每个损失函数的权重。

对于每个 l ,采用标准的二值交叉熵损失函数:

其中,(r, c) 为像素坐标;(H, W) 为图像尺寸,height 和 width。

分别表示 GT 像素值和预测的显著概率图。

总的来说,U^2-Net 的设计构建了具有丰富多尺度特征以及较低计算和内存成本的深度架构。

更详细的内容,可以直接看 paper:

https://arxiv.org/pdf/2005.09007.pdf

三、效果测试

Github 项目地址:https://github.com/NathanUA/U-2-Net

第一步:搭建测试环境。

很简单,没啥特殊的库,安装好 Pytorch、Numpy、Skimage 等基础第三方库即可。

第二步:下载训练好的模型权重文件。

我将程序和权重文件都进行了打包,嫌麻烦,可以下载直接使用。

下载地址(提取码:jack):

https://pan.baidu.com/s/1qwApU0xggsBRolAai3WYtA

第三步:在工程目录,运行程序。

python u2net_portrait_test.py

在 u2net_portrait_test.py 可以查看输入图片路径和输出图片路径:

最后再看下运行效果:

四、絮叨

这个月,公众号送了两波福利,一次发「521」元红包,一次送 5 本书。

上周末,挨个联系,红包和书都已经送出,这是其中留言榜红包群的拼手气结果。

事实证明,拼手气红包,最后抢蛮有优势。

图书也都联系了相应的获奖者,填写了邮寄信息,现已发货。

简单说下我的感受,网络上存在一群薅羊毛党,留言点赞这种形式很容易被钻空子,花几毛钱,就可以刷上榜。

这次送「521」元红包活动,旨在感谢读者一直以来的支持,结果还是被这些人看到了,过来刷赞。

这都还好,也都可以理解。

可笑的是,被我发现刷赞,还有个恼羞成怒的,加好友过来开骂,这我是万万没想到的。

以后,这类福利还会有,特别是赠书,争取每个月搞一次。

这次没中奖,没关系,以后还有很多机会,中不中奖都是次要,能学到知识才是最重要的。

我是 Jack ,我们下期见。

原文地址:https://mp.weixin.qq.com/s/FoFgkCxMhwxjGieCe8Rg2A 文章持续更新,可以微信公众号搜索【JackCui-AI】第一时间阅读,本文 GitHub https://github.com/Jack-Cherish/PythonPark 已经收录,有大厂面试完整考点,欢迎Star。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 7 Papers & Radios | 王者荣耀AI绝悟完全体;目标检测新范式

    论文 1:Towards Playing Full MOBA Games with Deep Reinforcement Learning

    机器之心
  • 人脸照片秒变艺术肖像画:清华大学提出APDrawingGAN CVPR 2019 oral paper

    该项工作被CVPR 2019录取为oral paper。CVPR是计算机视觉和人工智能领域内的国际顶级会议,2019共收到投稿5160篇,录取1300篇,其中o...

    数据派THU
  • 人脸照片秒变艺术肖像画:清华大学提出APDrawingGAN CVPR 2019 oral paper

    该项工作被CVPR 2019录取为oral paper。CVPR是计算机视觉和人工智能领域内的国际顶级会议,2019共收到投稿5160篇,录取1300篇,其中o...

    昱良
  • GAN秒变肖像画!清华刘永进提出APDrawingGAN ,CVPR Oral(附微信小程序)

    肖像画是一种独特的艺术形式,通常使用一组稀疏的连续图形元素如线条来捕捉一个人的外表特征。

    新智元
  • 学界 | 人脸照片秒变艺术肖像画:清华大学提出APDrawingGAN CVPR 2019 oral paper

    AI 科技评论按:该项工作被CVPR 2019录取为oral paper。CVPR是计算机视觉和人工智能领域内的国际顶级会议,2019共收到投稿5160篇,录取...

    AI科技评论
  • 人脸照片秒变艺术肖像画:清华大学提出APDrawingGAN

    肖像画是一种独特的艺术形式,通常使用一组稀疏的连续图形元素,如线条来捕捉一个人的外表特征。肖像画通常是在人物面前或基于人物照片进行创作的,其创作依赖于细致的观察...

    华章科技
  • 清华大学提出APDrawingGAN:人脸照片秒变艺术肖像画,已被CVPR 2019录取

    肖像画作为人物画的一种,其简约的风格以及以形写神、迁想妙得的创作方法获得了大家的喜爱。

    大数据文摘
  • 皱眉细节完美复刻,阿尔伯塔大学团队标星1.7K的项目生成超逼真的肖像画

    从人脸图片生成艺术肖像画的 AI 应用不在少数,但效果惊艳的不多。上面这张图片中的输入 - 输出结果,来源于一个 GitHub 热门项目 U^2-Net (U ...

    小白学视觉
  • AI生成肖像画,精细到毛发!北大校友最新研究收割2.8k星标,还登上了ICPR 2020

    不仅登上了GitHub热榜,收割了2.8k星标,还被顶会ICPR 2020 选中。更关键是,这项研究的一作还是北大校友——秦雪彬。

    公众号机器学习与生成对抗网络
  • U²-Net:使用显著性物体检测来生成真实的铅笔肖像画

    铅笔素描肖像生成已出现作为Alberta大学的U²-Net的一个有趣和流行的新应用。自用于显著目标检测的新的深度网络架构开源以来,该项目的GitHub页面在三天...

    OpenCV学堂
  • 影史第一片《火车进站》秒变 4K 高清,AI 预测+插值,黑白也能变“彩电”

    《火车进站》是人类历史上的第一部电影,由路易·卢米埃和奥古斯特·卢米埃于 1895 年拍摄于法国一沿海城市,整部电影只有45秒。

    AI研习社
  • 影史第一片《火车进站》秒变 4K 高清,AI 预测+插值,黑白也能变“彩电”

    《火车进站》是人类历史上的第一部电影,由路易·卢米埃和奥古斯特·卢米埃于 1895 年拍摄于法国一沿海城市,整部电影只有45秒。

    AI科技评论
  • 世界首次!这幅GAN生成的肖像画破天荒被佳士得拍卖

    这幅镀金画框里的肖像画描绘的是一位体态肥胖的绅士,可能是法国人——从他的黑色长礼服和纯白领子来判断——可能是一位清教徒。这幅作品似乎尚未完成:人像的面部特征有些...

    新智元
  • 实用主义当道——GitHub 热点速览 Vol.48

    当你看到实用为本周的关键词时,就应该知道本周的 GitHub 热点霸榜的基本为高星老项目,例如:知名的性能测试工具 k6,让你能在预生产环境和 QA 环境中以高...

    HelloGitHub
  • 从生成美学说起,细数人工智能艺术的前世今生

    许多博物馆和画廊已经在着手开办AI艺术作品展览。而国外一个名为9 GANs的艺术馆也将AI画作推向了市场。

    大数据文摘
  • 麦克阿瑟天才奖得主解码计算机视觉“原罪”:AI 如何认识人类世界

    【新智元导读】麦克阿瑟“天才奖”获得者Trevor Paglen训练AI算法,他的展览项目“看不见的图像的研究”(A Study of Invisible Im...

    新智元
  • 塔说 | 麦克阿瑟天才奖得主解码计算机视觉“原罪”:AI 如何认识人类世界

    导读:麦克阿瑟“天才奖”获得者Trevor Paglen训练AI算法,他的展览项目“看不见的图像的研究”(A Study of Invisible Images...

    灯塔大数据
  • GAN模型生成山水画,骗过半数观察者,普林斯顿大学本科生出品

    近年来,基于生成对抗网络GAN模型,图像生成领域实现了许多有趣的应用,尤其是在绘画创作方面。

    AI科技大本营
  • 屏下摄像头效果不好?微软:上神经网络,还原更真实的可视会议效果

    把摄像头放在屏幕下的想法并不新奇,在视频会议这个交流方式刚刚出现时,人们就意识到把摄像头和屏幕分设在不同位置让人交流起来非常别扭。眼神交流是沟通的关键因素,但如...

    机器之心

扫码关注云+社区

领取腾讯云代金券