AI绘画:利用深度学习自动生成肖像漫画

编译:chux

出品:ATYUN订阅号

肖像漫画是一种独特的艺术形式,艺术家以夸张的方式勾勒出一个人的脸,大多数时候都是为了体现幽默感。自动化这种技术带来了挑战,因为所涉及的复杂细节和形状的数量,以及转变为创造性夸大的人所需的专业技能水平。

来自香港城市大学和微软的计算机科学家团队开发了一种创新的基于深度学习的方法,可以自动生成给定肖像的漫画,并使用户能够高效,逼真地完成这一过程。

“与定义手工制作规则的传统图形方法相比,我们的新方法利用大数据和机器学习来综合专业艺术家绘制的数千个例子中的漫画,”第一作者Kaidi Cao表示,他目前在斯坦福大学攻读计算机科学研究生,但在微软实习期间进行了这项工作。“虽然现有的风格转移方法主要集中在外观风格上,但我们的技术实现了漫画画中涉及的几何夸张和外观风格。”

该方法使用户能够自动绘制肖像漫画,并可应用于为社交媒体创建漫画头像和设计卡通人物等任务。该技术在市场营销、广告和新闻领域也有潜在的应用前景。

Cao与香港城市大学的Jing Liao和微软的Lu Yuan合作进行了研究,三人计划于12月4日至12月7日在东京举办的SIGGRAPH Asia 2018展会上展示他们的工作。年度会议将展示计算机图形学和互动技术领域最先进的技术,以及科学,艺术,游戏和动画等领域的前沿研究。

在这项工作中,研究人员转向机器学习中的一种众所周知的技术:生成对抗网络(GAN),用于不成对的照片到漫画的翻译,以生成保留肖像身份的漫画。“CariGANs”计算框架通过研究人员标记的两种算法CariGeoGAN和CariStyGAN精确地模拟照片中的几何夸张(面部形状,特定角度)和外观风格(外观,感觉,铅笔笔划,阴影)。

CariGeoGAN仅模拟从面部照片到漫画的几何到几何的映射,CariStyGAN将样式外观从漫画转移到面部照片,而不会对原始图像的几何形状造成任何变形。研究人员指出,这两个网络是针对每项任务分别进行训练的,因此学习过程更加强大。CariGANs框架使用户能够通过拖动幻灯片或给出示例漫画来控制几何和外观风格的夸张程度。

Cao和合作者进行了感性研究,以评估他们的框架能够生成易于识别且不会在形状和外观风格上过度扭曲的肖像漫画。例如,一项研究评估了与现有的漫画艺术翻译方法相比,使用CariGANs方法保存图像的同一性。他们通过几个例子证明现有方法无法识别的漫画转换。他们发现将所得到的漫画与原始主题相匹配太困难,因为最终结果过于夸张或不够清晰。而研究人员的方法成功地为肖像照片创建了更清晰,更准确的漫画描绘,就好像它们是由专业艺术家手绘的。

目前,这项工作的重点是人物的漫画,主要是头像或肖像。在未来的工作中,研究人员打算探索超越面部漫画生成的全身或更复杂的场景。他们还对设计改进的人机交互(HCI)系统感兴趣,该系统可以为用户提供更多的自由和用户控制机器学习生成的结果。

论文:sa2018.siggraph.org/images/press-releases/SA18_Tech_Papers_PR_-_16_Oct_18_-_New_Deep_Learning_Technique_for_Realistic_Caricature_Art.pdf

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2018-11-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

【AI听】微软刷新了SQuAD记录!聊天机器人居然懂人类情感?谷歌大脑「神经网络优化器搜索」又双叒叕更新……

本周关键词 SQuAD|聊天机器人 计算机视觉|谷歌大脑 主播 | 吴璇 NO/1 上周,微软又刷新了SQuAD记录... 今年7月,斯坦福大学发起的SQuA...

433110
来自专栏新智元

深度学习统治即将开始 | Manning在SIGIR演讲PPT实录

【新智元导读】国际计算机协会信息检索大会正在意大利的比萨举行,自然语言理解领域的顶级科学家Christopher Manning受邀发表主旨演讲。他认为,信息...

35550
来自专栏PPV课数据科学社区

写给风控新人大数据挖掘基础知识介绍

对企业来,堆积如山的数据无异于一个巨大的宝库。但是如何利用新一代的计算技术和工具来开采数据库中蕴藏的宝藏呢? 在市场需求和技术基础这两个因素都具备的环境下,数据...

350130
来自专栏人工智能头条

英特尔院士概述深度学习愿景与优化,Caffe for Xeon Phi成亮点

20150
来自专栏机器之心

前沿 | 一块玻璃也可以是相机,新型无镜头相机助力计算机视觉

以前的相机配备自己的专门设备,如镜头和胶卷,而且照相得去照相馆。后来,手机、平板电脑、笔记本电脑和视频游戏机都有了自己的照相功能。现在,相机似乎会在某天变得和玻...

9910
来自专栏数据派THU

清华大学张长水教授:机器学习和图像识别(附视频、PPT下载)

本篇干货整理自清华大学自动化系教授张长水于2018年4月27日在清华大学数据科学研究院第二届“大数据在清华”高峰论坛主论坛所做的题为《机器学习和图像识别》的演讲...

48330
来自专栏大数据文摘

微软研究院芮勇谈计算视觉:从感知到认知的长征

16410
来自专栏量子位

警惕AI军事间谍!找出导弹基地人类用2.5天,AI只要42分钟

安妮 千平 编译整理 量子位 出品 | 公众号 QbitAI ? 就在我们的头顶之上,各种卫星(包括间谍卫星)像狗仔队一样,每天都围着地球疯狂拍下数十TB的照片...

35650
来自专栏AI研习社

如何看待「机器学习不需要数学,很多算法封装好了,调个包就行」这种说法?

不抖机灵,想从接触过机器学习学术圈但已投身工业界的角度来回答。 我认为:大部分机器学习从业者不需要过度的把时间精力放在数学上,而该用于熟悉不同算法的应用场景和掌...

385100
来自专栏新智元

【震撼】这些专业级摄影作品竟然出自谷歌神经网络之手!

【新智元导读】谷歌研究人员提出利用机器学习学习“主观”概念的新方法,模仿专业摄影师的工作流程,遍览谷歌街景地图并搜索最佳作品,然后进行各种后续的处理,创造出媲美...

34180

扫码关注云+社区

领取腾讯云代金券