前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >上交大找到「换脸」新方式:无惧死亡打光、直男视角 | 开源

上交大找到「换脸」新方式:无惧死亡打光、直男视角 | 开源

作者头像
量子位
发布2023-03-10 13:56:38
3980
发布2023-03-10 13:56:38
举报
文章被收录于专栏:量子位量子位
博雯 发自 凹非寺 量子位 报道 | 公众号 QbitAI

多么“平平无奇”的一个换脸视频:

DeepFakes等一众换脸神器对此纷纷表示:就这?

但要是从网上的电影场景中,随意抓一把人物图像丢进去呢?

如果要换的这张脸正好在死亡角度,还做了个特别夸张的表情(或者干脆就是个表情包)呢?

水就有点深了哈。

这时,由上交大和腾讯一起搞出来的换脸框架SimSwap表示:让我来,我把握得住!

任意人脸都能换

一直身居换脸界C位的DeepFakes是怎么换脸的呢?

对于同一人脸的大量图片进行分析并提取特征,然后将这种特征替换到目标图像上。

这意味着什么呢?我换一个新脸,就得训练一个新模型。

但SimSwap提出了一种ID注入模块(IIM),在特征层面将源脸的身份信息迁移到目标脸,消除了原图特征信息与解码器的权重之间的相关性。

这样,就将特定人脸互换算法的结构扩展到了任意人脸互换框架。

也就像我们在开头展示的那样,不用精挑细选“正脸”或“中性表情,直接从网上抓一把人物图片,也能够完美换脸。

所有的目标和原图像都被排除在训练集之外。

这就大大节省了要反复建立新模型的时间和金钱。

死亡角度、夸张表情也不怕

除了泛化到任意人脸变换之外,SimSwap也能更好地保存原图的脸部表情角度

不管是表情嘴巴嘟嘟,还是目标图和原图一侧一正两个角度,都能完美换脸。

就算是自下而上的死亡打光图(下图右边第三行),SimSwap也表现得更好。

其实,像这种目标脸属性(表情,姿势,灯光)比较复杂情况下造成的特征损失,一直是换脸面对的困难之一。

表情一夸张,或者处于极端角度和光线下时,就可能导致模糊和伪影。

这是因为在换脸任务中,常常要为了匹配原始特征而删除一些纹理信息,进而使图像的深层特征产生丢失。

此外,由于图像和它的属性在特征层面高度耦合,对于特征的直接修改也会造成图像属性性能的下降。

而SimSwap提出了一种弱特征匹配损失(Weak Feature Matching Loss),保证了输入目标和生成结果在高语义水平上的一致,并使判别器在最后几层计算特征匹配项。

这样,即使没有对特定属性做任何明确的约束,输入图像的属性也能被一种隐式的方式保留。

可以看到,虽然SimSwap在原特征表现上稍微落后,但涉及到脸部姿态这种复杂属性时,它的保存能力更好。

团队介绍

论文的两位共同一作都来自上海交通大学。

而通讯作者倪冰冰为新加坡国立大学博士,现任上海交通大学电子系的特别研究员和博导,主要研究方向是计算机视觉和多媒体计算。

论文地址: https://arxiv.org/abs/2106.06340

下载地址: https://github.com/neuralchen/SimSwap

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。

免费报名 | 英伟达CV公开课

6月17日英伟达专家将通过展示「快速搭建手势识别系统」实例,带大家低门槛、高效率学习AI模型的搭建、训练与部署。

p.s 报名后可入群获取系列CV课程直播回放PPT源代码哦~

点这里👇关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见~

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2021-06-16,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 量子位 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 任意人脸都能换
  • 死亡角度、夸张表情也不怕
  • 团队介绍
相关产品与服务
访问管理
访问管理(Cloud Access Management,CAM)可以帮助您安全、便捷地管理对腾讯云服务和资源的访问。您可以使用CAM创建子用户、用户组和角色,并通过策略控制其访问范围。CAM支持用户和角色SSO能力,您可以根据具体管理场景针对性设置企业内用户和腾讯云的互通能力。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档