学习
实践
活动
专区
工具
TVP
写文章

SFFAI分享 | 古纾旸:Generative model is more than just GANs【附PPT与视频资料】

在SFFAI22我的演讲中,我们将以两篇工作为例,介绍常见的生成模型,以及对于生成模型中的不同问题我们的解决方案: With GAN: 在肖像编辑的问题中,我们怎么利用GAN同时解决多样性,高质量和可控性的问题 Without GAN: 在图像风格迁移的任务中,我们怎么解决局部信息和全局信息难以同时保留的问题。 介绍了一个用GAN解决人脸肖像编辑任务的例子。 ),我们希望能有一种通用的,高质量的,可控的人脸肖像编辑的方法。 我们进行了对比实验来分别验证了三个子网络的有效性,通过进行人脸图像编辑人脸交换,渲染人脸的实验来证明了我们的方法具有通用,高质量,可控的特点。

35810

【杂谈】如果你想快速系统掌握计算机视觉大部分领域,学习人脸图像是唯一选择

特征通常可以分为颜色特征、纹理特征、形状特征,下面我们看看在人脸方向有哪些很经典的东西。 ? 第一个是肤色高斯模型,它是颜色特征。 图像编辑与风格化 随着生成对抗网络等技术的发展,当前图像编辑与风格化正在成为计算机视觉领域的新热点,其中尤其是人脸图像落地能力最强,在人机交互,娱乐社交,内容创作等领域应用非常广泛。 ? 从人脸年龄编辑人脸卡通头像生成、换脸等全局性质的编辑,到人脸表情编辑人脸发型,人脸化妆去妆等局部性质等编辑,几乎覆盖了图像编辑与风格化的所有关键技术。当前交互式,可控的编辑模型也是研究重点。 怎么规划学习路线 上面说了这么多,无非就是想告诉大家,作为打算长期在计算机视觉有所建树的同学,人脸图像是非常值得研究的,也是不可能绕过的,那么如何长期学习相关知识呢?下面介绍我们的两个内容。 章 人脸美颜和美妆 第10章 人脸三维重建 第11章 人脸属性编辑 ?

37320
  • 广告
    关闭

    人脸识别限时特惠,10万次资源包仅需9.9元!!

    基于腾讯优图强大的面部分析技术,提供包括人脸检测与分析、比对、搜索、验证、五官定位、活体检测等多种功能,为开发者和企业提供高性能高可用的人脸识别服务

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    让对方把头侧扭90°,这一动作可辨别Deepfake伪造人脸

    选自metaphysic.ai 作者:Martin Anderson 机器之心编辑部 看似「天衣无缝」的伪造技术,也是有漏洞的。 一直以来,研究者发现 DeepFake 存在着这样一个漏洞:当伪造人脸头部转到 90 度时(侧脸 90 度),对方就能识别视频中的人脸是不是伪造的。 这是怎么回事呢? DeepFaceLive 是流行的 DeepFaceLab 软件的一个直播版本,能够帮助用户实时创建不同的视频身份。 测试中,在人脸转到 90 度以前,其余角度我们很难发现这张脸是伪造的。 事实上,大多数基于 2D 的人脸对齐算法在从正面人脸映射到侧面人脸中,仅仅对齐了 50-60% 特征点。 典型的 2D 人脸对齐算法使侧轮廓视图隐藏了 50% 的特征点,这会妨碍模型的识别、训练以及后续人脸合成。 意识到这个缺陷后,许多病毒式 Deepfake 都会有针对性地进行规避。

    13140

    手把手教你如何用 OpenCV + Python 实现人脸识别

    于是迫不及待的想体验一下 opencv 的人脸识别,如下文。 必备知识 Haar-like Haar-like 百科释义。通俗的来讲,就是作为人脸特征即可。 opencv api 要想使用 opencv,就必须先知道其能干什么,怎么做。于是 API 的重要性便体现出来了。 import cv2 cv2.imshow("Image Title",image) 获取人脸识别训练数据 看似复杂,其实就是对于人脸特征的一些描述,这样 opencv 在读取完数据后很据训练中的样品数据 ,就可以感知读取到的图片上的特征,进而对图片进行人脸识别。 处理人脸探测的结果 结束了刚才的人脸探测,我们就可以拿到返回值来做进一步的处理了。但这也不是说会多么的复杂,无非添加点特征值罢了。 import cv2 print "发现 {0} 个人脸!".

    1.7K70

    实时风格迁移,移动端运行,人脸特效又有了新玩法

    机器之心报道 编辑:维度 人脸风格迁移出现新玩法!捷克理工大学联合 Snap 公司创建了一个用于视频中人脸风格实时迁移的框架,既不需要大型数据集和冗长训练周期,更能够在移动端运行。 那么在视频上做实时人脸画风迁移效果怎么样呢? 是这样的: ? ? ? 当然,视频画风迁移并不是什么新鲜技术了。 FaceBlit,该框架通过语义上有意义的方式保留了风格的纹理细节,也就是说,用于描绘特定风格特征的笔画出现在目标图像的适当位置。 得益于这些方法上的改进,研究者创建了首个即使在移动端,也可以将单个肖像的艺术风格实时迁移至目标视频中人脸的系统框架。 image.png 为了保持目标对象的身份特征,Fišer 等人采用了一种外观指引(appearance guide)?

    49110

    汪星人出门也靠脸?狗脸识别技术可识别化妆后的汪星人,准确率99%

    新智元报道 来源:cntechpost 编辑:雅新 【新智元导读】从人脸识别到狗脸识别,图像识别技术正如火如荼地开展。 近日,支付宝开放了「宠物鼻识别」技术,同时旷视的一项名为「一种狗纹特征点的检测方法、装置、系统及储存介质」专利也获得授权。看来AI也要分宠物经济的这杯羹了。 心爱的宠物丢失怎么办? 人脸识别技术正如火如荼地开展,狗脸识别技术也不甘落后。 就在这周,支付宝开放了「宠物鼻纹识别」技术,将根据鼻纹信息创建宠物电子档案,主要应用于为猫、狗等宠物投保「宠物险」。 这项专利所述狗鼻纹特征点的检测方法包括两种: 1.基于狗鼻图像与已经训练好的狗鼻纹模型,得到所述狗鼻图像中狗鼻纹特征点与对应的各个狗鼻纹基准特征点的坐标偏差; 2.根据各个狗鼻纹基准特征点的坐标及所述坐标偏差得到所述狗鼻图像中各个狗鼻纹特征点的坐标 计算机发展这么久,最近几年才火起了人脸识别技术,说明这项技术有一定的难度。

    29830

    注意力机制YYDS,AI编辑人脸终于告别P一处而毁全图

    来自深圳大学和特拉维夫大学的最新成果,通过在GAN中引入注意力机制,成功解决了编辑人脸时会产生的一些“手抖”问题: 比如改变人的发型时把背景弄乱; 加胡子时影响到头发、甚至整张脸都不太像是同一个人了: 具体来说就是利用StyleGAN2的潜空间进行人脸编辑。 其映射器(Mapper)建立在之前的方法之上,通过学习潜空间的偏置(offset)来修改图像。 为了指导编辑,模型还引入了CLIP,它可以用文本学习偏移量并生成注意图。 FEAT的具体流程如下: 首先,给定一张具有n个特征的图像。如上图所示,浅蓝色代表特征,黄色部分标记通道数量。 再接着,用注意力模块生成的attention map将原始图像和映射图像的第i层特征进行融合,生成我们要的编辑效果。 通讯作者为沈琳琳, 深圳大学模式识别与智能系统专业硕士生导师, 目前研究方向为人脸/指纹/掌纹等生物特征识别、医学图象处理、模式识别系统。 他本硕毕业于上海交大应用电子专业,博士也毕业于诺丁汉大学。

    18220

    人脸随意编辑!Adobe祭出新一代GAN神器:最多支持35个人脸属性变化

    有些东西天生就是捆绑在一起的,想要完美的新建、合成一张新图像,机器学习模型必须能够学会创建各种各样的物体,并且最好能够分离出不同的特征和概念。 如果模型能把年龄、性别、头发颜色、肤色、情绪等分出来,那你就可以在一个框架中随意修改这些组件,更加灵活地控制生成图像,在更加细化的水平上创建编辑人脸等图像,能够完美避开图像的纠缠关系。 在过去的几年中,已经有很多人尝试创建交互式脸部编辑模型,用户可以通过滑块或者其他传统的用户界面交互来改变图片的脸部特征,并且在进行添加或改变面部特征时保持目标人脸的核心特征不变。 然而,由于GAN潜空间中的潜特征和风格纠缠现象,所以想要任意编辑人脸特征,技术还不成熟。 在过去几年里,基于GAN和编码器/解码器的人脸编辑器的l另一个反复出现的问题是,使用的变换方法往往会降低脸部相似度。

    25810

    狗盲不存在!印度小哥实战搭建狗品种识别算法,只要7步

    新智元报道 来源:网络 编辑:yaxin、su 【新智元导读】狗的品种有多少,你能否一一道来?若将不同品种的狗拉到你面前,你又能认识几个? 识别到人脸怎么办呢?它会告诉我们与此人最相似的狗狗品种。 该模型使用的狗数据集和人体数据集来自Kaggle。 具体步骤分为七步: 第 1 步:检测人类 第 2 步:检测狗 第 3 步:创建一个CNN 来对狗品种进行分类 第 4 步:使用 CNN 对狗品种进行分类(使用迁移学习) 第 5 步:创建一个CNN来对狗品种进行分类 OpenCV 是一个 python 库,它使用基于 Haar 特征的级联分类器,通过各种过滤器/内核函数提取特征,然后应用 Adaboost 算法对不良特征进行处罚。 比如,最近开发的其他先进人脸检测方法可以降低在MTCNN实现中观察到的误报率。 此外,通过增加训练数据可以使提取的瓶颈特征更完整,并且创建更丰富的图像表示,从而提高准确性。

    37160

    脸部转正!GAN能否让侧颜杀手、小猪佩奇真容无处遁形?

    “姿态表示特征”,并以此去生成多种视图的姿态图像,例如人脸转正(给定一幅侧脸,即可推知正脸图像)。 “姿势不变特征表示”和利用生成对抗网络(GAN)进行人脸转正已被广泛用于解决姿势问题。然而,受遮挡的侧脸的识别仍然是一个待解决的问题。 本文提出了负载平衡生成对抗网络(LB-GAN),可以将输入人脸图像的偏航角精确地旋转到任意指定角度。 ? LBGAN将具有挑战性的综合问题分解为两个子任务:人脸标准化和人脸编辑。 标准化首先对输入图像进行正面化,然后编辑器将正面化的图像旋转到所需姿势。 学习姿势不变特征是一种解决方案,但是需要昂贵的大规模数据标注和精心设计的特征学习算法。本文结合 3D Morphable Model (3DMM) 和 GAN 来进行人脸转正,称为FF-GAN。 ?

    71610

    人脸随意编辑!Adobe祭出新一代GAN神器:最多支持35个人脸属性变化

    有些东西天生就是捆绑在一起的,想要完美的新建、合成一张新图像,机器学习模型必须能够学会创建各种各样的物体,并且最好能够分离出不同的特征和概念。 如果模型能把年龄、性别、头发颜色、肤色、情绪等分出来,那你就可以在一个框架中随意修改这些组件,更加灵活地控制生成图像,在更加细化的水平上创建编辑人脸等图像,能够完美避开图像的纠缠关系。 在过去的几年中,已经有很多人尝试创建交互式脸部编辑模型,用户可以通过滑块或者其他传统的用户界面交互来改变图片的脸部特征,并且在进行添加或改变面部特征时保持目标人脸的核心特征不变。 然而,由于GAN潜空间中的潜特征和风格纠缠现象,所以想要任意编辑人脸特征,技术还不成熟。 在过去几年里,基于GAN和编码器/解码器的人脸编辑器的l另一个反复出现的问题是,使用的变换方法往往会降低脸部相似度。

    28430

    定制人脸图像没那么难!使用TL-GAN模型轻松变脸

    虽然创建此类应用程序困难重重,但生成模型(加一些控制)在很多方面非常有用: 内容创建:想象一下,广告公司可以自动生成具有吸引力的产品图像,而且该图像不仅与广告内容相匹配,而且与镶嵌这些图片的网页风格也相融合 为了实现可控合成,人们已经创建了很多 GAN 的变体。它们大致可分类两类:风格迁移网络和条件生成器。 TL-GAN:一种新型高效的可控合成和编辑方法 让神秘的潜在空间变得透明 我们将利用英伟达的 pg-GAN,该模型可以生成高分辨率的逼真人脸图像,如前一节所示。 灵活的交互式编辑 为了查看 TL-GAN 模型控制图像生成过程的灵活程度,我构建了一个交互式 GUI 来探索沿着不同特征轴调整特征值的效果。 视频:使用 TL-GAN 的人脸图像交互式编辑 我使用特征轴控制生成图像时,效果惊人的好! 总结 该项目提供了一种新方法来控制无监督生成模型(如 GAN)的生成过程。

    72120

    面向细粒度的人脸表情操纵

    人脸表情操纵(facial expression manipulation)任务指的是利用可输入的条件(condition)与人脸图像训练出一个图像到图像翻译的模型,生成的图像具有符合给定表情条件的特征 人脸表情编辑指的是对图像中人脸的表情进行变换和修改。通常,我们希望这种编辑方法是足够方便、可控的。方便,在于我们尽量设置少量的条件,操作简单;可控,在于我们可以精确地控制需要编辑的部分与编辑的结果。 实验 实验在AffectNet数据集上进行了训练,基于相对的AU与高质量表情编辑网络,我们可以实现表情的连续编辑人脸局部的细粒度修饰以及对类人脸图像的编辑。 ? IS为感知分数,其值越大,表示生成图像的质量越高;ACD为人脸识别网络计算的编辑前与编辑后的人脸的编码距离,反映了身份信息的差异,其值越小越好;ED为表情距离,度量了人脸表情分析网络提取的AU向量的L2 ACD的指标下,我们的结果在不使用多尺度特征融合模块时最好,但是生成的表情与目标表情差异较大,这可能是因为表情变化较小,从而人脸的身份信息变化更少。

    93230

    人脸神经辐射场的掩码编辑方法NeRFFaceEditing,不会三维建模也能编辑立体人脸

    三维人脸编辑方法 NeRFFaceEditing 提供了新的解决方案,即使不会三维建模,也能自由编辑高真实感的立体人脸,建模元宇宙中的个性化数字肖像! DeepFaceVideoEditing [7] 则将线稿编辑应用到人脸视频,能在时序上生成丰富的编辑效果。 但是,图像的解耦与编辑方法,很难直接应用至三维空间。 而几何特征与材质特征 (a) 通过可控制的材质模块(CAM)模块组合后,再从中采样特征输入材质解码器预测颜色。最后通过体渲染,得到某一视角下的人脸图像与对应的语义掩码。 而在给定一个不同的材质特征 (b) 的情况下,几何特征与材质特征 (b) 通过 CAM 模块和体渲染可以得到另一张几何不变而材质改变的人脸图像。 如下图所示: 图 5 材质相似约束训练策略 Part 3 效果展示与实验对比 使用 NeRFFaceEditing,可以借助二维的语义掩码对三维人脸空间进行几何编辑: 图 6 三维人脸几何编辑 除此之外

    11130

    孙祥学:音视频AI技术落地实践

    幻灯片5.PNG 第二个视频+AI的尝试是云剪,一款基于网页的在线视频编辑工具,你在这边编辑视频、贴片、做字幕等处理,右边直接可以预览到,处理完之后可以导出到各个平台。 人脸检索,腾讯优图人脸识别有一个入库的过程,你要把所关注的人脸图片通过特征提取入库,检索的时候实质上是向量的相似度比较。 我们对人脸检索处理衍生出来三种场景,第一种是建库检索,即先建库后检索;历史扫描是前面的视频全部处理完了,突然未入库的某个人违反了法律、吸毒了,前期处理的视频我需要把该目标出现的视频过滤出来怎么办? 那么怎么样把视频过滤出来呢? 还有一点是无缝升级处理,人脸检索引擎也会迭代,之前的库提取出来人脸向量可能就用不上了,因为在新的库里面向量维度都变了无法检索,没有参考意义,怎么样让用户无感知做到无缝升级呢?

    98541

    StyleFlow,牛逼!

    人脸属性编辑再添力作「StyleFlow」,1月7日刚刚开源,上周末我立马就试了一下。 光照角度、人脸角度、年龄、头发、眼镜、胡须、表情等多维角度都可以单独调节: StyleFlow,牛逼! 同时人脸属性编辑的效果,与曾经写过的 ALAE 算法,又有了较大的提高。 除了人脸属性编辑,「StyleFlow」也在汽车上验证了效果,汽车角度、汽车颜色都可以一键调节! 教学开始! URL:https://thispersondoesnotexist.com/ StyleFlow 就是基于 StyleGAN 的人脸属性编辑算法。 ? 思想就是,在隐空间(latent space)控制隐藏特征(latent code)来控制图片的属性。 简单点解释就是,一副人脸图片,是由多维特征组成的,比如年龄、性别、光照、肤色、发质等。 StyleFlow 就做了这么一个事,解耦特征,控制特征。 算法在人脸和汽车数据集上,都取得了非常不错的效果。

    63230

    眼见未必为实,Deepfake又来作妖了,发福“钢铁侠”,AI换脸好莱坞明星圆桌对话不忍直视!

    编辑:张佳 本文转自公众号:新智元 【导读】被发福的“钢铁侠”吓到了!近日,一个好莱坞明星圆桌对话的Deepfake视频刷爆了油管。 这怎么可能!后来我才知道,这是人家Deepfake的一个视频,把视频中人物的脸和声音替换了。 latent faces基于每个网络在其训练过程中认为有意义的特定特征。但是如果将两个自动编码器分别在不同的人脸上训练,它们的潜在空间将代表不同的特征。 使人脸交换技术成为可能的是找到一种方法来强制将两个潜在的人脸在相同的特征上编码。Deepfake通过让两个网络共享相同的编码器,然后使用两个不同的解码器来解决这个问题。 ? 解码器A仅用A的人脸来训练;解码器B只用B的人脸来训练,但是所有的latent face都是由同一个编码器产生的。这意味着编码器本身必须识别两个人脸中的共同特征

    73420

    发福“钢铁侠”、返老还童阿汤哥,Deepfake好莱坞明星圆桌对话不忍直视!

    怎么可能!后来我才知道,这是人家Deepfake的一个视频,把视频中人物的脸和声音替换了。 一个ML模型在数据集上进行训练,然后创建伪造的视频,而另一个模型尝试检测伪造。伪造者创建假视频,直到另一个ML模型无法检测到伪造。训练数据集越大,伪造者越容易创建可信的deepfake视频。 ? latent faces基于每个网络在其训练过程中认为有意义的特定特征。但是如果将两个自动编码器分别在不同的人脸上训练,它们的潜在空间将代表不同的特征。 使人脸交换技术成为可能的是找到一种方法来强制将两个潜在的人脸在相同的特征上编码。Deepfake通过让两个网络共享相同的编码器,然后使用两个不同的解码器来解决这个问题。 ? 解码器A仅用A的人脸来训练;解码器B只用B的人脸来训练,但是所有的latent face都是由同一个编码器产生的。这意味着编码器本身必须识别两个人脸中的共同特征

    38910

    【资源分享】超模脸、网红脸、萌娃脸,5款开源人脸生成器

    2019 年 2 月,Uber 软件工程师 Philip Wang 使用英伟达发表的 StyleGAN 创建了无穷尽的假肖像图集,并通过“ThisPersonDoesNotExist”网站用最简单直观的形式展示给更多的人 来自国内的网友则制作了一个人脸生成器网站 seeprettyface.com,其中汇集了 5款定制人脸的生成器,包括黄种人脸生成器、网红脸生成器、明星脸生成器、超模脸生成器和萌娃脸生成器,同时人脸属性编辑器能够对所有这些生成器生成的人物进行调整和改变 文末获取以上样本数据集 6、人脸属性编辑人脸属性编辑支持在年龄、笑容、角度、性别和光照等23个维度对生成人物作出调整。 开源心路历程及生成器研究笔记分享 Nvidia团队提出的StyleGAN模型不仅能生成高清的人脸照片,更重要的是模型因为采用了一种分级控制视觉特征的方法,能够调节不同层级上的特征,从而准确控制输出的图片是满足何种样子 ->人脸属性编辑->人脸视频合成-> 第2页目录:含穿着人物生成 ->含穿着人物服装迁移、姿态变化与动作视频生成 最后,作者也提醒所有访问seeprettyface网站的网友,要警惕生成的人脸模型图片

    2.1K20

    人脸年龄编辑:无可奈何花落去,似曾相似春又来!

    今天向大家介绍一篇今天新出的论文 High Resolution Face Age Editing,该文提出一种简单的方法实现了高分辨率的人脸年龄编辑,效果惊艳,代码也开源了。 什么是人脸年龄编辑? 相信不少同学听说过人脸老化,把一幅人脸图像转化成人物老年的样子,人脸年龄编辑则不仅可以做人脸老化,还能“返老还童”。即给定一幅人脸图片,可以生成人物不同年龄的图像。 输入图像经过一个编码器、调制网络(图中黄色模块)、解码器进行图像重建,编码器是为了得到人脸的年龄无关表示,调制网络把年龄编码成128维向量,调制每一个编码后的特征通道,加入年龄特征。 经过调制的特征,进入解码器,对于该图像对应的年龄调制的特征进行人脸重建,而想要的年龄调制的特征生成一张新的人脸,并对这张新的人脸使用鉴别器判断真假和预测年龄。 人脸重建和人脸真假判断保证了人脸编辑结果视觉效果好,人脸图像去年龄编码、年龄调制网络、年龄分类用来保证生成的结果符合预期。 实验结果 与其他算法在人脸老化任务上的数值结果比较: ?

    70710

    关注

    腾讯云开发者公众号
    10元无门槛代金券
    洞察腾讯核心技术
    剖析业界实践案例
    腾讯云开发者公众号二维码

    相关产品

    • 人脸融合

      人脸融合

      腾讯云神图·人脸融合通过快速精准地定位人脸关键点,将用户上传的照片与特定形象进行面部层面融合,使生成的图片同时具备用户与特定形象的外貌特征,支持单脸、多脸、选脸融合,满足不同的营销活动需求……

    相关资讯

    热门标签

    活动推荐

    扫码关注腾讯云开发者

    领取腾讯云代金券