学习
实践
活动
工具
TVP
写文章

真实到可怕!英伟达MIT造出马良的神笔

通过一个简单的素描草图,就能生成细节丰富、动作流畅的高清人脸: ? 根据勾勒出的人脸轮廓,系统自动生成了一张张正在说话的脸,脸型、面部五官、发型、首饰都可以生成。 ? 甚至还主动承担了给人脸绘制背景的任务。 除此之外,人脸的面色、发色也可以定制化选择,皮肤或深或浅,发色或黑或白,全都自然生成无压力: ? ? △ 面色红润style ? △ 一脸苍白style ? 技术细节 这么NB的效果,是怎么实现的? 说下要点。 ? 研究团队使用了序列生成器和多尺度鉴别器来训练神经网络。生成器接收输入映射和前序帧,然后生成中间帧和Flow map。 鉴别器共有两种,一种处理图片,一种处理视频。 图片鉴别器同时获取输入图像和输出图像,并从多个特征尺度进行评估,这与pix2pixHD类似。视频鉴别器接收Flow maps以及相邻帧以确保时间一致性。 包括用8个GPU怎么训练,用1个GPU又该怎么设置等等。 ? 你所需要准备的是,一个Linux或者macOS系统,Python 3,以及英伟达GPU+CUDA cuDNN。

38830

GAN能合成2k高清图了!还能手动改细节 | 论文+代码,英伟达出品

到底是怎么一回事?上车,我们前去看看论文。 效果惊人 有一个官方演示视频—— pix2pixHD具有通过语义标注的图像还原到现实世界的能力,并且还能根据需要轻松修改和搭配图像。 无论是在街景中增加和减少物体,还是改变人脸的五官,都是通过一个可编辑的界面完成的。 只能搞定256×256的pix2pix,怎么就变成这个“鹅妹子嘤”pix2pixHD呢?我们来看看技术细节。 网络架构 要生成高分辨率图片,直接用pix2pix的架构是肯定不行的。 多尺度鉴别器 高分辨率图片不仅生成起来难,让计算机鉴别真假也难。 要鉴别高分辨率图像是真实的还是合成的,就需要一个感受野很大的鉴别器,也就是说,要么用很深的网络,要么用很大的卷积核。 于是这篇论文的作者们提出了一种新思路:多尺度鉴别器,也就是用3个鉴别器,来鉴别不同分辨率图片的真假。 ? 如上图所示,这三个鉴别器D1、D2和D3有着相同的网络结构,但是在不同尺寸的图像上进行训练。

80480
  • 广告
    关闭

    【11.11特惠】AI人工智能低至0.2折

    11.11云上盛惠,人脸核身、人脸识别、文字识别、语音技术、人脸特效等AI产品限时抢!

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    用GAN还原语义标注图!还能手动改细节

    到底是怎么一回事?上车,我们前去看看论文。 效果惊人 有一个官方演示视频—— pix2pixHD具有通过语义标注的图像还原到现实世界的能力,并且还能根据需要轻松修改和搭配图像。 无论是在街景中增加和减少物体,还是改变人脸的五官,都是通过一个可编辑的界面完成的。 只能搞定256×256的pix2pix,怎么就变成这个“鹅妹子嘤”pix2pixHD呢?我们来看看技术细节。 网络架构 要生成高分辨率图片,直接用pix2pix的架构是肯定不行的。 多尺度鉴别器 高分辨率图片不仅生成起来难,让计算机鉴别真假也难。 要鉴别高分辨率图像是真实的还是合成的,就需要一个感受野很大的鉴别器,也就是说,要么用很深的网络,要么用很大的卷积核。 于是这篇论文的作者们提出了一种新思路:多尺度鉴别器,也就是用3个鉴别器,来鉴别不同分辨率图片的真假。 如上图所示,这三个鉴别器D1、D2和D3有着相同的网络结构,但是在不同尺寸的图像上进行训练。

    53960

    不要怂,就是GAN

    D是一个鉴别器(Discriminator),它就是上文说的要训练的另一个网络,用来评价G生成的图片效果好不好,怎么评价呢? X中就是我们希望训练出的模型能够生成的目标类型图片集,比如都是各种人脸图片,那么训练过程中D就会不断判断G生成的图片和真实人脸图片谁才是真的,刚开始G生成的图片比较不知所云,所以可以判断,慢慢地G会随着 D的反馈越来越优秀,生成的图片越来越像人脸,从而能以假乱真,影响D的判断,而D也在不断地成长,越来越火眼金睛,从而能识别出G的图片是假的,由于做对比的是各种人脸图片呢,所以G为了骗过D,也会生成类似的人脸 前面说了我们的输入可以改成图片,这里我们的目的是把一匹马转换成一批斑马,现在输入一张马的图片到生成器,结果给到鉴别器,鉴别器从真实的斑马数据集中取照片,和生成的斑马做比较判断,这是第一个GAN结构。 另一个GAN结构,输入一个斑马图片到另一个生成器(这个生成器的训练目的是把斑马转化成马),生成的结果马图片输入到另一个鉴别器,该鉴别器从真实的马数据集中取照片,和生成的马做比较判断。

    20140

    Deep-Fake原理揭示:使用WGAN-GP算法构造精致人脸

    如果把函数f看做鉴别者网络,把输入的参数x看做是输入网络的图片,那么需要网络对所有输入图片求导后,所得结果求模后不大于1.这里需要进一步解释的是,由于图片含有多个像素点,如果把每一个像素点的值都看成是输入网络的参数 例如要让网络生成人脸,我们也不可能拿所有人脸图像来训练网络,因此就要做折中或妥协,我们拿一张真的人脸图像,然后用构造者网络生成一张假的人脸图像,在这两个人脸图像之间取一点,然后让网络对该点求导后结果的绝对值不大于 , image_batch): ''' 训练鉴别师网络,它的训练分两步骤,首先是输入正确图片,让网络有识别正确图片的能力。 然后使用生成者网络构造图片,并告知鉴别师网络图片为假,让网络具有识别生成者网络伪造图片的能力 ''' with tf.GradientTape(persistent=True 可以看到网络生成的人脸图像非常细腻生动,虽然有些人脸图像不够清楚,但绝大多数人脸图像,例如第一行第一章人脸图像,你很难想象它是由神经网络生成的虚拟人脸图像,因为它太逼真了。

    32320

    学界 | 要让GAN生成想要的样本,可控生成对抗网络可能会成为你的好帮手

    通过实验,证实了CGAN可以有效地根据输入标签生成人脸图像样本。 材料和方法 CGAN由三种神经网络结构组成,发生器/解码器,鉴别器和分类器/编码器。图1中描述了这种CGAN的架构。 结果和讨论 使用CelebA数据库生成多标签的名人人脸图片样本 通过想发生器输入多个标签,CGAN可以生成多标签样本。CelebA数据库由多个标签的图片构成。 从图中可以看出CGAN生成的人脸图片比条件GAN更契合输入标签。例如,使用“Arched Eyebrow”标签时,CGAN生成的图片全部符合这个标签的特征,而条件GAN则有偏差。 ? 结论 这篇论文提出了一种新的生成网络模型,即CGAN,这种模型可以控制生成的图片样本。CGAN包含三个模块,发生器/解码器,鉴别器和分类器/编码器。 通过实验,作者证实了CGAN可以生成具有多个标签的人脸图片。同时,这种控制有效性也可以对生成对抗网络的研究带来一些重要的提升。

    760100

    论文Express | 谷歌DeepMind最新动作:使用强化对抗学习,理解绘画笔触

    人类需要告诉模型,哪些输入图片是猪,模型才能从中总结规律。 鉴别器能判断某图形是由Agent生成的,还是从真实照片的数据集中采样而来。 如果代理生成的图像成功地骗过了鉴别器,就会获得奖励。也就是说,奖励函数本身也是由代理学习得来,人类并没有设置奖励函数。 接下来,鉴别器将作出预测,该图像是目标图像的副本,还是由代理生成的。图像越难鉴别,代理得到的回报越多。 重要的是,这一切是可以解释的,因为它产生了一系列控制模拟画笔的动作。 同时值得注意的是,这里对绘画的笔顺并没有强调,只要画得像,就不管是怎么画出来的了。 ? 在人脸的真实数据集上,强化对抗式学习也取得了不错的效果。 绘制人脸时,代理能够捕捉到脸部的主要特征,例如脸型、肤色和发型,就像街头艺术家用寥寥几笔描绘肖像时一样: ?

    43640

    要让 GAN 生成想要的样本,可控生成对抗网络可能会成为你的好帮手

    通过实验,证实了 CGAN 可以有效地根据输入标签生成人脸图像样本。 材料和方法 CGAN 由三种神经网络结构组成,发生器 / 解码器,鉴别器和分类器 / 编码器。 结果和讨论 使用 CelebA 数据库生成多标签的名人人脸图片样本 通过想发生器输入多个标签,CGAN 可以生成多标签样本。CelebA 数据库由多个标签的图片构成。 从图中可以看出 CGAN 生成的人脸图片比条件 GAN 更契合输入标签。例如,使用 “Arched Eyebrow” 标签时,CGAN 生成的图片全部符合这个标签的特征,而条件 GAN 则有偏差。 结论 这篇论文提出了一种新的生成网络模型,即 CGAN,这种模型可以控制生成的图片样本。CGAN 包含三个模块,发生器 / 解码器,鉴别器和分类器 / 编码器。 通过实验,作者证实了 CGAN 可以生成具有多个标签的人脸图片。同时,这种控制有效性也可以对生成对抗网络的研究带来一些重要的提升。

    1.7K20

    解读 | 生成人脸修复模型:同时使用两个鉴别器,直接合成逼真人脸

    简介 这篇论文提出了一个用来进行人脸修复的深度生成模型,如下图所示,针对一副面部图片中的缺失区域,这个模型可以直接修复人脸。 ? 与之前很多其他工作不同,针对人脸修复任务,这篇论文的作者同时使用了两个鉴别器来构建整个模型,因此不论是局部图像还是整个图像,看上去都更加逼真。 2. 方法 2.1 模型结构 ? 语义解析网络用于改进上述生成对抗网络生成的图片,语义解析网络是基于论文《使用全连接卷积编码-解码网络进行物体轮廓检测》,因为这种网络能够提取到图像的高水平特征。 两个鉴别器的损失函数的不同之处在于:局部鉴别器的损失函数 (L_a1) 仅仅反向传播图像缺失区域的损失梯度,而整体鉴别器的损失函数 (L_a2) 反向传播整个图像的损失梯度。 结论 这个基于生成对抗网络的模型具有两个鉴别器和一个语义正则化网络,能够处理人脸修复任务。它能够在随机噪声中成功地合成缺失的人脸部分。 6.

    96980

    “一网打尽”Deepfake等换脸图像,微软提出升级版鉴别技术Face X-Ray​

    虽然研究者们为检测换脸图片提出了多种AI鉴别算法,但随着换脸算法的不断改造升级,鉴别算法很难跟上换脸算法的变化。 微软亚洲研究院团队近期提出的Face X-Ray算法或将改变这种局面。 它能鉴别图片真假,不但能告诉你图片有没有进行过换脸操作,而且还能告诉你换脸操作的边界在什么地方。”这篇论文已入选CVPR 2020。 因此,Face X-Ray 通过确定图像是否包含两种不同的噪声,就能判定一张人脸图像为合成图像的几率。 同时,使用分类器方法的前提是一定要收集大量假图片才能进行训练,但“假图片”本身可能已经对社会造成了危害。 Face X-Ray则把换脸鉴别技术推到了更高层次。 首先具有通用性,Face X-Ray背后的算法是“类自监督学习”的一种方法,“我们不需要这些(换脸图片)数据,也不用知道是哪个换脸算法,就能鉴别。”郭百宁称。

    29920

    GeekPwn对抗样本挑战赛冠军队伍开源人脸识别攻击解决方案

    比赛上半场中,赛会要求所有选手进行非定向图片(将飞行器识别为任何其他物体)、定向图片(将武器识别为特定的其他物品)以及亚马逊名人鉴别系统(将大赛主持人蒋昌建的照片识别为施瓦辛格)共计三种图像的对抗样本攻击 他们需要对照片做一些小的修改,以欺骗人脸识别系统,让它把照片中的人识别为施瓦辛格。比赛结束后,大家才知道该人脸识别系统是亚马逊名人鉴别系统。 由吴育昕与谢慈航组成的「IYSWIM」战队在限时 30 分钟的比赛中,首先于 21 分钟破解了亚马逊名人鉴别系统 Celebrity Recognition,并随后在定向图片的对抗样本攻击上破解成功,取得了领先 而对于人脸,我们首先收集 target 人物的 N 张人脸图片,运行模型得到 N 个 embedding vector v_i。 在相关的 GitHub repo 中,我们可以看到该团队的攻击代码和结果: 结果 比赛期间,吴育昕团队成功地攻击了 AWS 名人鉴别系统,让它把蒋昌建识别为了施瓦辛格。 ?

    74320

    贾佳亚等提出卡通图与真实人脸转换模型,看女神突破次元壁长啥样

    研究人员表示,通过在真实人脸和卡通人脸之间使用不成对的训练数据来生成人的卡通图片,是他们一直关注的领域。 但在此前,这项任务存在这巨大挑战: 真实和卡通人脸的结构属于两个不同的领域,外观相差很大。如果没有明确的对应关系,很难捕捉基本面部特征,并生成高质量卡通图片。 最后,通过局部和全局两种鉴别器,研究人员细化在卡通图和对应真实图像中的人脸特征。在这个阶段,强调了landmark的一致性,因此最后的生成生成结果逼真且有辨识度。 这两种鉴别器分工不同,并且各司其职。 研究人员表示,设计了就那landmark一致性损失,并将其匹配到全局鉴别器中,增强面部结构的相似性。 此外,人脸中的landmark可以用来定义局部鉴别器,进一步指导生成器在训练过程中多关注重要的面部特征。

    1.1K10

    AI换脸鉴别率超99.6%,微软用技术应对虚假信息

    FaceSwap 是一个学习重建脸部特征的深度学习算法,可以对给出的图片进行模型替换,人类对于此类换脸的识别率也是75%左右*。 Face2Face 则是用其他真实的人脸去替换原本的人脸,不涉及人脸的生成,对于它制造的脸,人类的识别率只有41%*。 多年来,微软亚洲研究院在人脸识别、图像生成等方向都拥有业界领先的算法和模型。 图1:微软亚洲研究院开发的模型分别提取蒙娜丽莎和赫本图片中的身份信息和属性信息进行合成 因此,微软亚洲研究院研发的换脸鉴别算法,基于 FaceForensics 数据库的测试结果均超越了人类肉眼的识别率以及此前业界的最好水平 与此同时,研究员还对人脸合成时难以处理的细节进行检查,如眼镜、牙齿、头发边缘、脸部轮廓,将它们作为算法关注的重点,从而提高识别准确率。

    29320

    循环生成网络 CycleGan 原理介绍

    例如:给定一组人脸图像,该算法可以自学(通过机器学习数据进行训练)人脸的外观,并能够创建新人脸。 CycleGAN是传统GAN的特殊变体。 在两个数据源是狗的图片和猫的图片的情况下,该算法能够有效地能够将猫的图像转换为狗的图像,反之亦然。 他们是怎么做到的呢? 什么是CycleGan? 此外,每个生成器都与一个鉴别器相关联,该鉴别器学习将实际数据y与合成数据G(x)区分开。 ? 生成器函数G和F的定义。 因此,CycleGAN由两个生成器和两个鉴别器组成,它们学习变换函数F和G。 鉴别器损失也用于训练鉴别器,以擅长区分真实数据和合成数据。 当这两个设置在一起时,它们将彼此改善。训练生成器来欺骗鉴别器,并且鉴别器将被训练为从合成数据中更好地区分真实数据。 D是鉴别函数,G是生成函数。 对于第二个生成器-鉴别器对,可以写出类似的损失: ? CycleGAN将尝试最小化两个GAN损失的总和,以变换F和G。

    1.5K20

    AI换脸鉴别率超99.6%,微软用技术应对虚假信息

    FaceSwap 是一个学习重建脸部特征的深度学习算法,可以对给出的图片进行模型替换,人类对于此类换脸的识别率也是75%左右*。 Face2Face 则是用其他真实的人脸去替换原本的人脸,不涉及人脸的生成,对于它制造的脸,人类的识别率只有41%*。 多年来,微软亚洲研究院在人脸识别、图像生成等方向都拥有业界领先的算法和模型。 图1:微软亚洲研究院开发的模型分别提取蒙娜丽莎和赫本图片中的身份信息和属性信息进行合成 因此,微软亚洲研究院研发的换脸鉴别算法,基于 FaceForensics 数据库的测试结果均超越了人类肉眼的识别率以及此前业界的最好水平 与此同时,研究员还对人脸合成时难以处理的细节进行检查,如眼镜、牙齿、头发边缘、脸部轮廓,将它们作为算法关注的重点,从而提高识别准确率。

    39920

    万圣节教你用 OpenCV Remix 一张 n 合1脸

    啊……反正是怎么?怎么怎么来。 今年禅师就想,老是这些东西也没什么新鲜的。昨晚上打开柜子,看着里面躺着去年的?面具,前年的?面具,大前年的?,?,? 解决方案 通过 Image Morphing 技术,给定两张图片 I 和 J ,就可以叠加(或者叫做混合)I 和 J 来获得一张中间状态的图片 M。 对齐人脸 要想对齐两张人脸,需要建立两张照片中像素的对应关系。 区分性别 经过尝试,合成后的脸怎么看都感觉是男的。至于如何训练模型来区分性别,扫描下方二维码来获取答案吧 ? ? 参考资料 【1】 AverageFace 代码、模型及样例图片 【2】 FaceGenderClassification 配置文件及命令 【3】 原始的性别分类模型 【4】Delaunay三角剖分原理

    31120

    清华大学提出APDrawingGAN:人脸照片秒变艺术肖像画,已被CVPR 2019录取

    下面文摘菌简单试了几张图片~ ? 网红小哥的神韵是不是被体现的淋淋尽致~ ? 人脸照片来源于免费版权图片网站Pixabay。 鉴别器网络D用于判断输入图像是否是真实的,即是否是艺术家画的艺术肖像画。其中全局鉴别器对整个图像进行检查,以判断肖像画的整体特征。而局部鉴别器对不同的局部面部区域进行检查,评估细节的质量。 局部鉴别器和全局鉴别器都采用PatchGAN的形式。 针对艺术肖像线条画中的线条笔画风格,提出了一个全新的距离变换(DT)损失。 APDrawingGAN在没有对应艺术家肖像画的人脸照片上的测试结果。人脸照片来源于免费版权图片网站Pixabay。 ? 图5.

    61330

    GAN秒变肖像画!清华刘永进提出APDrawingGAN ,CVPR Oral(附微信小程序)

    人脸照片来源于免费版权图片网站Pixabay。 左侧为层次化生成器网络的结构,右侧为层次化鉴别器网络的结构。 在APDrawingGAN中,生成器网络G和鉴别器网络D都采用层次化的结构。 鉴别器网络D用于判断输入图像是否是真实的,即是否是艺术家画的艺术肖像画。 其中全局鉴别器对整个图像进行检查,以判断肖像画的整体特征。而局部鉴别器对不同的局部面部区域进行检查,评估细节的质量。 局部鉴别器和全局鉴别器都采用PatchGAN的形式。 人脸照片来源于免费版权图片网站Pixabay。 ? 图5. APDrawingGAN与Gatys,CycleGAN和Pix2Pix方法在艺术肖像风格化上的结果对比。

    57660

    【GANs】将普通图片转换为梵高大作

    超级逼真的人脸、动物和其他算法生成的图像令人惊叹不已,要知道,这项技术出现也不过短短几年。 生成式对抗网络技术人脸处理实例 这一领域相关度最高的研究是英伟达的 StyleGAN和谷歌的BigGAN。 要生成高质量的图片需要极高的计算能力,所以目前仍不是个可以轻松解决的问题。 孪生生成式对抗网络(Siamese GAN)架构 孪生生成式对抗网络由生成器和鉴别器组成。图片输入生成器,输出编辑过的图片图片输入鉴别器,输出一个潜在矢量。 接着是孪生鉴别器(D),鉴别器的输入数据大小是生成器输入数据大小的两倍(2Sx2S),其输出是大小为LENVEC的向量。 D将图片信息解码,处理成向量D(X),例如: 1. 所以,如果能给生成器提供更多内容,比如编码后的“内容向量”,就能衍生出各种各样的其他用法,为更复杂的内容为导向的高清图片编辑开启无限可能,比如由一种图像转换成另一种图像、人脸、或动物等。

    1.3K30

    相关产品

    • 换脸甄别

      换脸甄别

      换脸甄别(ATDF)技术可鉴别视频、图片中的人脸是否为AI换脸算法所生成的假脸,同时可对视频或图片的风险等级进行评估。广泛应用于多种场景下的真假人脸检测、公众人物鉴别等,能有效的帮助支付、内容审核等行业降低风险,提高效率。

    相关资讯

    热门标签

    活动推荐

    扫码关注腾讯云开发者

    领取腾讯云代金券