深度学习的应用——快速变脸的实现

  深度学习的各种应用如火如荼的展开中,那么在人脸上还有什么好玩的项目和事情,本文推荐一个快速变脸的应用。

论文:使用卷积神经网络的快速变脸   《Fast Face-swap Using Convolutional Neural Networks》 论文下载:https://arxiv.org/abs/1611.09577

题记

  所谓变脸,我们大家都不陌生,在ps中也是经常应用的小技巧。你以为的谁再也不是谁了,如下图所示:

  接下来就是详细阐述该论文如何实现的快速变脸。

摘要

  图像中面部交换的问题是当输入身份被转换为目标身份的同时需要保持姿势,面部表情和光照等因素。 为了执行这种变换,作者使用卷积神经网络训练来捕获来自他/她的照片的非结构化集合的目标身份的外观。 这种方法通过在样式转换方面构建面部交换问题来实现,其目标是以另一种风格呈现图像。 在这一领域的最新进展的基础上,作者设计了一个新的损失函数使得网络产生高度像素级的结果。 通过将神经网络与简单的预处理和后处理步骤相结合,最终的目标是即使没有用户的输入也可以达到实时的变脸的任务。

方法

  本文中使用patch-based style损失来训练前馈神经网络以实现高水平的变脸图像。 与之前的样式转换不同的是,本文的方法使用多种样式图像,近似描述合成的样式。系统流程如下图所示:

  摘要中提到的预处理和后处理步骤在上图中可以得知,首先针对输入图像有一个预处理——对齐的操作,人脸对齐也是人脸识别等相关任务中的重要的环节;其次通过神经网络来针对输入图像进行修正;然后进行后处理操作——再次人脸对齐;   其中顶行展示了用于定义对准和重新对准步骤的仿射变换的面部关键点,以及用于拼接图像的皮肤分割任务。   本文方法的两个额外的部分就是人脸对齐和背景分割部分。从给定图像中标定68个面部关键点为参考关键点。人脸特征点使用《D. E. King. Dlib-ml: A Machine Learning Toolkit. 》的方法来提取,分割部分使用神经网络中相关的分割方法。   最关键的卷积神经网络的架构使用《Texture networks: Feed-forward synthesis of textures and stylized images.》中的网络结构。

  网络的最后一个分支以1X1卷积和3颜色通道结束。

实验结果

  第一行为原始图像;   第二行为使用Nicolas Cage(尼古拉斯·凯奇)的变脸结果;   第三行为使用Taylor Swift(泰勒斯威夫特)的变脸结果。

  当然也有一些不好的结果。 左和中:面部阻塞,在这种情况下原输入图像中的眼镜不会保存。 中间:闭合的眼睛不能正确交换,因为数据集中没有此图像的表达。 右:由于不好识别的姿势,表情和发型导致生成的变脸图像质量差。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

学界 | 无需进行滤波后处理,利用循环推断算法实现歌唱语音分离

38280
来自专栏AI科技评论

开发 | 小白学CNN以及Keras的速成

AI 科技评论按:本文作者Sherlock,原文载于其知乎专栏深度炼丹,AI 科技评论已获得其授权发布。 一、为何要用Keras 如今在深度学习大火的时候,第三...

36160
来自专栏量子位

为什么我的CNN石乐志?我只是平移了一下图像而已

一般来说,图像经过小小的平移和变形之后,人类还是信任CNN能够把它们泛化,识别出里面的物体。

16220
来自专栏深度学习之tensorflow实战篇

贝叶斯估计中极大似然估计、拉普拉斯平滑定理以及M-估计

英文原文链接:http://www.temida.si/~bojan/probability_estimation.php 原文: Probabilit...

35280
来自专栏大数据文摘

李飞飞CS231n项目:这两位工程师想用神经网络帮你还原买家秀

每当某个明星或者时尚博主在微博或者朋友圈po出一张图,这就是一次低成本的营销机会。随着网购与照片分享变得越来越流行,利用用户原创内容(UGC, User Gen...

7800
来自专栏机器之心

Kaggle竞赛「找盐」冠军:价值5万美元的第一名方案出炉

本项竞赛奖金丰厚,前四名总共可获得 10 万美元的奖励,而第一名将获得 5 万美元。

16650
来自专栏机器学习原理

我的机器学习概率论篇排列 组合古典概率联合概率条件概率全概率公式贝叶斯公式独立事件随机变量离散型随机变量连续型随机变量期望和方差三个基本定理参数估计

前言: 概率论的理解有些抽象,掌握概率论的方法,用实际样本去无限接近真实,熟练掌握并且使用一些最基本的概念是前提,比如,均值,方差 排列 组合 计算各种...

70160
来自专栏人工智能

机器学习,Hello World from Javascript!

导语 JavaScript 适合做机器学习吗?这是一个问号。但每一位开发者都应该了解机器学习解决问题的思维和方法,并思考:它将会给我们的工作带来什么?同样,算法...

21450
来自专栏企鹅号快讯

opencv是Python处理图片的利器!Python大牛教你玩转opencv!

opencv作为我最常用的图像处理库,当然第一个介绍,并且介绍得比较全面。毋庸置疑,opencv是今天介绍得所有图像库中最全面也最强大的库,如果我们只想掌握一个...

58150
来自专栏ml

模式识别---图像二值化

要对图像进行识别,首先要做的将图像从多通道颜色分量变为单通道,也就是gray色调中来,常用的方法有目下三种, 第一种  求rgb颜色风量的平均值:       ...

436120

扫码关注云+社区

领取腾讯云代金券