深度学习的应用——快速变脸的实现

  深度学习的各种应用如火如荼的展开中,那么在人脸上还有什么好玩的项目和事情,本文推荐一个快速变脸的应用。

论文:使用卷积神经网络的快速变脸   《Fast Face-swap Using Convolutional Neural Networks》 论文下载:https://arxiv.org/abs/1611.09577

题记

  所谓变脸,我们大家都不陌生,在ps中也是经常应用的小技巧。你以为的谁再也不是谁了,如下图所示:

  接下来就是详细阐述该论文如何实现的快速变脸。

摘要

  图像中面部交换的问题是当输入身份被转换为目标身份的同时需要保持姿势,面部表情和光照等因素。 为了执行这种变换,作者使用卷积神经网络训练来捕获来自他/她的照片的非结构化集合的目标身份的外观。 这种方法通过在样式转换方面构建面部交换问题来实现,其目标是以另一种风格呈现图像。 在这一领域的最新进展的基础上,作者设计了一个新的损失函数使得网络产生高度像素级的结果。 通过将神经网络与简单的预处理和后处理步骤相结合,最终的目标是即使没有用户的输入也可以达到实时的变脸的任务。

方法

  本文中使用patch-based style损失来训练前馈神经网络以实现高水平的变脸图像。 与之前的样式转换不同的是,本文的方法使用多种样式图像,近似描述合成的样式。系统流程如下图所示:

  摘要中提到的预处理和后处理步骤在上图中可以得知,首先针对输入图像有一个预处理——对齐的操作,人脸对齐也是人脸识别等相关任务中的重要的环节;其次通过神经网络来针对输入图像进行修正;然后进行后处理操作——再次人脸对齐;   其中顶行展示了用于定义对准和重新对准步骤的仿射变换的面部关键点,以及用于拼接图像的皮肤分割任务。   本文方法的两个额外的部分就是人脸对齐和背景分割部分。从给定图像中标定68个面部关键点为参考关键点。人脸特征点使用《D. E. King. Dlib-ml: A Machine Learning Toolkit. 》的方法来提取,分割部分使用神经网络中相关的分割方法。   最关键的卷积神经网络的架构使用《Texture networks: Feed-forward synthesis of textures and stylized images.》中的网络结构。

  网络的最后一个分支以1X1卷积和3颜色通道结束。

实验结果

  第一行为原始图像;   第二行为使用Nicolas Cage(尼古拉斯·凯奇)的变脸结果;   第三行为使用Taylor Swift(泰勒斯威夫特)的变脸结果。

  当然也有一些不好的结果。 左和中:面部阻塞,在这种情况下原输入图像中的眼镜不会保存。 中间:闭合的眼睛不能正确交换,因为数据集中没有此图像的表达。 右:由于不好识别的姿势,表情和发型导致生成的变脸图像质量差。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

学界 | 无需进行滤波后处理,利用循环推断算法实现歌唱语音分离

3548
来自专栏AI科技评论

开发 | 小白学CNN以及Keras的速成

AI 科技评论按:本文作者Sherlock,原文载于其知乎专栏深度炼丹,AI 科技评论已获得其授权发布。 一、为何要用Keras 如今在深度学习大火的时候,第三...

3376
来自专栏机器学习原理

我的机器学习概率论篇排列 组合古典概率联合概率条件概率全概率公式贝叶斯公式独立事件随机变量离散型随机变量连续型随机变量期望和方差三个基本定理参数估计

前言: 概率论的理解有些抽象,掌握概率论的方法,用实际样本去无限接近真实,熟练掌握并且使用一些最基本的概念是前提,比如,均值,方差 排列 组合 计算各种...

3586
来自专栏企鹅号快讯

opencv是Python处理图片的利器!Python大牛教你玩转opencv!

opencv作为我最常用的图像处理库,当然第一个介绍,并且介绍得比较全面。毋庸置疑,opencv是今天介绍得所有图像库中最全面也最强大的库,如果我们只想掌握一个...

4115
来自专栏人工智能

机器学习,Hello World from Javascript!

导语 JavaScript 适合做机器学习吗?这是一个问号。但每一位开发者都应该了解机器学习解决问题的思维和方法,并思考:它将会给我们的工作带来什么?同样,算法...

1995
来自专栏我和未来有约会

[Silverlight动画]转向行为 - 漫游行为

漫游行为就像它的名字一样,角色在场景中毫无目的的移动。这通常用来模拟巡视和觅食,也有纯粹是为了漫游而漫游的。 漫游行为在实现上不像听起来那么容易。简单的使用随机...

1848
来自专栏IT派

python代码实现图片噪声去除

今天来给大家分享下怎么做图片的噪声去除。平时其实大家上网都能遇到这样的场景,就是输入讨厌验证码,怎么都输不对。验证码现在可以说是千奇百怪、分外妖娆,为啥要做成这...

1523
来自专栏Python数据科学

数据分析实战—北京二手房房价分析(建模篇)

本篇将继续上一篇数据分析之后进行数据挖掘建模预测,这两部分构成了一个简单的完整项目。结合两篇文章通过数据分析和挖掘的方法可以达到二手房屋价格预测的效果。

1112
来自专栏大数据文摘

李飞飞CS231n项目:这两位工程师想用神经网络帮你还原买家秀

每当某个明星或者时尚博主在微博或者朋友圈po出一张图,这就是一次低成本的营销机会。随着网购与照片分享变得越来越流行,利用用户原创内容(UGC, User Gen...

640
来自专栏人工智能头条

想研究前馈神经网络?先了解好它背后的数学吧!

862

扫码关注云+社区