深度学习的应用——快速变脸的实现

  深度学习的各种应用如火如荼的展开中,那么在人脸上还有什么好玩的项目和事情,本文推荐一个快速变脸的应用。

论文:使用卷积神经网络的快速变脸   《Fast Face-swap Using Convolutional Neural Networks》 论文下载:https://arxiv.org/abs/1611.09577

题记

  所谓变脸,我们大家都不陌生,在ps中也是经常应用的小技巧。你以为的谁再也不是谁了,如下图所示:

  接下来就是详细阐述该论文如何实现的快速变脸。

摘要

  图像中面部交换的问题是当输入身份被转换为目标身份的同时需要保持姿势,面部表情和光照等因素。 为了执行这种变换,作者使用卷积神经网络训练来捕获来自他/她的照片的非结构化集合的目标身份的外观。 这种方法通过在样式转换方面构建面部交换问题来实现,其目标是以另一种风格呈现图像。 在这一领域的最新进展的基础上,作者设计了一个新的损失函数使得网络产生高度像素级的结果。 通过将神经网络与简单的预处理和后处理步骤相结合,最终的目标是即使没有用户的输入也可以达到实时的变脸的任务。

方法

  本文中使用patch-based style损失来训练前馈神经网络以实现高水平的变脸图像。 与之前的样式转换不同的是,本文的方法使用多种样式图像,近似描述合成的样式。系统流程如下图所示:

  摘要中提到的预处理和后处理步骤在上图中可以得知,首先针对输入图像有一个预处理——对齐的操作,人脸对齐也是人脸识别等相关任务中的重要的环节;其次通过神经网络来针对输入图像进行修正;然后进行后处理操作——再次人脸对齐;   其中顶行展示了用于定义对准和重新对准步骤的仿射变换的面部关键点,以及用于拼接图像的皮肤分割任务。   本文方法的两个额外的部分就是人脸对齐和背景分割部分。从给定图像中标定68个面部关键点为参考关键点。人脸特征点使用《D. E. King. Dlib-ml: A Machine Learning Toolkit. 》的方法来提取,分割部分使用神经网络中相关的分割方法。   最关键的卷积神经网络的架构使用《Texture networks: Feed-forward synthesis of textures and stylized images.》中的网络结构。

  网络的最后一个分支以1X1卷积和3颜色通道结束。

实验结果

  第一行为原始图像;   第二行为使用Nicolas Cage(尼古拉斯·凯奇)的变脸结果;   第三行为使用Taylor Swift(泰勒斯威夫特)的变脸结果。

  当然也有一些不好的结果。 左和中:面部阻塞,在这种情况下原输入图像中的眼镜不会保存。 中间:闭合的眼睛不能正确交换,因为数据集中没有此图像的表达。 右:由于不好识别的姿势,表情和发型导致生成的变脸图像质量差。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

论文 | Twitter在超分辨率技术上取得新进展,能还原打码图片

AI科技评论按:受到万众瞩目的ICLR已经于今天在法国土伦召开。该大会由Yann LeCun 、 Yoshua Bengio 等几位行业顶级专家于2013年发起...

3434
来自专栏null的专栏

论文阅读——YouTube的视频推荐系统

《The YouTube video recommendation system》是一篇详细介绍YouTube视频推荐的论文,在整个系统中没有复杂的算法,使用了...

2984
来自专栏量子位

干货分享 | 云脑科技核心算法工程师详解时间序列(附PPT)

云脑科技机器学习训练营以讲解时间序列收尾,详细解说了时间序列的传统模型、进阶模型、神经网络模型,量子位作为合作媒体为大家带来本期干货整理。 内容简介 主讲人:徐...

2664
来自专栏大数据挖掘DT机器学习

用支持向量机预测第二天开盘趋势和股价的正负统计分析

监督式学习是机器学习的一个分支,可以通过训练样本而建立起一个输入和输出之间的函数,并以此对新的事件进行预测。 典型的监督学习流程如下: ? 支持向量机 是监督...

2934
来自专栏AI研习社

模型不收敛,训练速度慢,如何才能改善 GAN 的性能?

作为 GAN 系列的一部分,本文探讨了如何改进 GAN 的方法。 尤其在如下方面,

1414
来自专栏人工智能头条

模仿学习(Imitation Learning)完全介绍

2795
来自专栏个人分享

数据挖掘10大算法详细介绍

在一份调查问卷中,三个独立专家小组投票选出的十大最有影响力的数据挖掘算法,今天我打算用简单的语言来解释一下。

1254
来自专栏大数据文摘

生成对抗网络(GANs)最新家谱:为你揭秘GANs的前世今生

1082
来自专栏AI科技评论

干货 | 浙大博士生刘汉唐带你回顾图像分割的经典算法

AI科技评论按:图像语义分割是 AI 领域中一个重要的分支,是机器视觉技术中关于图像理解的重要一环。近年的自动驾驶技术中,也需要用到这种技术。车载摄像头探查到图...

3445
来自专栏专知

春节充电系列:李宏毅2017机器学习课程学习笔记09之Tip for training DNN

【导读】我们在上一节的内容中已经为大家介绍了台大李宏毅老师的机器学习课程的简单实践,这一节将主要针对讨论训练DNN的小技巧。本文内容涉及机器学习中训练DNN的若...

3748

扫码关注云+社区