深度学习的应用——快速变脸的实现

  深度学习的各种应用如火如荼的展开中,那么在人脸上还有什么好玩的项目和事情,本文推荐一个快速变脸的应用。

论文:使用卷积神经网络的快速变脸   《Fast Face-swap Using Convolutional Neural Networks》 论文下载:https://arxiv.org/abs/1611.09577

题记

  所谓变脸,我们大家都不陌生,在ps中也是经常应用的小技巧。你以为的谁再也不是谁了,如下图所示:

  接下来就是详细阐述该论文如何实现的快速变脸。

摘要

  图像中面部交换的问题是当输入身份被转换为目标身份的同时需要保持姿势,面部表情和光照等因素。 为了执行这种变换,作者使用卷积神经网络训练来捕获来自他/她的照片的非结构化集合的目标身份的外观。 这种方法通过在样式转换方面构建面部交换问题来实现,其目标是以另一种风格呈现图像。 在这一领域的最新进展的基础上,作者设计了一个新的损失函数使得网络产生高度像素级的结果。 通过将神经网络与简单的预处理和后处理步骤相结合,最终的目标是即使没有用户的输入也可以达到实时的变脸的任务。

方法

  本文中使用patch-based style损失来训练前馈神经网络以实现高水平的变脸图像。 与之前的样式转换不同的是,本文的方法使用多种样式图像,近似描述合成的样式。系统流程如下图所示:

  摘要中提到的预处理和后处理步骤在上图中可以得知,首先针对输入图像有一个预处理——对齐的操作,人脸对齐也是人脸识别等相关任务中的重要的环节;其次通过神经网络来针对输入图像进行修正;然后进行后处理操作——再次人脸对齐;   其中顶行展示了用于定义对准和重新对准步骤的仿射变换的面部关键点,以及用于拼接图像的皮肤分割任务。   本文方法的两个额外的部分就是人脸对齐和背景分割部分。从给定图像中标定68个面部关键点为参考关键点。人脸特征点使用《D. E. King. Dlib-ml: A Machine Learning Toolkit. 》的方法来提取,分割部分使用神经网络中相关的分割方法。   最关键的卷积神经网络的架构使用《Texture networks: Feed-forward synthesis of textures and stylized images.》中的网络结构。

  网络的最后一个分支以1X1卷积和3颜色通道结束。

实验结果

  第一行为原始图像;   第二行为使用Nicolas Cage(尼古拉斯·凯奇)的变脸结果;   第三行为使用Taylor Swift(泰勒斯威夫特)的变脸结果。

  当然也有一些不好的结果。 左和中:面部阻塞,在这种情况下原输入图像中的眼镜不会保存。 中间:闭合的眼睛不能正确交换,因为数据集中没有此图像的表达。 右:由于不好识别的姿势,表情和发型导致生成的变脸图像质量差。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏SIGAI学习与实践平台

OCR技术简介

光学字符识别(Optical Character Recognition, OCR)是指对文本资料的图像文件进行分析识别处理,获取文字及版面信息的过程。亦即将图...

3421
来自专栏机器之心

资源 | Picasso:开源的CNN可视化工具

选自Medium 机器之心编译 参与:侯韵楚、李泽南 神经网络在图像处理中应用广泛,但经常面临难以调整参数的问题。最近,来自 Merantix 的 Ryan H...

3298
来自专栏CVer

[计算机视觉] 入门学习资料

本文将介绍计算机视觉相关的经典书籍,顶级期刊/会议,在线学习课程,常用开源库和安利小工具等。 简介 计算机视觉(Computer Vision) 计算机视觉是...

81818
来自专栏AI科技评论

视频 | AI实时生成材质,效果直逼好莱坞大片

我们的卷积神经网络可以提供这些图像的实时预测结果,这些预测与真正的渲染图像难以分辨,并且实时生成。

1043
来自专栏机器之心

学界 | IBM、哈佛联合提出Seq2Seq-Vis:机器翻译模型的可视化调试工具

1483
来自专栏新智元

神经网络决策过程可视化:AI眼中马云、马化腾、李彦宏谁最有吸引力?

来源:thehive.ai 作者:Hive机器学习工程师Ryan 编译:费欣欣 【新智元导读】神经网络在进行图像分类时如何做决策?The Hive的机器学习工程...

3829
来自专栏AI科技大本营的专栏

深度神经网络生成模型:从 GAN VAE 到 CVAE-GAN

作者 | Blink·禀临科技 联合创始人·彭博 整理 | AI科技大本营(rgznai100) 在几年前,深度神经网络的热门话题是分类问题: 给定一张图 x,...

3978
来自专栏智能算法

人脸识别应用之“变脸”

“照片分享”是社交场景中比重很大的一部分,当然现在来看视频(特别是短视频)也变得越来越多,而照片又以人像为主,所以我们看到如QQ空间、微博、微信朋友圈里,自拍、...

4297
来自专栏大数据文摘

AI小视频 | 原创灵魂手绘,聊个5分钟的人工智能

1776
来自专栏AI科技评论

学界 | 谷歌语音识别端到端系统单词错误率降至5.6%,较传统模型提升16%

AI 科技评论按:本文是由来自谷歌语音团队的科学家 Tara N. Sainath 和来自谷歌大脑团队的科学家 Yonghui Wu 共同撰写的,文中简单介绍了...

2586

扫码关注云+社区