人脸“移植”,快手是怎样做到的?

郭一璞 发自 凹非寺 量子位 报道 | 公众号 QbitAI

AI能换脸,想必你已有所耳闻。

但通过手机就可以实时“变脸”,快手还是第一家。

没错,这家短视频领域的独角兽,正在利用AI技术,给产品创造更多玩法。

近期新版本更新后,快手App上新增了AR换脸特效,与常见的点缀式手机AR特效不同,这个AR角色的面孔可以由用户自定义。

怎么讲?

比如在拍摄短视频时,如果选择了AR换脸特效,可以选取相册中的照片,把相册中的人脸“移植”到AR三维模型上…

之后,一个长着你想要的脸的3D虚拟角色,就诞生了。

像这样:

这样:

或者这样:

今日最佳白切鸡

当然,玩起来很简单,但背后的AI技术并不简单。

AR变脸背后的AI技术

核心而言,要感谢快手的3D引擎,以及考验AI硬实力的YCNN深度推理学习技术。

所谓3D引擎,就是为了呈现3D的角色,在引擎上添加编辑器模块、渲染模块、肢体模块、声音模块等。

这些模块让3D角色皮肤光滑、在真实的光影条件下立体而真实,可以让用户随意拖拽这些角色的位置。

但这才刚开始。

3D角色成形后,离实现AR换脸还有3大步骤:

一,让3D角色AR化; 二,把用户照片中的脸移植到AR模型上; 三,让即使目前最低配的手机也能完成如此复杂的运算。

这就需要快手自主研发的YCNN深度推理学习引擎发挥作用了。

YCNN深度推理学习引擎可以让AR算法优化,在手机端实现运行,还可以帮助对用户的照片进行脸部识别,精准分割出人脸的部分,贴到3D角色的脸上。

除此之外,在快手魔法表情等应用中,YCNN深度推理学习引擎也发挥了作用

说出来可能多余,但这家短视频领域的独角兽,技术——特别是AI技术,占据着核心关键的作用。

快手内部,甚至还有一支专门的AI团队。

快手Y-Lab实验室

这支团队番号Y-Lab,称Y实验室,快手希望把它打造成DeepMind一样的团队。

所以Y-Lab的负责人正是快手AI副总裁郑文。

郑文是快手CEO宿华在清华期间的同学,清华硕士毕业后去了斯坦福读博,研究计算机图形学和电影特效。

郑文博士

此后,郑文陆续在ebay和pilot.ai从事计算机视觉方面的研究。

2016年的秋天,郑文博士受到老同学宿华的邀请,回国担任快手Y-Lab实验室负责人。

快手Y-Lab实验室专门做一些为用户提供有趣体验的功能,比如这个手上长多肉的AR特效:一颗种子从天而降,掉落在手心,逐渐生根发芽,长成一颗多肉,之后慢慢变为盛放的样子。

此外,人体姿态捕捉也是Y-Lab正在研究的产品,用户通过手机直接拍摄人的动作,就可以将所有动作转化为特效。

在影片《猩球崛起3》上映时,快手推出的“一秒变凯撒”就是利用了Y-Lab的这项技术,手机直接捕捉人体关节的活动状况,电影主角凯撒的形象就可以随着人的动作而变化。

值得一提的是,Y-Lab还对快手的视频推荐机制发挥作用力。

一方面,通过视频理解技术,让机器读懂视频的技术,从视频中提取出语义、图形,识别视频中的物体角度、运动、变化,从而进行判断。

另一方面,从用户使用数据中造成用户画像描摹,感知用户的兴趣和潜在喜好。

从而把适合的内容推送给潜在的用户,实现精准分发。

而且不能忽略的是,由于深度学习对训练数据规模的依赖,所以目前快手的海量用户规模和行为,也在帮助快手的AI日夜进行迭代和提升。

数据越大,AI越好;AI越好,用户体验也会相应提升。

对于AI公司来说,这至关重要。

AI公司快手

不过,“千人千面”的AI推送已经见怪不怪了。

而且这也只是AI公司快手的森林一叶。

在快手,不仅仅是推送环节,整个短视频的制作、识别、推送过程,都与AI息息相关。

在内容生产环节,各类AI技术识别场景,让用户记录更有趣的生活场景,创造丰富的玩法,提升趣味性。

同时根据场景帮助用户选择最合适的滤镜,提升视频效果。

之后,运用视频解析,让机器高效的看懂、理解视频,让机器对用户有深度的认知和理解。

最后到匹配环节,机器基于对视频内容和用户喜好的理解,智能分发视频内容。

毫无疑问,AI驱动也是快手快速崛起的核心原因。

快手目前已有7亿用户、50亿视频。可以说,从短视频创作,到呈现在目标用户眼前,整个过程都有AI深度参与。

快手Y-Lab也正在变得越来越繁忙。快手方面称,需要更多的AI专家,越多越好…

招聘页面上,从深度学习、推荐技术、搜索技术、计算机视觉、NLP、图形学、语音、三维人脸识别,到音视频算法等,AI方向无一不包,明确而紧迫。

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2018-05-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

详解Google第二代TPU,既能推理又能训练,性能霸道 | Google I/O 2017

AI科技评论消息,5月18日凌晨,Google CEO Sundar Pichai在I/O大会上正式公布了第二代TPU,又称Cloud TPU或TPU 2.0,...

36950
来自专栏机器人网

一台电脑也可打造你所需要的人工智能大脑

当Google使用16000台机器建造了一个可以正确识别出YouTube视频中是否有猫的仿真“大脑”时,这就标志着人工智能(AI)技术迎来了一个转折点。这种新兴...

35170
来自专栏ATYUN订阅号

DeepMind认为:神经科学与人工智能的联手已无法阻挡!

近日,DeepMind AI 博客发表了一篇讲述他们对人工智能研究和神经科学研究协作的看法的文章,文章中表明,他们认为这两个领域的合作不仅有好处,而且同样是迫在...

37480
来自专栏AI科技评论

AI NEXT | 微软首席 AI 科学家邓力:对话系统的分类与发展历程

AI科技评论按:本月 18 日,由美中技术与创新协会(Association of Technology and Innovation,ATI)主办的第一届“A...

41270
来自专栏数据的力量

【04期】我的数据心经:人工智能、机器学习和深度学习的关系

17160
来自专栏智能算法

Google为何能在机器学习领域始终居霸主地位?

这不是武侠世界——她已经做到了。26岁的Holgate得到了第二条跆拳道黑带。这次是算法的黑带。Holgate花费数个星期沉浸于一个程序中,这次比肉搏更...

38090
来自专栏AI科技评论

观点 | DeepMind创始人Demis Hassabis:让AI更聪明的秘密就在人类自己身上

AI科技评论按:近日,DeepMind创始人Demis Hassabis接受了The Verge 的专访,他认为,让AI更聪明的方法就在人类自己身上:人工智能和...

36770
来自专栏CDA数据分析师

如何成为一名数据科学家 | 面试篇(附视频中字)

CDA字幕组 编译整理 本文为 CDA 数据分析师原创作品,转载需授权 数据科学家是21世纪最性感的职业,在本文中我们将解答如何找一份适合自己的数据科学工作。 ...

397100
来自专栏灯塔大数据

塔观 | AI会全面超越人类吗?来看看352位AI专家的答案

导读:如果听到有人预测人工智能(AI)何时会取代人类,你肯定会以为预测者不懂AI或是末世论者。但是现在,研究人员联合机器学习专家对这个问题开展了有史以来规模最...

35370
来自专栏机器之心

机器之心专访吴恩达,深度学习课程项目Deeplearning.ai正式发布

机器之心报道 记者:Tony Peng、李泽南 6 月 23 日,吴恩达通过 Twitter 宣布自己离职百度之后的新一步动向——Deeplearning.ai...

393110

扫码关注云+社区

领取腾讯云代金券