为何苹果、Google、Facebook力推3D AR,看完这个你就知道了

苹果大中华区董事总经理葛越在乌镇世界互联网大会上发表演讲,再次推介了苹果努力打造的 AR 体验,并以天天 P 图为例介绍了 AR 的好玩之处。“腾讯打造的这款天天P图的 APP 正是结合了这一系列的软硬技术让大家都能体验到川剧变脸的乐趣。”她说。

今年 9 月,iPhone X 惊艳登场,除了震撼的全面屏,同样引人注目还有 FaceID 和 AR 功能,苹果在现场演示了人脸解锁,还有好玩的 Animoji。

3D AR 自拍到底有什么不同?

要说 P 图美颜,早在 iPhone X 之前就有众多 App 在玩相关的功能了,所以,与 iPhone X 结合的所谓 3D AR 到底给自拍带来了什么呢?

先来看一下官方的介绍,iPhone X 版的天天 P 图主要有以下功能特色:

1)3D 人脸检测精准 :识别点增加的原因,相较于现在版本最好是正脸面对镜头才能识别,如今的 X 版本校对更加精准,侧脸、偏头或是在光线不佳的情况下,都能准确识别到人脸的轮廓。

2)微表情识别 :由于识别点的增加,相较于当前版本在拍摄时因为一些微表情小动作(眨眼,张嘴,点头)从而导致拍摄特效消失,在 X 版本里面,得到了改善,不仅可以识别到这些微表情的变化,产生的特效也不会突然失效,而是会相应呈现效果。

3)光照渲染:相较于当前版本,X 版本拍摄出来的照片和视频会更加立体。加强景深效果,光照情况更加贴合实际拍摄。

技术上的术语不太容易让人感知,实际体现出来是什么效果呢?

上面的视频中,在 iPhone X 的屏幕上可以看到,用户的脸戴上了虚拟的脸谱。和普通自拍的萌宠 AR 效果简单地把一些元素添加到用户头像上不同,iPhone X 上脸谱和人脸实现了立体的融合,而且贴合很好,追踪也相当迅速,以至于用户眨眼的瞬间脸谱都可以实时地进行反应,见视频中第 2 秒开始处。

除此之外,镜头晃动和突然的遮挡对于对于追踪的影响非常小,用户用手一挥,脸谱换了一张,但仍然移稳稳地停留在用户脸上,没有错位,这是目前手机上 AR 自拍效果所根本不能比的。

3D AR 自拍是怎么实现的?

苹果方面,AR 自拍的核心在于 iPhone X 的“刘海”部分,在这个被很多人诟病的小“刘海”上,苹果塞进了 8 颗传感器,除了麦克风、扬声器、前置摄像头、环境光传感器、距离感应器等我们熟知的部分,还集成了红外镜头、泛光感应元件、点阵投影器。

苹果将整个系统称之为原深感摄像头系统(TrueDepth Camera System),而整个系统除了能用于 Face ID 人脸验证,也可以扩展自拍功能,实现动画表情发布,和 AR 效果叠加。

具体而言,上述的感应器会投射人眼看不见的光,并读取用户的脸部 3D 几何结构图,而这一切都是实时发生的。苹果甚至为此开发了一个神经引擎(Neural Engine),可即时处理人脸识别数据。苹果高级副总裁 Phil Schiller 在发布会上解释称,“我们用神经网络处理图像和点阵模式,来建立人脸数学模型。”

ARKit 里仅对人脸部分进行 3D 建模,实现类似脸谱的功能会比较方便。另外 SDK 提供了表情追踪的接口,可以用来实现表情序列或者驱动其它 3D 模型。 有了 3D 人脸信息,我们甚至可以给脸部直接虚拟打光,添加眼镜帽子等动态道具,都是非常好玩的体验,而且不止前置摄像头,我们后置摄像头这里也有丰富的玩法,欢迎大家去下载天天P图打开自拍相机体验。

目前 ARKit 人脸 3D 只能用在 iPhone X 上。未来应该会扩展到其它硬件,但需要前置摄像头带深度信息。天天 P 图目前只支持单人识别,这里有待 Apple API 扩展。

对于其它想利用苹果接口打造 AR 体验的开发者,团队建议将 ARKit 和 sceneKit 结合起来会比较容易实现一些。

总结

AR 被认为是科技发展的下一个大潮流,不仅被苹果看好,Google、微软、Facebook 等巨头也都在押注。例如,苹果 ARKit 推出不久后,Google 就推出了 ARCore,微软也一直在推自家的 MR 平台,包括 HoloLens 眼镜。

但巨头的 AR 宏图伟业,实则和广大开发者的成功是息息相关的,如果没有优秀的开发者推出广受欢迎的 AR 应用,那么 AR 的未来也就不存在了。

这样的爆款应用,天天 P 图可以算一个,在推出 iPhone X 版后,这款应用受到 APP Store 官方广告推荐,为 iPhone X 适配应用。

另外,最近天天 P 图不仅不仅霸屏东南亚各国的社交网络,还登顶泰国 App Store 总榜第一。Instagram 上 pitu 标签 90%是泰国人。

由此看来, AR 的未来真的是越来越近了。

原文发布于微信公众号 - BestSDK(bestsdk)

原文发表时间:2017-12-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏华章科技

我从腾讯那“偷 了”3000万QQ用户数据,出了份很有趣的独家报告!

两周前,做的一个项目需要模拟一批用户评价数据,如果想让数据看着真实点,那就得使用随机的用户昵称和头像啊。要是头像或者昵称全都差不多,那别人一看就看出来这是做的数...

10750
来自专栏Sign

DOLO v4

和3.7的区别是,整个流程通了,增加过场动画,技能切换,卡片消费,地形分布,以及角色信息显示。 另外特效上,引入的粒子系统和拖尾,效果不错。 以前对于这些依赖引...

356120
来自专栏非著名程序员

程序员的技术修炼如登峰,到不了顶也要努力向上攀!

为了学习React Native,我用了5天时间研究了JavaScript,并写了四篇文章总结自己的认识,有人留言:“才学了5天就能这么厉害?”。前段时间,我花...

23680
来自专栏大数据文摘

南埃文代尔小学的实践:增大数据获取难度竟然提高了数据利用率

11810
来自专栏DT数据侠

Lady Gaga和麦当娜谁才是gay圈女神?emoji数据啥都知道

即时聊天工具如此普及的今天,各种emoji表情被网友们玩坏了。一个小小的表情包,却可以传递某种难以言说的情感,成了一种世界共通的语言。在全球最大音乐流媒体播放平...

10600
来自专栏章鱼的慢慢技术路

飞鱼48小时游戏创作嘉年华_厦门Pitch Time总结与收获

明确美术队友和程序队友的水平,提需求的过程中尝试做减法,在保留核心玩法的基础上,看队友水平和时间判断是否添加需求。

7810
来自专栏ThoughtWorks

那年,那山,那些事 | TW洞见

今日洞见 本文作者:ThoughtWorks-仝键。 本文所有内容,包括文字、图片和音视频资料,版权均属ThoughtWorks公司所有,任何媒体、网站或个人...

33580
来自专栏量子位

谷歌AI相机Clips今发售,“贴身摄影师”抓拍每一刻欢乐

Root 编译整理 量子位 出品 | 公众号 QbitAI 不管是一家人出游玩耍,还是朋友聚会轰趴,总错过很多来不及掏手机而转瞬即逝的欢乐。 今天终于开售的谷歌...

34760
来自专栏量子位

一文看尽苹果发布会:iPhone X背后黑科技全剖析

李根 若朴 假装发自 Steve Jobs Theater 量子位 出品 | 公众号 QbitAI ? 刚刚,苹果秋季新品发布会胜利闭幕。 这次新登场的苹果产品...

38650
来自专栏华章科技

科学家爆炸性结论:人死后会穿越进另一个宇宙

被纽约时报评选为们时代里三位最重要的科学家之一的RobertLanza博士,写了一本《生物中心论》,里面有个爆炸性的结论:人死后生命不会结束,而且,会穿越进不同...

11730

扫码关注云+社区

领取腾讯云代金券