(截图来自公众号“量子位”)
“娱乐至死”是个技术活。
近日,快手的“AR尬脸舞”刷屏了。
这个名为“AR变脸”的特效,能够将用户的脸部照片绑定在三维模型上,并通过AR技术,让这些“囧”态各异的3D模型在实拍场景中大跳网红舞蹈。网友们自然是欲罢不能,在“玩死”自己和亲友的脑洞比拼中“越玩越嗨”。
AI 能“换脸”已经不是新闻,但是快手率先做到了通过手机实时“变脸”。并且,近期新版本更新后,快手App上新增了AR换脸特效,与常见的点缀式手机AR特效不同,这个AR角色的面孔可以由用户自定义。
其实,这样一个轻松搞笑的产品背后,支撑其运转的技术研发却不容小觑,结合了3D引擎、AI 算法、深度学习推理等诸多业界最尖端前沿课题。
(图片来自网络)
所谓3D引擎,就是为了呈现3D的角色,在引擎上添加编辑器模块、渲染模块、肢体模块、声音模块等。快手是亚洲业内最早研发3D引擎技术的企业,今年春节火爆一时的AR版“胡巴”,同样也诞生于快手自研的3D引擎。如今,3D引擎支持多样灵活的玩法,并且能够实现产品快速上线、迭代,而目前在国际上实现了这一技术的科技企业屈指可数,仅Snapchat、苹果、Google等支持相关功能。
(图片来自网络)
除了3D引擎,要让模型真正在现实世界“扎根落地”,让AR算法实现不断优化在手机端运行,以及对用户的照片进行脸部识别,以精准分割出脸部图像贴到模型上,还需要深度学习推理引擎的支撑。相比于很多企业使用开源平台,快手自研了YCNN深度学习推理引擎,针对不同手机的硬件架构做了高度的适配和性能的优化,能够使用CPU、GPU、NPU、DSP等多种运行模式,根据评测,快手YCNN运行速度比已知的引擎高出50%,达到了亚洲乃至全球业界的顶尖水平,才能保证了用户在拍摄视频的时候能够实时的使用各种魔法表情、AR等新奇的特效,并且不断开发出更多有趣复杂的玩法。
由于深度学习对训练数据规模的依赖,所以目前快手的海量用户规模和行为,也在帮助快手的AI日夜进行迭代和提升。一方面,通过视频理解技术,让机器读懂视频的技术,从视频中提取出语义、图形,识别视频中的物体角度、运动、变化,从而进行判断。另一方面,从用户使用数据中造成用户画像描摹,感知用户的兴趣和潜在喜好。从而把适合的内容推送给潜在的用户,实现精准分发。
数据越大,AI越好;AI越好,用户体验也会相应提升。
(图片来自网络)
快手创始人兼CEO宿华曾表示,“技术驱动”才是快手最重要的标签。
的确,尽管一直被诟病“娱乐至死”“毁掉年轻人”,却也不得不说,依靠 AI 智能算法的短视频界也被市场推动着,成为人工智能领域的技术先锋。
编者按:本文部分资料来自公众号“机器之心”和“量子位”。
领取专属 10元无门槛券
私享最新 技术干货