叠境数字，三维世界的虚实两重境

2009年，《阿凡达》上映，这部有史以来制作规模最大、技术最先进的3D电影，让3D影像进入了普通大众的视野，带上一副眼镜，就可身临其境地体验二维画面无法呈现的效果。

用技术还原真实世界或创造真假难辨的虚拟世界，几年间，增强现实（AR）和虚拟现实（VR）等技术蓬勃发展，逼真的场景带给了人们全新的体验。但无法摆脱的厚重头盔眼镜、难以避免的眩晕感、清晰度与真实感难以兼得等，也是VR/AR技术一直以来为人诟病的问题，也使得3D技术的应用场景局限于小范围的娱乐领域。

2016年，依托于上海科技大学孵化平台，叠境数字科技（上海）有限公司（以下简称“叠境数字”）在上海张江成立，同时在美国硅谷设研发中心。联合创始人虞晶怡带领团队将世界顶级的光场技术与人工智能技术引入到智能视觉的开发和应用中，一个个实物变成逼真的3D模型，在数字世界里活灵活现，并开启了一条多领域的三维影像商业化探索之路。据悉，目前叠境是国内唯一一家可实现高精度动态人物实时三维重建的企业。

三维影像，触手可及的虚拟

没有分身术，也可以通过三维实时直播和全息投影，让“另一个自己”去到其它城市甚至其它国家的办公室，与同事来一场面对面的会议；

逛淘宝时，衣物的上身效果不再完全由卖家通过特定镜头展示。一方面在卖家360°的三维模特展示中，消费者可以任意切换展示角度，另一方面，消费者拍一张全身照，就能实现虚拟试衣；

不用去健身房办理私教课，也可以在家里通过AR三维投影，一个两个慢动作，学会教练示范的全套课程……在叠境数字的实验室里，通过光场技术、智能视觉、深度学习等技术，实现这些虚拟场景，叠境数字的研发副总裁张迎梁说，“我们的工作很酷。”

演唱会实时三维直播

通过采集端实时生成用户的三维影像，经5G网络传输到AR/VR、全息等显示设备，高逼真的全息影像如同真人面对面。除了可以实现科幻电影般的全息视频通话，5G三维全息会议、全息娱乐、远程教育等也是其应用领域。

目前，叠境的实时三维直播场景清晰度极高，人物动作连贯自然，帧率≥30fps，同时达到毫秒级的低延时。

虚拟数字人技术演绎虚拟试衣

通过全球顶尖的光场技术、智能视觉、深度学习的研究成果开发虚拟数字人技术，采集—建模—渲染创建人物三维数字形象，达到流畅、自然、低延迟的人体动态捕捉和重建。

该技术将三维重建、高压缩比算法等与零售行业结合，让消费者在线上也能享受实体店般的真实购物服务的同时，为零售商提供了智能化AR营销新模式。据悉，基于叠境全球领先的虚拟数字人技术，未来在商场，消费者只需自拍一张全身像就能通过AR试遍所有心仪的服装。

真人三维互动

三维视频教学

把虚拟数字人接入到AR教学、真人同台互动的场景，就可“左手右手一个慢动作”，与虚拟人物互动，或慢放分解视频教学动作。

三维视频融合助力城市管理

三维视频融合技术可以融合海量现有的二维监控视频，实现城市的三维可视化管理。具体就是结合前端数据采集、三维融合计算、无人机航拍等技术，对城市进行三维数字化建模，然后将不同视角下的高点监控视频实时拼接融入三维模型中。

唐三彩的三维重建

重现文物质感

张迎梁表示，该技术不仅重建物品的几何模型，还可以重现物品光照特性和不同材质，包括金属、木质、青铜、瓷等。

从二维的平面触摸，到三维的互动体验，叠境数字将光场与人工智能技术相结合，构建了虚实难辨的三维世界。“从80个单反相机对人物动态的采集到6个视频相机的动态实时呈现，最近我们在调试、优化最新一代的产品。”张迎梁告诉记者，其最新一代产品将在即将举办的2019世界人工智能大会上亮相。

以人工智能的方法演绎光的世界

叠境实验室的摄影棚内，80个视频相机组成阵列，场面震撼。据悉早在2000年，世界上第一个光场相机阵列就诞生在MIT（麻省理工学院），彼时叠境的创始人虞晶怡正在MIT攻读博士。此前，虞晶怡在媒体采访中表示，其团队已经在光场技术领域深耕了数十年，2015年前后，发现数据、算力与成像系统发展到了可实现场景落地的程度，于是创立了叠境数字。

叠境实验室内用于光场重建的相机阵列

以智能计算机视觉技术、光场技术、深度学习技术为核心，目前叠境数字自主研发了人、物、环境三维重建、独特的动态真人三维模型拍摄、实时三维全息直播等技术。

光场是描述光在空间中辐亮度的空间和方向分布，是对光线在空间传播时的描述。在虞晶怡及其团队看来，光场技术几乎满足了所有虚拟现实的要求，代表着虚拟现实行业的发展方向。通过光场技术，叠境将人工智能感知、认知、行动的三个部分融合起来，模拟人眼看世界。

目前，图像识别是人工智能应用领域中最为成熟的技术，但2D图像所能提供的数据信息有很大局限性，无法实现从物体感知到认知的进化。换言之，在2D的图像识别下，例如个性化试穿衣服的场景是无法实现的，因为没有足够的图像信息去建构起一个具有个体特征的三维人体。但光场技术从光场视觉的角度另辟蹊径，首先通过多相机阵列采集光线，后期再由软件算法自动处理完成物体、人物的光场重建，呈现虚实难辨的3D效果。

凭着十余年光场技术与经验的积累，目前叠境已获国际专利数十项、发表光场领域权威文章百余篇，在基于深度学习的三维环境感知、基于人工智能的三维实时重建等技术领域取得了较显著的成果。其研发人员占公司总人员60%以上。

文字丨科Way

美编丨小小粉刷匠