「镁客·请讲」叠境数字洪煦:专研光场技术十多年,一直在探索市场化的路上

神秘的光场技术可以给我们的生活带来什么?叠境数字或许可以给你答案。

说到光场技术,就不得不提到凭借一段光场显示视频获得诸多巨头投资的Magic Leap。虽然这家神秘的公司对于自己的产品三缄其口,但它无疑给许多人科普了何为光场。

光场的定义其实还是挺抽象的,“光场描述光在空间中位置和方向信息的分布,是空间中所有光线光辐射函数的总体”。

我们所看到的物体都是通过反射光线进入眼睛后,经过晶状体折射后成像在视网膜上的,如果没有光,就没有我们所看到的五彩世界。

今天我们采访的叠境科技就是要将这些光场信息采集,然后重新建模,创造一个完全“真实”的虚拟世界。

跟全美最年轻的教授组队

叠境数字是在2015年成立的,虽然时间不长,但是创始人虞晶怡博士在光场方面的研究却可以追溯到二十年前。

图:叠境创始人 虞晶怡

翻开虞晶怡的简历:美国麻省理工大学博士,美国特洛华州立大学终身正教授,上海科技大学教授……耀眼的学术成就为叠境的发展奠定了坚实的基础。

虞晶怡先是在加州大学研究计算机视觉,后来去麻省理工读博的时候,他认识了现在叠境的技术掌舵人Jason Yang。两人一拍即合,之后他们一直在国外研究光场相关的技术。

时间线拉到2013年,虞晶怡在回国的一次活动中认识了洪煦,也就是我们今天的采访对象,叠境数字的联合创始人之一。

图:叠境总经理 洪煦

从LED面板,到裸眼3D显示,洪煦从事的都是和3D成像技术研发相关的工作。“而虞晶怡研究的光场领域,和我当时关注的裸眼3D有很多结合点,然后我们就有计划一起搭伙创业。”

恰巧到2015年的时候,虞晶怡被上海科技大学邀请回国做教授,几个合伙人就一起创办了现在的叠境数字。

用洪煦的话来说,叠境是一家基于光场技术研发的产品公司。“Magic Leap做的是光场显示后端,那我们做的就是光场采集的前端。”

光场意味着什么?

目前的VR内容主要有两种“创作”方式,一种是以VR游戏为代表,通过三维游戏引擎工具进行虚拟场景的建模,还有一种是以360度全景视频为主的实拍。前者没法达到逼真的效果,而后者缺少沉浸感所需的深度信息。

“光场采集正是弥补了这两点的短板,以高真实度来达到那种像CG制作一样具有深度信息的场景,让你在虚拟的真实环境中走来走去。”洪煦简单阐释了光场之于VR的意义。

叠境目前的光场信息的采集主要是由多相机阵列和深度相机结合来完成,采集过程中可以记录下真实的光照信息,再通过后期的软件算法自动处理完成物体的光场重建。

说到光场的话,除了Magic Leap,国外的8i和Lytro都属于行业内的先行者。洪煦表示,叠境和8i在动态光场建模上有重合点,所谓的动态光场建模指的是,“当我们去“拍摄”一个人动作的时候,不需要任何的动捕设备,采集系统会直接记录整个运动过程,在VR或者手机端,你可以从任意角度去观看。”洪煦补充道8i可能偏向于游戏应用,而叠境更多的是影视特效方面。

图:光场影视特效的应用 《Pippa’s Pan 盼》

对比光场相机出身的Lytro,洪煦提到了他们的采集系统,“我们在做的光场相机阵列不仅可以让静态图片实现拍后重对焦,同时可以对视频做相同的处理。”和Lytro相比的话,叠境的画面清晰度也会更高点。

但是叠境的相机阵列也有不少令人头疼的地方,“体积大、便捷性不够,目前还无法适用于消费级。”所以,叠境现在的技术解决方案主要以2B端的商业应用为主。

叠境:核心优势在于光场采集和算法

基于多年技术的钻研,叠境数字最核心的优势主要在光场采集和算法端,而算法又包括光场的重建和渲染,整个过程他们基本上做到了全自动化的处理。

在实际应用上,叠境提供的基于光场的解决方案包括淘宝的造物计划、360度3D VR直播以及影视特效等。

图:造物计划上的光场采集模型

以淘宝造物计划为例,叠境会提供一套小型拍摄设备,完成物品拍摄后,软件算法会进行预处理,结束后直接上传到云端做最终的算法处理,这样就可以得到一个真实的光场商品模型。而淘宝APP端会加入一个光场渲染器,通过这个渲染器就可以直接在手机上浏览这些物品模型。

在他们的压缩算法下,洪煦介绍模型的大小会控制在3M以内,而整个光场建模的时间大约在15到30分钟左右。如果将建模放在云端处理的话,甚至只需要一分钟左右。

再就是直播和视频拍摄方面的应用,正如开头提到的,相比较普通的全景视频,叠境的光场技术可以为拍摄内容加入三维的深度信息,意味着你可以在所拍的场景内走动,而不是局限在一个固定的视角。

图:京剧演员蓝天的光场采集现场

遗憾的是,目前这套拍摄系统还没有完全的成熟,而且由于要采集整个环境的光场信息,拍摄的周期会非常长,所以还无法实现这种光场视频的实时拍摄传输。

总结

“得益于硬件、芯片等技术的发展,光场技术迎来第一波大规模市场化的机会,现在是一个新的起点。”洪煦相信VR的未来是光场,他预计在3到5年内,行业内可以形成技术或者应用的标准。”

在采访洪煦的过程中,也可以明显感到他对于光场技术早日普及化的渴望。

提到叠境的光场采集系统时,洪煦表示他们的目标是争取在下半年或者明年将相机阵列小型化。

而在光场建模上,由于物体材质的不同,在实际拍摄中有系统兼容的难度。“可能对某一种材质的产品,这套系统可以用,但是当换到另外的产品,我又得换其他系统,非常不利于大规模的普及推广。”叠境希望可以做出那种类似傻瓜相机的产品,它能够适用于所有物体的重建。

对于叠境来说,从技术到产品的过渡期,最大的难点莫过于如何去根据行业的需求,将技术转化成可以市场化和商业化的产品,而这一切的最大前提就是让光场技术走入更多人的视野。


【镁客·请讲】专注于报道科技创新项目;我们敞开心扉面对每一位创业者,力求为您呈现一群鲜活、有性格的品牌和人物;我们倾听创业故事和人生经历、探讨商业模式和行业趋势、对接资本市场和供需双方,以期为产业发展注入新的活力。 欢迎做客【镁客·请讲】,栏目合作请发送邮件至:post@im2maker.com

原文发布于微信公众号 - 镁客网(im2maker)

原文发表时间:2017-06-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器人网

机器人如何躲避移动物体?MIT研究出了新招

麻省理工学院(MIT)日前发布了一种新的机器人算法,利用4D地图帮助机器人躲避移动物体。让机器人躲避固定障碍物可能已经不是什么难题,如翻过一堵 墙,绕过一套家具...

3359
来自专栏华章科技

怎样成为一个数据科学家:针对大学毕业生的指导

刚毕业的大学生们,恭喜你们!欢迎成为劳动者的一员。在你所有可能申请的工作中,“数据科学家”这个风骚无比的职位也许最难得到的一个,同时也许是最具有潜在丰厚回报的一...

882
来自专栏AI科技大本营的专栏

观点 | 转行人士如何在人工智能领域保持一定的竞争力?

前几日,AI科技大本营推送了一篇《年薪25万只是白菜价,这几个专业的毕业生正被疯抢》的文章,引起了AI领域众多学习者和从业者的热议,有赞同的,也有怀疑的,但营长...

36910
来自专栏华章科技

数据分析师薪资有多高?爬了29个城市的数据告诉你答案

本项目所使用的数据集全部来自拉勾网,是通过集搜客这一网络爬虫工具来爬取的。之所以选择拉勾网作为本项目的数据源,主要是因为相对于其他招聘网站,拉钩网上的岗位信息非...

903
来自专栏新智元

云知声黄伟:AI 从感知、认知向通用智能演进,深度学习技术落地秘笈

【新智元导读】云知声 CEO 黄伟在 世界人工智能大会 AI WORLD 2016 发表演讲《AI 已来,未来已来》,分享了云知声在技术、产品、商业上的思考。黄...

5275
来自专栏python+iOS学习交流

iOS开发者如何做到升职加薪,迎娶白富美,走上人生巅峰?

对于我们绝大多数人来说,工作最基本的意义是我们可以通过自己的劳动换取酬劳来养活自己,尤其是对于刚毕业的学生,拥有一份全日制的工作意味着自己走出校园,踏上社会,自...

1262
来自专栏镁客网

华为,稳了!首次发布AI战略,两款芯片、全栈“IP”,AI之心十分可期!

早上九点,华为在全联接大会上正式对外发布了AI发展战略和相关产品及解决方案,其核心要点就是华为要打造包括芯片、芯片使能、硬件、训练和推理的框架的全栈方案、以及面...

1054
来自专栏DT数据侠

“增长编辑”来了,数据分析是拯救媒体的最后稻草?

早在十几年前,美国的一些企业已开始通过数字化运营来驱动业务增长,这样的角色如今被称为“增长黑客”(Growth Hacker)。而现在在传统的媒体业,也出现了类...

730
来自专栏大数据文摘

Linkedin如何用大数据变现

2389
来自专栏AI科技评论

清华大学魏少军教授:什么是真正的通用人工智能芯片?| CCF-GAIR 2018

AI 科技评论按:2018 全球人工智能与机器人峰会(CCF-GAIR)在深圳召开,峰会由中国计算机学会(CCF)主办,由雷锋网、香港中文大学(深圳)承办,得到...

1643

扫码关注云+社区

领取腾讯云代金券