如何使用JavaScript开发AR(增强现实)移动应用 (一)

本文封面配图是去年Jerry看的一部电影《异形:契约》的剧照。

所谓AR(Augmented Reality), 即增强现实,是一种将通过计算机渲染出的虚拟图像与真实世界巧妙融合的手段,背后广泛运用了多媒体、三维建模、实时跟踪、智能交互、传感等多种计算机技术,将程序代码生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后,显示在终端用户通过移动设备的摄像头观察到的真实世界中,虚拟和真实的两种世界互为补充,从而让终端用户感受到真实世界被“增强”的体验。

前端开发者的一个福音,就是如今我们可以仅仅凭借JavaScript技能,就能开发一个支持增强实现的移动应用了。使用的工具是React-Native + ViroReact.

下面这个视频是Jerry的同事,SAP成都研究院数字创新空间的开发工程师Leo Wang用React-Native加上ViroReact的组合做的一个小例子:

React-Native在国内早已不是一个新技术了。区分于另一种通过JavaScript语言开发移动应用的Cordova开源项目,React Native产出的并不是运行在移动设备操作系统的WebView控件里这种混合应用,而是一个真正的原生移动应用,所使用的基础UI组件和原生应用完全一致。从用户体验上来说,React-Native打包而成的原生应用给终端用户的使用感受同用Objective-C或Java编写的原生应用相比几乎无法区分。

ViroReact, 是基于React-Native的一个开发库,给React-Native的开发人员提供了一种通过JavaScript语言开发跨平台的支持AR的原生移动应用的手段。

官网:https://docs.viromedia.com/docs/viro-platform-overview

尽管在React-Native项目里引入ViroReact的依赖只需要一行代码,但这只是冰山一角:

我们打开一个声明了如上依赖的React-Native应用,npm install安装依赖后,在node_modules文件夹下面能看见ViroReact的实现。

ViroReact官网里声称的“一次编写,到处运行“的特性也体现在这:ViroReact提供了一个跨iOS和Android平台的高性能3D渲染引擎,分别基于iOS的ARKit和Android的ARCore.

因为Jerry平时使用的是Android手机并且是一个Android粉,所以本文着重介绍ARCore.

在ViroReact库文件夹下的android子文件夹内,我们看到了名为arcore的文件夹。那么要使用ViroReact,我们得先了解ARCore是个什么东西。

ARCore是Google为Android提供的开发AR原生应用的一个平台, 以SDK的方式,为开发者提供了AR应用必需的三大功能:

  1. Motion Tracking - 运动跟踪
  2. Environmental understanding - 环境识别
  3. Light estimation - 光源估算

Motion Tracking

当我们移动Android手机时,ARCore使用一个称为COM(Concurrent Odometry & Mapping,并行测距映射)的进程,结合手机硬件传感器,来确定手机在真实世界的准确位置和姿势。当真实世界的景物出现在手机摄像头里并发生位移变化后,ARCore使用一系列算法标注出图像上的特征点,并基于这些特征点来计算位置的变化。

大家看前文Leo视频中在摄像头里显示的特斯拉汽车,能发现随着手机位置的变化,汽车在摄像头里显示的3D形象也随之变化,仿佛是一个存在于真实世界中的物体一样。这种效果就是ARCore的功劳:手机摄像头捕捉到的视觉信息,结合手机设备中惯性测量单元(Inertial Measurement Unit,简称IMU,由三个单轴的加速度计和三个单轴的陀螺仪组成)测量出的惯性测量值进行综合计算,就能渲染出摄像头内的虚拟物体,并确保随着时间推移和手机的位移变化,在现实世界中位置和朝向也能跟着变化的效果。

Environmental understanding - 环境识别

一系列出现在摄像头中的真实世界里水平面或者垂直面(比如桌子表面或者墙壁)上的特征点,都是ARCore试图识别环境的输入。ARCore以这些特征点为输入,识别出真实世界的平面和边界信息之后,就能允许开发者通过编程的方式,在这些识别出的平台上放置一些虚拟物体。

Light estimation - 光源估算

我们在摄像头里观察到的真实世界的所有物体,无不被各种强弱各异的光线所笼罩,从而形成灰度不一的阴影效果。如果通过代码投射到真实世界里的虚拟物体,不支持这种被光源照射的阴影效果,则虚拟物体的逼真程度会大打折扣。

好消息是,ARCore具有探测真实环境下的光照信息,开发者可以通过ARCore捕获到出现在摄像头里的真实世界的平均光照强度,从而将这些光照信息投射给虚拟物体,进一步增加其真实感。

一个SDK就支持这么多强大的功能,谷歌不愧是谷歌啊!

支持ARCore的Android手机型号列表,可以从Google官网获得:

https://developers.google.com/ar/discover/supported-devices

在三星应用商店或者腾讯应用包里搜索ARCore并下载:

安装之后,我们就可以开始用ViroReact进行应用开发了。请关注Jerry后续的文章来获得技术细节。感谢阅读。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏鲜枣课堂

新iPhone的黑科技:UWB技术揭秘

9月11日,苹果公司秋季发布会在乔布斯剧院举行。以iPhone 11为代表的一系列新品揭开了神秘的面纱,与“果粉”见面。

16240
来自专栏三掌柜的技术空间

iOS开发:用XIB拖控件关联时报错:“Could not insert new outlet connection”解决方法

在iOS开发过程中,尤其是iOS开发初期,会遇到各种各样的错误,有些错误是开发者的不熟悉或者疏忽大意造成的,还有些是无厘头的错误,可以通过重启Xcode或者重启...

5210
来自专栏RTSP/RTMP直播相关

Flutter下实现低延迟的跨平台RTSP/RTMP播放

Flutter是谷歌的移动UI框架,可以快速在iOS和Android上构建高质量的原生用户界面。 Flutter可以与现有的代码一起工作。在全世界,Flutte...

33900
来自专栏大数据文摘

iPhone “浴霸” 发布,顶配1万2!最强机器学习芯片,计算性能吊打友商

今年的苹果发布会仍然在总部Apple Park乔布斯大剧院举行,苹果也首次在YouTube进行了同步视频直播。

8020
来自专栏贺利权

记录一次 Safari 调试 iPhone Web Page

话说,前些日子一直处理集团官网开发中,前几日接到测试反馈,移动端某个页面兼容性有问题。

14610
来自专栏庄帅

看完苹果2019新品发布会,你觉得苹果还有未来吗?

苹果的新品发布会在9月11日如期而至,除了再次被调侃的“浴霸”造型之外,质疑其未来的声音继续不绝于耳。

7300
来自专栏编程之路的专栏

Dart 语言异步编程之Isolate

之前的文章已经说过,将非常耗时的任务添加到事件队列后,仍然会拖慢整个事件循环的处理,甚至是阻塞。可见基于事件循环的异步模型仍然是有很大缺点的,这时候我们就需要I...

34310
来自专栏一Li小麦

react native调试

Developer Menu是React Native给开发者定制的开发者菜单,来帮助开发者调试React Native应用。

16630
来自专栏Alfred数据室

iPhone 11为何嘴上说真丑,销量却真香? | Alfred数据室

9月11号早晨,在Steve Jobs剧院举行的2019苹果秋季新品发布会之后,蹲守在发布会前的果粉们开始了自乔布斯去世之后一年一度的对苹果的群嘲。从5S的土豪...

10110
来自专栏一Li小麦

react-native布局与组件

一款好的App离不开漂亮的布局,RN中的布局方式采⽤的是FlexBox(弹性布局) 。

16320

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励