MARS智能助手APP即将发布，革新AR制作工具抢先看

Unity混合与增强现实工作室（Mixed and Augmented Reality Studio，MARS）是一套制作次世代空间计算应用的创作工具与运行系统。本应用允许在增强现实设备上创作和捕捉数据，这是MARS套件中一个关键的部分。PC编辑器工具与创作应用的组合是最为强大且易用的AR内容制作方法。

在Unite Berlin 2018上，我们首次宣布了MARS计划，并在最近的Unite Copenhagen上分享了计划最新的进展，演示了一款智能手机助手App的早期版本。在本文中，我们将讨论App的制作灵感，在MARS的AR创作工作流中应用所扮演的角色。

实地编辑

创作者们如果能利用起所有可用工具，内容创作才会更加流畅。MARS智能助手App能在任何地点、任何AR设备上进行3D创作，无需完整的项目文件和Unity编辑器。举例来说，某个创作团队有一个博物馆游览应用，团队并不需要亲自前往展馆，拍摄照片、抓取扫描数据，只需与顾客分享项目，让馆长从应用商店中下载MARS智能助手App，再捕捉必要的数据，将其储存到云端即可。

开发者可远程编辑基于真实数据生成的MARS扫描数据

环境感知应用必然要应对不可预测的动态环境。为了积极应对这些问题，MARS包含有一整套模拟功能，包括合成环境、模拟AR数据分析和AR数据的录制/回放，可用于在播放模式中测试数据局限或AR互动，还能用于实时查看应用在设备上的实际表现。使用者可以直接在设备上布置好场景，如果由于光照、房间布局等原因出现了Bug，也可以轻松抓取数据来复现、修复Bug。

我们希望工作流既能迎合非技术用户，也能满足Unity开发者。双方都能编辑同一个场景、使用同样的资源、有相同的术语和互动模式。智能助手App中的数据替代物可一直保持活跃状态、可包含子对象、可以列表展示出所有组件。“场景”在保存/加载时会将所有资源储存到一个“项目”中。App目前并不带有层级视图和检视器，但类似工具将在未来加入到XR编辑器运行时的功能集中 。

应用开发背景

在最近的Unite Now海外直播系列中，我们介绍了为改善构建时而做出的努力，其中的功能可以协助开发者们在目标硬件上迭代、测试应用。而MARS智能助手App可在开发中或实际场景下，借助设备的AR功能来测试、迭代具体的内容，使得更多团队成员不必直接使用Unity编辑器就能参与到制作流程中来。

MARS模拟视图

负责场景布局的开发者、顾客或远程协作者可以抓取环境数据，将其上传到云端，而其它开发者可以下载数据到编辑器，查看所做的改动，还能调整数据限制，直到应用完美融合到虚拟环境中，然后将改动存储到云端。

有了这个智能助手App，引擎可以更好地满足不同平台的使用者和各种用途。应用目前支持安卓、iOS、Magic Leap和HoloLens，但实际上任何Unity支持的平台都能支持智能助手App，任何支持Unity、可捕捉现实数据的设备都能成为空间创作的平台。

不同的平台有不同的强项，利用好每个平台的优点才能形成一个最佳的创作环境。具体来说，键盘鼠标在复杂工作流中的作用无可替代，而要直观的了解到内容在场景中的感觉和大小，或从有限的窗口查看内容，直接使用目标设备会更加合适。

XR Platforms团队正着手制作一个可在编辑器与设备间直接传输实时AR数据的AR Remoting包，让反馈更加迅速。功能将在未来整合进MARS模拟视窗和智能助手App中。

功能详解

MARS智能助手App具备数据采集和现场创作两种功能。两种功能都需借助云端数据存储，在编辑器和自身之间发送、接收数据。应用允许不同位置的使用者同时参与项目开发，数据能互相分享、保持一致。数据使用权限以云端服务账户和项目许可的形式控制。拥有项目访问权限的使用者也能使用相应的智能助手App数据，应用可使用Unity账号或临时扫码登陆。离线数据可在随后同步到项目中，也可根据编辑时间来解决数据冲突的问题。

数据采集

数据采集涉及几种流程。使用者可在Environment（环境）模式中采集静态环境扫描数据，包括Magic Leap和HoloLens上的完整网格数据，及ARKit和ARCore里的水平平面。未来应用将支持第三方应用来制作网格扫描数据及其它AR数据，构建自定义应用来记录环境数据。而目前的关注点在于操作系统提供的数据。在使用ARKit和ARCore时，使用者可以手动描绘出房间的边角，在模拟环境中加入墙壁。这些数据并不参与模拟，而是作为扫描平面的虚拟环境存在。

模拟视图中的ARKit扫描数据

模拟视图中的Magic Leap扫描数据

如果某个问题、互动的测试涉及位置变动、环境扫描，可使用应用的Data Recording（数据录制）模式来记录下数据变动时的视频、摄像机路径和环境数据，既能录制“靠近特定表面”时的简单互动，也能从头到尾记录整个扫描流程。开发者应记录下基本的用户互动，在编辑器中尽可能地完善、优化，做到可以忽视使用者在实际操作中所产生的“干扰”数据。由于长视频体积较大，推荐开发者录制具体动作的简短记录视频，不要录制包含许多动作的长记录视频。同时，软件支持录制、上传特定数据流，以减少带宽的使用。

使用者也可以用设备镜头为AR图像添加标识，注明放置内容的具体位置（又称“热点”）。

在图片中加入标识，标注为“热点”

实地观看创作空间

我们从EditorXR的经验中学习到，在VR场景中编辑内容有巨大的优势，追踪制作者的头部和手部可以让场景布局更加迅速、更有乐趣。同时，编辑文本、场景微调等流程适合用键盘鼠标完成，不宜使用AR/VR。MARS智能助手App结合了EditorXR于运行时编辑场景的功能，我们将功能提取成可重复使用的资源包，来形成一种运行时创作框架。在编辑器外的创作中，变换操纵器、检视器和场景序列化的代码基础是相同的。

在不同设备上设计工作流时出现了无心插柳的好处。在为头显设想MARS内容创作方式时，我们设计出了Create and Compare（创作比照）工作流，使用者可直接在编辑器拖动资源到模拟视图中，让MARS自行推断出界限。使用Magic Leap时将某个对象放在想要的地方更合常理，同样的还有编辑器中的拖拽放置，但此前我们习惯的是在场景视图中拖拽预制件。随着应用的进一步开发，我们会找到更多糅合空间设计思维和2D工具的设计方法。

随着MARS正式发布临近，我们将继续分享软件的功能信息和开发中学到的经验。智能手机助手App计划在App Store和Google Play上随MARS一道推出，让开发者们能第一时间上手尝试新的工作流，而头显版应用将在今年晚些时候发布。我们相信MARS是空间计算应用的最佳开发方法，有各式工具能为开发者提供出色的开发体验。