基于嵌入式的室内静态场景实时重建系统

该作品由来自杭州电子科技大学团队完成，团队成员：路荣丰、许成浩、吕坤、徐浙峰、朱尊杰 。本文转载于'3D视觉开发者社区'公众号，如有侵权，请联系删除。

一、背景介绍（产品化及未来市场潜力描述）

随着AI技术的蓬勃发展以及新型设备的不断涌现，三维重建成为计算机图形学领域的热点研究课题。主要任务是基于各种传感器釆集的数据，采用多视图几何、概率统计学和优化理论等数学工具，对现实物理世界进行三维建模，建立起现实世界和虚拟世界的桥梁。因此，三维重建在制造、医疗、影视制作、文物保护、增强现实、虚拟现实、定位导航等众多不用的领域有着广泛的应用。

其中，基于实时三维场景重建技术在增强现实中的应用和发展尤为迅速，包括室内的增强现实游戏、机器人导航、AR家具看房等等。而我们的技术成功将一套成熟的基于Intel Realsense ZR300 的快速实时室内静态场景重建（室内重建）技术从PC端移植到移动端。我们通过使用奥比中光所提供的的Zora P1嵌入式开发板和Astra Pro RGBD摄像头组成了实时重建系统的数据实时采集端，并通过自主设计的WiFi数据传输模块将采集的数据实时传递至上位机，通过上位机处理完成实时重建的任务，最终取得理想的效果。

在我们的系统中，我们可以任意地重建我们想要重建的任何室内静态场景。在保证准确度和实时性的情况下，我们可以实现全局一致的重建。相比于此前多数基于PC端的工作，我们在开发板上实现了这一功能，实为首创性工作。我们以用户为出发点，做到了简单、便捷、高还原度，并且可以做到远程实时交互的场景三维重建，应用场景广泛。我们的这一技术可以快速应用移植到开发端实现产品化，不需要进行额外的操作，并且用户熟悉使用过程极为便捷简单。

目前基于实时三维场景重建技术在增强现实中的应用和发展尤为迅速，尤其是有关室内重建领域的技术更迭更是快速，但多数研究还停留于PC端，移动端的发展还处于一片蓝海，尤其是在开发板上实现这一功能并达到较为理想的效果更是少之又少。通过在开发板上的技术移植和开发，可以更大程度的在实现相同效果的同时降低技术成本，并且本产品还可以作为教学产品供初始学习探索有关室内重建领域的同学们使用和开发，未来市场潜力巨大。

二、设计方案：

方案一：

该方案我们通过使用奥比中光的Zora P1嵌入式开发板和Astra Pro RGBD摄像头来组成室内静态场景和静止人的重建系统。在硬件上完全使用主办方所提供的产品和附件，开发套件使用度极高，但此时的受嵌入式板子算力和运行内存的限制，重建的速度不够理想。

设备使用情况：使用Astra Pro RGBD来进行深度信息的采集，完全由Zora P1嵌入式开发板负责系统的重建工作。

系统架构：由Astra Pro RGBD进行数据采集，在Zora P1上进行实时重建工作。

方案二：

该方案我们通过使用奥比中光的Zora P1嵌入式开发板和Astra Pro RGBD摄像头组成了实时重建系统的数据实时采集端，并通过设计WiFi数据传输模块，将采集的数据实时传递至上位机，通过上位机处理完成实时重建的任务，可以取得很理想的效果。最大程度上利用开发了主办方所提供的产品及其配件，开发套件使用程度极高。

设备使用情况：利用奥比中光的Zora P1嵌入式开发板和Astra Pro RGBD摄像头共同组成了实时重建系统的数据实时采集端，同时使用了Zora P1嵌入式开发板上的WIFI模块。

系统架构：（1）由奥比中光的Zora P1嵌入式开发板和Astra Pro RGBD摄像头组成了实时重建系统的数据实时采集端；（2）利用开发板上的WIFI模块和连由互联网的上位机进行网络通信；（3）利用上位机中的算力等资源进行完成实时重建任务。

三、项目创新点描述及技术优势

1.利用主办方所提供统一设备完成了有关于室内静态场景的实时三维重建，并取得了理想效果。

2.关于实时重建部分的算法我们参考了InfiniTAM，并在其原有基础上做了更为完善的修改与创新，最终能够使我们的算法可以在所提供的嵌入式开发板中完美运行。

3.由于受开发板算力和运行内存的影响（且无GPU），我们对系统进行一定程度的工程优化，使得在完全依赖于嵌入式开发板的情况下重建速度达到2帧/s。

4.考虑到重建系统的实时性，我们通过开发板完成深度数据的采集任务，并利用WiFi模块将数据实时传递至算力和内存更高的上位机中，从而完成实时重建，并取得了很好的效果。

5.我们通过端云协同作业，最终达到了在有移动互联网的环境下的远程效果实现，即通过使用该设备进行实时重建任务的同时可以使得远程处于办公室的人在PC端实时同步观测到三维重建的效果。

四、测试结果：

我们所取得的室内场景重建效果如下图所示，显然，在基于这一开发板的环境下，我们实现了很好的重建效果。

图1：重建结果预览图和实时重建效果图

图2：真实环境照片

图一右上窗口显示了实时重建的效果图，左侧主窗口显示的是切换了一个更广的视角点，来对整个重建的结果进行预览。图二为重建的真实环境的照片。

但由于官方提供的OpenNI的SDK中为提供RGB信息的读取，所以暂未进行颜色的渲染。

图三、实时重建演示图

五、部署环境

代码运行所需环境配置：

服务器端：Ubuntu18.04

嵌入式端：armbin

·cmake（3.2或以上）

·OpenNI（奥比中光提供版本）

·OpenGL（3.0或以上）

·libpng（1.6或以上）

·librealsense

六、研发过程记录

1. 熟悉主办方所提供的Zora P1嵌入式开发板和Astra Pro RGBD摄像头的使用方法，并在系统中配置相应所需环境。

2. 通过利用张正友标定法来完成Astra Pro RGBD相机的标定任务。

3. 参考InfiniTAM-V2进行算法上的精修和创新，最终将其直接运用于Zora P1嵌入式开发板和armbin系统。

4. 系统测试阶段：进行有关实时重建速度和重建精度的分析。

5. 在受开发板的运行内存的影响下，最大程度上提升速度，秉持最简单最适用的原则最终达到了2帧/s。

6. 为更好的完成实时重建系统，我们设计了一个wifi传输模块，将嵌入式开发板所采集到的深度图，实时的传输到上位机中，最终在上位机中完成实时重建任务，并达到了很好的效果。

七、演示Demo