基于三维视频融合的智慧矿山视频监控系统

传统矿山视频监控存在视频数据量大，视频图像之间关联性差，缺乏与三维空间位置信息的直接联动等问题，监管人员在面对多个碎片化的监控视频图像时难以有效复现场景及位置，这使得突发事件发生时不能及时解决相关问题，严重影响了应急救援工作及时有效开展。

针对以上问题，提出了一种基于三维视频融合的矿山视频监控方法，利用三维视频融合技术，将实时监控视频作为纹理构建几何体，通过特征点选择，匹配与矿山三维模型进行融合，在此基础上为了使三维视频纹理融合效果更好，采用拉普拉斯网格形变算法对视频几何体纹理的畸变进行校正。

试验结果表明：三维视频融合具有较强的视觉观感效果，视频与视频之间相互关联，整合了碎片化的视频；视频与三维模型融合，解决了三维空间数据与视频不联动的问题，弥补了传统视频监管技术的不足，丰富了矿山监测的技术手段。

那么，由智汇云舟研发团队提出三维视频融合技术有哪些承载能力呢？

三维视频融合是以实时数字地球为孪生底座，具有统一的时空基准和时空数据规范标准体系，它具有以下一些能力和预留接口：

具有时空数据标准规范体系和统一汇聚流转能力，包括GIS环境数据、三维场景模型数据、BIM模型数据、实时音视频数据、LOT物理感知数据，以及各种时空数据的标准规范化接入，并具有统一时空基准对齐功能；

具有多维度联合时空感知能力，包括天、空、地、海、管廊环境数据三维重建和渲染，实时视频融合和物联感知数据三维深度融合，可做到孪生可视、虚实融合、态势感知、时空数据计算等能力的体系；

具有时空快速检索和定位的能力；

具有历史回溯和轨迹追踪的能力；

对现有的AI智能有统一的接口预留（包括视频AI分析、语音AI分析、物联网AI分析接入的能力）

视频融合技术实现的步骤是三维重建关键步骤的简化

三维视频融合步骤包括：相机内参估算、特征匹配、位姿计算、纹理映射，但缺少点云计算、点云匹配、三角网格重构和三角测量（深度学习重建：数据融合、表面生成）等步骤；三维视频融合的高级阶段，就是实时三维重建。

智汇云舟通过视频孪生平台数据底座，利用三维视频融技术实现全景视频拼接融合，针对综采面进行全景视频覆盖，并进行一张图拼接融合，实现综采面实景视频的连贯浏览，多路视频拼接浏览，从而构建时实景视频孪生矿山综合态势一张图，重点区域一点即视，生产数据一体化掌控，异常情况及时发现与研判，全面提高安全生产和工作效率。