SkeyeVSS视频共享融合赋能平台技术方案之视频融合子系统功能模块设计

一、 视频融合子系统方案

1.3 功能设计

1.3.1 视频资源汇聚

视频资源汇聚是该项目视频共享融合赋能解决方案的基础核心能力，只有通过视频资源汇聚功能汇聚各类视频资源，上层的基础应用、智能分析等视频能力才能构建起来。方案支持普通视频和智能视频的接入，接入方案包括前端设备联网接入和平台间的联网接入，视频资源在接入后都需要挂载到相应目录下。

（1）设备联网接入

部分企业目前已经建设了部分视频资源或者打算新建部分视频资源，但缺少视频汇聚平台，可以采用设备接入的方式进行整合接入。

视频设备接入包括对新建设备和已建设备的设计考虑，新建的摄像机均应采用GB/T28181-2016国标协议接入视频系统，已建的存量视频监控设备，应首先考虑采用GB/T28181-2016国标协议接入，并兼容GB/T28181-2011旧版本国标协议接入，其次考虑采用ONVIF协议接入，也可以根据点位实际重要性，点位改造替换或者采用SDK开发接入。

（2）GB/T28181-2016国标协议接入

对于新建的或原有无视频平台的前端视频设备，满足《公共安全视频监控联网系统信息传输、交换、控制技术要求》（GB/T28181-2016）的前端视频设备应采用国标规定的接入方式进行接入。接入方式如下图所示：

（3）Onvif协议接入

对于不符合GB/T28181-2016国标协议要求，但符合Onvif协议（开放型网络视频接口协议）的前端视频设备，平台支持通过Onvif协议实现视频设备接入，接入方式如下图所示：

（4）设备SDK接入

对于不符合GB/T28181-2016国标协议和Onivf等标准协议的前端视频设备，采用设备SDK开发接口和协议接入，通过调用设备前端SDK，实现兼容接入至本平台。接入方式如下图所示：

1.3.2 平台级联接入

对于原有投资建设的视频监控管理平台，可采用平台联网对接模式实现与本平台的级联对接，并实现原有平台存储设备的充分利旧。

原有投资建设的视频监控平台，应与本次建设的汇聚平台之间实现国标化联网。由于此类异构平台建设模式各异、标准不统一，给视频资源接入整合带来一定的困难，因此必须对不符合标准要求的非标平台进行国标化改造。

（1）GB/T28181-2016国标协议对接

已建的符合《公共安全视频监控联网系统信息传输、交换、控制技术要求》（GB/T28181-2016）要求的视频监控平台，按照GB/T28181-2016国标协议与本平台进行互联对接。

（2）接入服务集群

接入服务集群，提供百万级设备的接入汇聚能力，同时提供接入的负载均衡及动态容错服务。

接入服务集群负责接入管理各厂商生产的各种类型前端设备，从设备获取流，向设备下发配置/命令，订阅设备产生的告警、事件等等。对不同厂商的前端设备采用相应的协议进行接入，同时支持一些标准的接入方式，如国标GB28181、Onvif等。具有独立的服务可以屏蔽各种前端设备之间协议上的差异，对其进行抽象，产生统一的逻辑设备，向上提供统一的管理逻辑设备的标准接口，以此实现上层业务逻辑与底层设备具体协议之间的解耦。接入集群的服务需采用模块化设计，一个接入集群的模块支持多种不同厂家的不同设备协议设备的接入。接入模块化采用两种模式：

模式1，内部协议框架，统一管控各厂家的接入库；

模式2，通过开放协议（如国标GB28181、海康Ehome协议），只要符合对应接入协议即可实现快速接入。

通过模块化的设计，需具备如下的优点：

接入能力丰富，支持各种物联网设备的接入。

接入独立可靠，不同于传统接入采用单一接入进程绑定多种介接入库，云平台各个接入服务都是采用独立进程接入设备，相互隔离模式，不会产生一个接入库故障会影响整个接入服务的问题。

不同设备的接入，可按需启动进程，避免某些类型无需接入时，接入进程启动占用过多资源。

不同设备的接入，占用资源不均衡，接入管理采用智能的多种均衡算法区分调度。

支持接入服务按需升级，比如增加或者更新一种接入能力，只需要新增或更新对应的插件库，而不需要升级整个接入服务。

（3）流媒体集群

由于接入服务集群面对众多的前端设备，所面临的问题不仅仅是各种协议不同所带来的统一接入问题，还将面临各种前端设备采用各不相同的媒体打包格式的问题。如果接入集群直接将从前端设备获取的各种码流格式的媒体流提供给其他集群，那么这些集群的处理会非常复杂。

因此，需要接入服务集群提供对前端各种码流封装格式进行转换（非编码格式转换）的能力，将前端各异的码流封装格式统一为标准流，其他集群以标准的RTSP方式从接入服务集群获取媒体流。如图所示：

为了能够对上提供统一的流封装格式，流媒体模块对前端设备获取到的码流进行转换，转换的目的封装格式由客户端请求时携带。当前流媒体模块支持的打包格式转换包括：从RTP流到私有流，PS流到私有流，私有流1到私有流N，RTP over RTSP流到私有流以及从私有流到RTP流等。并且平台的流媒体模块可以方便地扩展其他转换方式。

为了方便视频跨平台观看和网页无插件直播和调用，流媒体服务需提供RTMP/HLS/HTTP-FLV/HTTP-TS等多种类型的协议分发流流媒体。同时，流媒体服务器需对外提供HTTP API接口，通过接口可以获知流媒体转发服务的运行状态信息，转发会话信息，服务器配置和版本信息等；

1.3.3 负载均衡

接入服务集群管理着大量前端设备，且与这些前端设备的媒体信令交互都由集群负责。为了系统的可靠性以及高性能，需要将这些设备均衡安排到集群，并在集群中节点故障时进行设备的迁移，负载均衡模块是为了完成这一任务而设计的。

当添加设备到接入服务，由负载均衡模块决策将设备下发到哪个集群节点，负载均衡尽量保证每个节点的设备负载量相当。当节点宕机，负载均衡模块会将节点下设备迁移到其他正常节点。

接入服务的负载均衡不同于其他方式的随机轮询或者基于cpu架构的设计理念，是围绕流量等纬度的压力进行负载计算，它同时还会考虑协议的差异，设备能力的差异，尽最大可能实现将相同设备，相同协议负载到某个已经启动对应接入协议的接入进群节点中，实现对号负载。当没有找到最优节点，还同时会实现调度寻找最优空闲节点启动该节点的接入服务。通过这种负载均衡模式可以实现接入的资源最优化使用。

除了自动负载均衡之外，提供手动负载均衡能力，支持特定场景下可以将当前设备接入压力进行重新负载，达到直观、快速的均衡效果。

1.3.4 视频资源一张图

资源一张图与企业点位检索支持基于区域内GIS地图展示企业视频资源基本情况和分布情况；支持点位名称关键词检索，支持按照场所类型、适用能力、共享权限、摄像机类型、视频标签等进行分类检索；支持一键清空检索类目；支持通过框选、圈选、多边形、线选、点选等方式批量选择待申请点位；支持通过权限状态和联网状态筛选点位；支持鹰眼地图；支持通过点击地图视频点位，查看点位详情信息。

1.3.5 视频点播

视频点播分为实时视频点播和历史录像点播，两者用于快速拉取实时视频流或录像流，以快速判断视频通道的可调阅性。

实时视频点播即对实时视频流进行拉流判断，若能够拉到流，则认为点播成功，反之点播失败。

历史录像点播即对过去15天的录像流进行拉流判断，若15天均能拉到流，则认为历史录像点播成功，反之点播失败。

系统支持用户指定通道巡检，也支持针对全量通道的自动抽样巡检。

实时视频点播支持3秒并发检测20路通道，约4小时可完成10万路视频通道是否完好的检测。

1.3.6 智能视频分析引擎

视频图像智能化则可以看作人的大脑，借助计算机强大的数据处理功能，对视频画面中的海量数据进行高速分析，过滤掉用户不关心的信息，使得视频摄像头可以变成全天候、自动化的“巡查队员”，助力中心平台实现自动发现、自动告警、行为预警等智能化识别。借助视频+AI的方式， 对安全现场管理、环境保护管理、消防安全管理、能源管理、应急管理、隐患排查治理、事故管理等多领域、多行业的场景进行智能分析，满足不同行业和不同领域的AI识别需求，实现视频图像应用的“所见即所知”，赋能集团公司安全环保“提质增效”。

1.3.7 录像管理

对前端摄像机的录像存储情况进行监控，按存储位置分中心录像（云存储或后端服务器）和设备录像（前端SD卡或NVR），通过“录像完整性”和“录像保存天数完整性”两个指标来衡量。

录像完整性，是将前一天的录像存储明细与录像计划做对比，如果不能全覆盖则认为录像不完整；录像保存天数完整性，支持对录像存储天数进行检测，通过录像月历查询得出日历卡覆盖情况，可检测实际录像保存天数、录像丢失天数、最早录像时间等。

支持视频融合子系统平台录像、检索、回放；

支持历史视频点播 （支持UDP、TCP主动（tcpactive）、TCP被动（tcppassive））；

支持历史视频下载 （支持UDP、TCP主动（tcpactive）、TCP被动（tcppassive））；

支持历史视频的查询和历史视频的点播控制。

1.3.8 视频资源收藏

视频收藏是指用户可收藏视频广场上的视频信息，支持用户建立不同主题的收藏夹，将视频收藏在不同收藏夹实现归类管理。已收藏的视频可在“已收藏”页查看，已收藏的视频也可以复用卡片页上的查询条件。

1.3.9 视频资源详情

点位详情预览支持视频点位详情预览，展示视频通道名称、通道编码、点位类型、所属行业部门、设备厂商、经纬度等信息；

系统会根据用户权限，在视频点位详情页面中对视频资源进行实时视频预览、录像回放、云台控制、录像下载等操作权限的控制。同时，系统从安全性角度触发，用户在查看实时视频和录像回放时，支持按照“用户名+IP”的水印展示方式。

1.3.10 可视化管理

视频融合子系统自身拥有丰富的功能，是集直播、录像、回放于一体的高效、稳定的国标GB/T2818国标视频云服务。Web端运维管理让所有设备节点清晰便于管理，设备与设备连接起来，真实反应设备和现场状况，让可视化变得可“移动”，访问不受时间、地理位置限制，只要确保网络畅通。

1.3.11 设备管理

支持国标GB28181设备注册和注销，对所有设备进行管理，获取资源，对资源列表进行管理。通过Web可视化后台分析并展示庞杂数据的设备，可实时查看设备在线、掉线等状态信息，从而实现设备管理、故障告警、事前预警和时候分析等功能。

1.3.12 实时流媒体处理

使用PS（TS）转ES方式，将实时流采集终端的视频数据实时推送到GB/T28181国标视频云服务（视频融合子系统），完成远距离实时流媒体传输处理。用于远程查看监控摄像头，客户端抓取实时数据供直播观看。

1.3.13 实时快照、视频数据获取

视频融合子系统考虑到CPU等硬件资源消耗问题，只作流媒体数据转发的过程，不进行转码。但是业务操作中希望定时抓取实时快照进行封面展示、数据分析，此时视频融合子系统会定时获取一帧数据进行解码，转成jpg或bmp图片，通过http直接访问图片。不同网络环境下，支持实时视频请求（支持UDP、TCP主动、TCP被动三种流传输模式自由切换）。

1.3.14 设备状态监测

视频融合子系统可针对设备故障预警和状态监测根据设备运行规律或观测得到的可能性前兆，实时反映设备的异常状况，最大程度的降低设备故障所造成的损失。

1.3.15 云台控制

云台控制基于动态组网服务创建智能网络，按需选择需要组网的网络成员实现互联。支持设备的云台PTZ控制，控制类型：上"up"，下"down"，左"left"，右"right"，左上"leftup"，左下"leftdown"，右上"rightup"，右下"rightdown"，镜头近"zoomin"，镜头远"zoomout"， 焦距远"focusfar"，焦距近"focusnear"，设置预置位"setpos"，调预置位"callpos"。

1.3.16 标准流输出

通过纯Web化的交互方式，只需要将传统监控行业里面的高清网络摄像机IP Camera、NVR等GB28181国标协议输出的设备、平台注册到视频融合子系统，即可将设备接入。该模块的主要功能作用有：

支持H.265编码视频Web直播；

RTSP协议输出；

RTMP协议输出；

HTTP-FLV协议输出；

HLS（m3u8）协议输出；

WS-FLV协议输出。

1.3.17 告警查询

当设备包含报警布防功能，可以定义好设备的报警信息，视频融合子系统可以获取到设备的报警信息，同步的抓取到所有的设备记录的报警状态，将设备的报警级别、报警方式、报警类型报警时间都统一的展示出来。平台端也会根据设备的报警的信息进行视频的截取，获取到报警时刻的视频截图。

1.3.18 用户管理

 用户列表

管理员账户可以，分配子账户，每个子账户都拥有对应的权限，子账户拥有自身的管理设备，同事拥有独立的登录功能。

 角色列表

角色和用户绑定，每个用户绑定对应的角色，每个角色拥有对应的设备使用权限，由此可以到达用户对设备的管理和使用权限。

1.3.19 视频资源分享

视频资源分享是指用户分享视频资源至指定用户，系统默认有效分享期限为7天；指定用户可在平台上接收分享的视频资源，点击分享的视频资源信息，可进入视频通道资源详情页面。

1.3.20 设备监控设备在线状态

对设备在离线状态进行实时监控，可监控内容包括实时在离线状态、一段时间内的累计离线次数、累计离线时长、在离线趋势；

平台接入的前端设备是通过“全量同步+变更通知”的方式获取设备的在离线状态，主动添加的动环设备是通过SDK心跳保活的方式获取在离线状态，存储设备/网络设备/硬件服务器是通过SNMP协议实时获取在离线状态。

1.3.21 视频质量诊断

智能运维管理平台采用国际领先的图形处理算法和模式识别技术，对接入平台的前端摄像机进行实时拉流，智能分析摄像机画面是否正常，可检测项包括：视频冻结异常、视频丢失异常、视频抖动异常、视频条纹异常、视频遮挡异常、视频过暗异常、视频过亮异常、对比度异常、清晰度异常、偏色异常、噪声异常、场景变化异常、黑白图像异常、视频剧变、雪花屏、登录失败。

支持针对问题视频的一键复核。

1.3.22 字幕标注合规

依据中华人民共和国公共安全行业标准《视频图像文字标注规范》，对视频图像上标注的“地点信息”、“辖区信息”、“时间信息”、“摄像机信息”的“内容”与“位置”的合规性进行检测，合规既包括内容合规，又包括位置合规。

对时间戳的检测，可用做前端相机和服务器间时间准确性的判定。

系统支持用户指定通道巡检，也支持针对全量通道的自动抽样巡检。

1.3.23 设备运维

“建为用，用为战”，为保障平台对该项目的服务质量，提高运行维护水平，规范业务流程，检测平台的安全可用和稳定性，以及符合上级平台考核数据要求，需要建设视频监控运维管理体系。

1.3.24 报警中心

1.3.24.1 自定义报警阈值

支持客户依据自身业务自定义报警阈值，可自定义内容包括：报警对象、报警类型、报警指标、报警阈值、报警等级、报警生效时间段、报警时间、报警方式及接收人等。

1.3.24.2 报警处理

支持多种报警处理方式，若报警为误报，可以进行报警忽略；若为真实报警，则可以直接填写报警解决方案或通过一键报修，进行报警的流程化处理，同时系统还支持报警的自动报修，支持用户设定不同的自动报修规则。

1.3.24.3 报警方式

系统支持实时的将报警信息通过客户端、邮件、短信等方式发送给预设的报警接收人。