智能视频分析技术让安防更加智慧【人工智能-视频分析】

不管是科达大力推广的感知摄像机（Intelligent IPC）还是海康公司的Smart IPC、或者NICE公司的Suspect Search系统，其本质都是智能视觉分析技术与“大数据”的结合应用。最近两年以来，我们听到太多的“大数据与安防监控”的概念，但是，基本都停留在理念表面，描绘的是一个美好的前景，至于如何实施，或者到底能不能实施，很多人还是疑惑很大。本文从技术角度，说明智能视频分析技术与“大数据”如何结合及相关公司案例落地情况，尽量将理论结合到实际。

计算机视觉技术，属于人工智能领域。核心问题是如何让计算机能够像我们人眼一样去“看”，识别物体的类别、特征、位置、推断事物的结构逻辑关系、动作和轨迹等。Google等公司一直研究的“计算机视觉”及“图片搜索”，侧重于静态图片的识别，而安防监控领域，增加了时间域概念，或者说是针对一系列的图片序列识别。

安防监控领域的需求很明确：对前端摄像机采集的视频内容进行分析，提取出画面中关键的、感兴趣的、有效的信息，以便进行实时处理或者事后处理。核心就是所谓的“视频数据的语义描述过程”，摄像机相当于人的眼睛，而视频分析算法相当于大脑，借助于前后端芯片或者处理器数据处理功能，对海量数据进行高速分析，形成结构化的数据便于进一步处理。目前，智能视觉在实际应用中比较成功的是车辆卡口摄像机及部分条件下的人员卡口摄像机。

车辆卡口摄像机应用：车辆卡口摄像机不仅能够准确抓拍和识别车牌信息，还能准确识别车标、车型、车身颜色等更丰富的车辆特征。而且，无论是夜间还是白天逆光环境，它都能看清车内细节，并准确抓拍车内司乘人脸照片。

人员卡口摄像机：人员卡口摄像机专门针对人，除了颜色、方向等基本特征信息，很多重点场所还需要准确识别和抓拍人脸照片，以便于开展人脸识别等深度应用。人员卡口摄像机通过视野较小的断面视频，能够准确抓拍最佳的人脸照片。而且还能抓拍人的整个轮廓，还可识别人员行进的方向、速度等特征。

视频监控数据中的元数据

提起视频监控的语义分析，不得不提”元数据(Metadata)”， 元数据通常用于对数据的自动检索和数据挖掘。视频监控系统中的元数据由两个层次组成，即基本属性信息以及描述场景内容的信息。基本层次的元数据(基本属性信息)无需经过智能视觉分析算法的输出即可得到，如录像时间、地点信息、摄像机的参数等；描述场景内容的信息元数据(场景内容信息)来自于对场景视频进行实时分析的结果，按照其描述的范围分类，主要有局部场景内的元数据(来自于智能前端设备的分析输出)和全局场景内的元数据(由分布式视频监控中心的上下文感知算法产生)。

上图中椭圆标记可分为两大类，一类为对象，一类为对象属性。对一个具体视频场景描述时先确定考察的对象，然后判断对象的“有/无”，再根据对象的不同类别来描述对象的属性。图中“元数据”到任意一个“终止符”经过的路径都是对一个对象的“元数据”描述。如：人丨有＞移动丨动，描述场景中“有人在动”。

视频的语义分析过程

语义，即信息包含的概念或者意义，语义不仅要表述事物是什么，而且需要表述事物之间的相互关联、因果关系。视频语义（Video Semantic）是对视频所包含的事物的描述和逻辑表述，是涉及文字、声音和图像序列的信息综合体。视频语义分析就是对视频包含的语义信息的提取过程，视频语义分析是综合多学科的研究课题，视频语义分析首先需要对视频结构分析，分割、常见的方式是关键帧、镜头、场景等。视频语义分析最基本问题是对视频流中对象进行提取和识别，主要包括物体检测、物体识别、人体识别、人脸识别、动作识别等。

视频的语义分析过程可以理解成视频数据的结构化过程，实质就是自动地将视频序列中的特征识别出来之后，生成标签入库，以便日后快速查询及研判。这与Google等公司探索的图片搜索有所区别，图片搜索主要基于单幅图片，而视频则是持续一定时间的序列。目前视频的语义描述实施得比较好的是如前所述的车辆卡口应用，因为此类应用，场景基本类同、目标属性明确、要提取的目标的特征清晰，且对于车辆的抓拍角度相对固定，车牌识别算法比较成熟，并且有实际业务驱动需求。

大数据视频分析模型

大数据的基础技术可以借鉴到安防领域的包括如下这些技术：1、海量数据的存储：通常使用分布式文件系统、基于列的Non-SQL数据库等方式来存储海量数据。2、分布式计算平台/框架：目前最流行的就是基于MapReduce或其变种的各类分布式计算平台/框架，通过将一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，将任务分布到大量服务器上并发处理提高系统的实时响应速度。3、智能分析与识别：对于大量非结构化的数据，需要接近甚至超越人类能力的智能分析与识别技术，将采集到的非结构化数据转换为计算机能处理的半结构化和结构化数据。4、利用元数据服务器定位存储信息，全文检索引擎，负责对海量数据进行稳定、可靠、快速实时检索。

利用HDFS的分布式存储架构及MapReduce并行处理架构，可以进行海量视频数据的高效实时视频分析及对录像视频的二次分析：实时分析将直接产生结果，并可备份视频元数据，录像分析可以基于元数据直接进行，或者完全重新基于要求进行分析。由于视频数据始终分布存储在分布的数据节点中，而命名节点保存着视频文件存储路径，因此，只要用户提交了分析任务给命名节点，命名节点的JobTracker即可调度各个数据节点的TaskTracker系统完成分析任务并反馈结果，大大提高了并行分析海量视频数据的效率。

如前所述，视频分析算法将消耗大量的计算资源，计算机的性能瓶颈将严重制约，而如果检索对象是海量视频数据经过智能算法分析后输出的智能元数据(Meta Data)，检索及后期智能挖掘速度将大大提高，视频元数据的产生如图所示。

安防行业对大数据的应用

带有视觉感知(视频分析)功能的摄像机，相当于物联网中的一个一个视觉传感器，大量摄像机感知的海量信息，进入大数据和云计算平台，进行二次运算，使我们不仅能从单个摄像机中识别内容作出判断，还能从海量的监控数据中，做出深度分析和挖掘，从而让公共安全、社会管理、交通管理的方式得以改变……

语义搜索：抢劫案目击者提供车牌不明的犯罪车辆信息。直接输入“3月1日”、“黑色”、“奥迪”，锁定目标车辆。

人脸搜索：越狱犯身藏何处？将罪犯人脸照片输入侦查系统，人脸搜索功能将自动查找人员踪迹。

实时布控：珠宝店盗窃案的犯罪车辆失踪。在系统中输入车牌信息，嫌疑车辆经过任何监控摄像头，系统自动告警。

以图搜图：犯罪分子利用套牌、假牌掩盖路径。以图搜图功能利用车身图片同样可查到车辆的通行数据。

多点碰撞：连环盗窃案。比对每个案发地点在案发时间的所有车辆信息，发现全都出现过某辆车，即锁定为嫌疑车辆。

人车关联：违法违规驾驶。人车关联智能比对驾驶员人脸与车辆信息，违法违规追责到具体人。

大数据技术引入安防的难点

大数据技术应用在安防行业的主要困难点有：如何准确地从非结构化数据中提取计算机易于处理的结构化、半结构化的信息。如何将大数据与安防业务需求结合，创造出更多的数据利用模式，从而为数据的拥者和使用者创造出更多的价值。更多视频分析内容详见商业新知的视频分析知识图谱