神经网络帮助识别车牌服务于交通控制

(原文在英文版2018-2月刊)

结合现成的相机和运行神经网络软件的PC，新加坡当局正在用这种方法进行交通监控和执法。

文/Andrew Wilson

自动车牌识别（ANPR）或车牌识别（LPR）是一项具有挑战性的需要实时执行的任务。这是由许多原因造成的，包括需要识别不同类型的车牌、遇到的各种照明条件以及需要在晚上以足够高的对比度捕捉快速移动的物体。

新加坡Optasia Systems公司创始人Richard Goh介绍说：“通常情况下，IP相机使用低成本图像传感器，导致曝光时间长且经常会产生图像模糊，这类系统也倾向于包含使用运动补偿图像间预测，以及使用离散余弦变换（DCT）的空间变换编码的混合H.264/5编码等标准。因为该技术不是无损的，所以会导致压缩伪像出现在传输的图像中，这使得解读与牌照相关的字母数字字符变得更加困难。”

图1：OptasiaSystems公司的ANPR系统包括IMPS ANPR Model AIO，它采用GigE相机连接到安装在一个单元中的嵌入式计算机。

为了克服这个问题，OptasiaSystems提供了许多基于高分辨率GigE相机以及不使用有损数字压缩标准的神经网络的ANPR系统。其中包括集成多通系统（IMPS）ANPR Model AIO，该系统集成了一台GigE相机，与装在一个单元内的嵌入式计算机（见图1）以及该公司的IMPSAOI-M3系统连接，采用可见光或近红外（NIR）850 nm LED照明系统。这两款产品都采用了Basler公司的acA 1920-40gm相机，通过GigE接口连接至嵌入式主机，也可以使用采用SonyIMX249 Pregius CMOS图像传感器的其他相机。

Basler相机能够在全分辨率下以42fps的帧率捕获图像；在Optasia系统中，通过每50ms照明系统进行1/1000s的频闪，以约40fps的帧率捕捉静止图像，且无运动模糊。此外，由于这些图像没有被压缩，因此它们具有足够高的对比度和清晰度，能够很容易地提取出牌照信息。

“相机，例如Basler acA 1920-40gm使用Sony IMX249 Pregius CMOS图像传感器，”Goh说道，“这是一款光学格式为1/1.2英寸的面阵传感器，像素尺寸5.86μm，分辨率1936×1216像素。在530nm处具有65％的相对较高的量子效率（QE），并且在大约850nm的近红外范围内具有良好的QE，因此具有高动态范围，能容忍曝光变化，特别适用于如ANPR等低光照明应用。”

识别字符

“开发这些系统的主要设计挑战之一，”Goh介绍说，“是需要能够识别反光和非反光车牌上的字母数字字符。并且这需要当系统安装到移动车辆上以检测例如停车场中的未授权车辆时，或者当车辆移动经过固定位置系统，例如在隧道入口或机场停车场发现的系统时，均能够实现。”

图2：（a）明亮日光下拍摄的图像可能显示低对比度，要提取车牌的显著特征，需要使用智能预测性包围曝光。（b）夜间拍摄的图像可以通过用850nm波长的NIR照明照射对象来增强。在这种情况下，牌照上的白色字母数字数据会变暗，使特征提取过程更容易。

虽然反光牌照将大部分系统照明返回到相机，但大多数反光牌照对NIR都具有高反射特性，并且在使用850nm波长选通时会产生高对比度图像。在相似的照明条件下，虽然在NIR照明下可能会返回足够高的对比度图像，但非反光牌照将返回较少的可见光。虽然诸如IMPS AOI-M3相机同步NIR照明器之类的系统，可以分别捕获35m和50m距离处的非反射车牌和反射车牌，但对于每种类型的车牌，使用相同的相机曝光时间，将导致反射车牌适当曝光、非反射车牌过曝，或者相反。

克服这个问题的方法之一是使用高动态范围（HDR）成像。在这种方法中，相同的图像在不同的曝光时间下曝光，从而导致使用高速曝光拍摄的图像明亮，而使用低速曝光拍摄的图像黑暗。然后可以使用诸如开源计算机视觉库（OpenCV）的Merge Mertens融合函数算法，将曝光序列合成到单个图像中。事实上，这是美国Reflex Technologies公司在其电影扫描仪设计中使用的方法。

包围曝光

“虽然这种系统能以约2~3fps的帧率完成，但对于ANPR系统来说，以高达20fps的帧率执行这种合并算法所需的数据速率和处理能力将令人承受不起，”Goh说。“另外，由于相机视场范围内的汽车行进非常迅速，执行这种HDR融合将需要非常高速（并且价格昂贵）的相机。而IMPS ANPRModelAIO和AIO-M3系统都采用称为智能预测性包围曝光的摄影技术，突出隐藏在阴暗阴影或明亮阳光下的车牌。”

在此方法中，如DavidPeterson在他的文章“什么是包围曝光？”中所解释的（可以在DigitalPhoto Secrets：www.digital-photo-secrets.com网站上找到），包围曝光是针对相机的设定值，拍摄一张曝光值更高图像和拍摄另一张曝光值更低的图像的过程。每张图像由三帧组成，每帧可以单独处理以提取相关数据。

在OptasiaSystems设计的系统中，相机的增益和快门速度以序列的形式调整，以实时获得这三幅图像。然后，一系列图像可能包含1/1000s的标准曝光图像，曝光值（eV）标准化为eV-0，而接下来的两幅图像可能具有eV+1或1/500s和eV+1或1/2000s的曝光值。Goh介绍说：“这可以实现，因为Basler acA1920-40gm相机可以逐帧改变曝光。”

在主机处理这三张图像中的每张之前，每帧内的数据被减少。为了实现这一点，预定义一个或多个感兴趣区域（ROI）。例如，如果系统可能安装在摩托车上以检查停车场的车牌，则可以仅选择地面上0.8米的区域。对于安装在多车道高速公路上的系统，只需要检查那些车道内的选定区域。为了进一步减少处理开支，ROI在运行Linux的基于Intel 17 4C/8T的主机上进行处理，因此例如由于汽车格栅和栏杆引起的任何虚假边缘过渡都会被提取出来，然后被忽略。

处理图像

IMPS ANPRModel AIO和IMPS AOI-M3系统的核心是专有的多层感知器（MLP）。这种基于软件的前馈人工神经网络由许多层组成，这些层使用称为反向传播的监督式学习技术，来训练和区分不能线性分离的数据。在多幅图像中的ROI可以应用于MLP之前，神经网络分类器会接受来自已知的良好牌照的成千上万张单独字母数字图像的训练。

OCR获得的信息

然而，该系统比简单地捕获图像数据、再使用神经网络处理以执行光学字符识别（OCR）并返回结果的系统更复杂。更准确地说，该系统是动态的，因为OCR/神经网络引擎反馈像素数据，例如包含牌照的ROI的像素对比度、背景值和前景值。然后使用该数据来实时调整相机的曝光值，使得所捕获图像的对比度随后增加。一旦捕获到单独的字母数字字符，就会将它们与数据库中的数据进行比较。

图3：系统图形用户界面（GUI）显示车牌识别的结果。左上图像中的绿线代表从中提取图像数据的ROI的边界框，而红色框显示汽车牌照出现的位置。

虽然在明亮日光下拍摄的图像最初可能会呈现低对比度（见图2a），但通过结合使用智能预测包围曝光与OCR引擎的反馈，可以提取车牌的显著特征。同样，夜间摄取的图像（见图2b）可以通过用850nm波长的NIR照明照射目标来增强。在这种情况下，牌照上的白色字母数字数据会变暗，使特征提取过程更加容易。

更多信息

为了向政府机构提供有关场景中汽车的更多信息，速度雷达系统可以通过TCP/IP网络与系统连接。例如，新加坡ATT Systems公司的IControl系统等设备可用于跟踪车辆的速度。该数据可以与特定的车牌号码相关联。图形用户界面（GUI）可以显示OCR的结果和汽车牌照（见图3）。这里，左上图像中的绿线表示用于提取图像数据的ROI边界框，而红色框表示汽车牌照出现的位置。

较小的图像（显示在左上大图像的下方）从右到左代表：相机捕获的完整1936×1216像素图像的缩放版本、由OCR /神经网络处理的700×300像素图像、车牌的裁剪图像和由系统生成的字母数字图像。“通过使用Unix时间（纪元时间）格式将这些图像与来自ATTSystems的雷达系统的速度数据一起打上时间戳，就可以向主管部门提供可能发生过的任何违规的准确时间和地点。”

每个系统的成本约为10,000美元，IMPS ANPR Model AIO和IMPS AOI-M3系统均可以联网，以提供对多个地点的同时覆盖。目前，Optasia的系统正在新加坡滨海高速公路（MCE）隧道和中国澳门国际机场运行。