在NVIDIA Jetson开发套件上快速构建一个实时中文车牌检测和识别应用

这是NVIDIA在2021年初公布的一个开源项目，用NVIDA Jetson设备上的DeepStream视频分析套件实现“车牌识别”的功能，这是个实用性非常高的应用，能应用在各类小区门禁管理、停车场管理、道路违章等使用场景。

这个项目还有一个非常重要的特色，就是支持中国（文）机动车牌的识别，本文就专门针对中文车牌识别的部分，带着大家走过一遍，项目内容中有些需要改进的部分，在本文中也都一一说明，现在先简单了解一下这个项目的执行原理。

Highlight

本系列总共包括三部分：

1. 在Jetson上用DeepStream识别中文车牌

2.用NVIDIA TLT训练LPD（License Plate Detection）模型，负责获取车牌位置

3用NVIDIA TLT训练LPR（License Plate Recognition）模型，负责识别车牌内文字

本篇内容是让大家能快速体验一下，如何利用NVIDIA NGC上已经训练好的LPD与LPR两个深度学习模型，立即在Jetson上的DeepStream实现“中文车牌识别”的功能，不过这个模型目前还不能识别电动车的绿色车牌，因此还有很大的改善空间。

要点讲解

对DeepStream有初步了解的人应该都知道，这套工具支持“分级模型（grade model）”组合检测与分类的功能，这个特性就能将车牌识别的应用拆解成三大部分，

1. 一级PGIE：这是DeepStream的主模型，以“Car”为检测（detection）目标

2. 二级SGIE：这里以“车牌位置检测（LPD）”的模型，在PGIE所找到的“Car”范围内，定位出“车牌”的标框位置。

3. 三级SGIE：从二级SGIE得到的车牌图形中，执行“车牌内容识别（LPR）”任务，并将识别的文字回传。

要知道这样三级模型叠加处理，是一件困难度极高的任务，但却是DeepStream非常基本的功能，后面执行过程你就能发现竟然如此简单就能执行。

1. 安装与验证DeepStream开发套件5.0.1版本：

用TF卡作为存储的Jetson Nano（含2GB）与Xavier NX的刷机镜像，都已经与安装好DeepStream，只要使用的Jetpack版本 >= 4.4就行，如果不放心的话，也可以在指令视窗执行以下指令进行确认：

$ dpkg -ldeepstream-5.0

出现以下信息能验证是5.0.1版本的DeepStream。

要确认DeepStream是否安装完成，可以用编译好的deepstream-test1-app这个执行工具进测试，但是必须在

/opt/nvidia/deepstream/deepstream/sources/apps/sample_apps/deepstream-test1

这个路径下执行。

这个指令需要输入一个H264格式的视频文件，我们直接使用系统预安装的VisionWorks下面的的视频文件就行，例如/usr/share/visionworks/sources/data/pedestrians.h264文件。

请执行以下指令进行测试：

$ cd /opt/nvidia/deepstream/deepstream/sources 
$ cd apps/sample_apps/deepstream-test1
$ ln -s /usr/share/visionworks/sources/data/pedestrians.h264 test.h264
$ deepstream-test1-app test.h264

能正常执行就表示DeepStream 5.0.1安装完整。

2. 下载 tlt-converter工具：

因为后面要下载的模型，使用NVIDIA TLT迁移学习工具所训练的etlt中间文件，我们必须在Jetson上用tlt-converter将.etlt模型转成TensorRT加速引起，这样才能被DeepStream调用。

由于我们使用的设备，是安装Jetpack 4.5版本的Jetson系列，包括AGX Xavier、Xavier NX、Jetson Nano与Jetson Nano 2GB等四种，因此选择支持Jetpack的版本就可以，下载链接在https://developer.nvidia.com/cuda102-trt71-jp45，下载后解压缩就能看到tlt-converter这个工具。

3.下载项目与模型：

• 克隆开源项目的代码，请执行以下指令：

$ git clone https://github.com/NVIDIA-AI-IOT/deepstream_lpr_app.git

• 下载所需要的模型，在项目内已经建立好download.ch.sh脚本

$ cd deepstream_lpr_app
$ ./download_ch.sh

这个步骤会从NGC下载三个与训练好的中文车牌识别相关的模型文件，以及其配套的相关文件，主要内容如下：

1) CAR模型：resnet18_trafficcamnet_pruned.etlt

2) LPD模型：ccpd_pruned.etlt

3) LPR模型：ch_lprnet_baseline18_deployable.etlt

脚本为这些模型、配套文件都设置好对应路径，因此简单执行就可以。

• 转换模型：

这个步骤就要使用到前面下载的tlt-converter转换工具，先将这个工具复制到deepstream_lpr_app目录下，然后执行以下指令：

$ ./tlt-converter -k nvidia_tlt \
-p image_input,1x3x48x96,4x3x48x96,16x3x48x96 \        
models/LP/LPR/ch_lprnet_baseline18_deployable.etlt \
-t fp16 -e models/LP/LPR/lpr_ch_onnx_b16.engine

记住！在不同设备上必须个别执行一次转换，因为在AGX Xavier上转换好的TensorRT引擎，是不能用在Jetson Nao上面的。

执行过程不花太多时间，如果执行正常会出现以下信息：

• 编译与执行：

将工作位置移到~/deepstream_lpr_app并执行make就可以，完整指令如下：

$ cd ~/deepstream_lpr_app && make 

到下一层deepstream_lpr_app目录用中文字典文件 dict_ch.txt置换dict.txt

$ cd deepstream_lpr_app && cp dict_ch.txt dict.txt 

执行车牌识别指令 ./deepstream-lpr-app，后面跟随的参数如下：

• 第1个参数指定功能：1 -> 美国车牌识别、2 -> 中国车牌识别
• 第2个参数指定输出：1 -> 输出到h264视频文件、2 -> fakesink、3 ->显示到屏幕上
• 第3个参数指定输入.mp4视频文件，可以一次给多个
• 第4个参数指定输出.h264视频文件

我们用手机在停车场简单录制两段30秒的短视频作为测试，您也可以比照办理。完整执行指令如下：

$./deepstream-lpr-app 2 1 0 test.mp4 out.h264

4. Debug

执行结果：无法识别，发现这里面存在bug

(1) 重新使用美国版的指令进行测试，显示能正常执行，表示代码内容应该是正确的

(2) 于是得从中文版的设定文件lpd_ccpd_config.txt、lpr_config_sgie_ch.txt里面寻找答案。

(3) 经过一番比对与测试之后，发现需要将lpd_ccpd_config.txt里第52行的“model-color-format”设定值改为“0”，然后就能执行中文车牌识别任务。

5. 显示优化

(1) 由于原始的显示部分字体非常小，因此将deepstream_lpr_app.c源代码内第182行～192行内的字体颜色与大小做些修改，您可以根据自己的喜好去调整。修改完后记得要执行“make”编译工作，才会生效。

(2) 在~/deepstream-lpr-app/model/LP/LPD的ccpd_label.txt文件中，使用简单“lpd”作为显示，可以置换成“车牌”这样显示就更容易看得清楚。

(3) 可以同时输入多个视频文件进行测试，请自行提供多个检测文件，指令如下：

$ ./deepstream-lpr-app 2 1 0 test.mp4 test1.mp4 test2.mp4 test3.mp4 
test4.mp4 test.mp4 out.h264

执行效果如下：

6. 性能优化过程:

(1) 执行过程打开jtop监控计算单元的实时性能，可以看到“NVENC”与“NVDEC”都是打开了，因为DeepStream涉及视频读入时就会调用NVDEC解码器、写入视频时就会调用NVENC编码器，因此在这方面的性能提升空间并不大。

(2) 事实上在执行过程，我们发现这个应用启动了“追踪（tracker）”功能，这很消耗计算资源，本来尝试很多方法想将这个追踪功能关闭，但是尝试失败。

(3) 我们发现在lpr_sample_tracker_config.txt文件中，在倒数第三行“ll-lib-file=”设定为NvDCF追踪器，这是追踪效果最好但性能较差的追踪器，因此我们尝试将追踪器的设定值改为“libnvds_mot_iou.so”之后，发现性能立即就提升大约30%以上。

7. 性能比较：

结束语

经过整理之后其实整个流程非常简单，虽然中文版的部分有个Bug，还好我们也都找到问题点并且解决，这样就能让这个项目很顺利地往下发展。