智能驾驶系统是怎样看懂交通标志的？3张流程图给你讲明白
导读：自然场景中交通标志牌图像识别的关键技术主要分为检测和识别两大类。其中，为了对目标图像进行准确识别，标志牌感兴趣区域的检测是首先要解决的问题。近年来，交通标志牌检测技术已经成为智能驾驶公交车辆视觉导航系统和计算机视觉领域的热点之一[1-2]。
本文将探讨基于视觉协同显著性的交通标志牌检测框架设计。
作者：余伶俐 周开军 陈白帆
来源：大数据DT（ID：hzdashuju）
大多数传统的交通标志牌检测算法常常是基于任务驱动的，如依赖颜色、形状以及机器学习。目前，这些算法针对的应用场景往往局限于结构化或半结构的环境，如高速公路等。
如今，随着生物神经元的发展以及大脑视觉皮层中信息处理机制的揭示，基于选择性注意机制的视觉显著性目标检测逐渐引起人们的关注[3-5]。
正如我们所知道的，人类在对一幅场景图像进行观察时，会毫不费力地将注意力聚焦在特定的目标或区域上。而这些目标或区域经常具有显著的视觉特征，如边缘轮廓、细节纹理、梯度方向、颜色强度以及空间位置等。
受此启发，本文提出一种基于视觉协同显著性的交通标志牌检测算法，这是目前较有前景的解决办法。
协同显著性的目标是从多幅输入图像中提取共同的显著性前景目标[6-7]。在本章主要面向复杂场景中的多幅交通标志牌图像进行检测。其中，为满足协同显著性检测，输入图像需要满足以下两个要求：
- 遵循人类视觉感知机制，单幅图像中可视化的目标区域能够明显与背景区分开来；
- 多幅图像中的协同显著性目标彼此具有相似性。
研究一种复杂场景中基于视觉协同显著性的交通标志牌检测算法，总体框架如图2-1所示。其检测过程涉及两个阶段：
在第一阶段，构建一个基于聚类的协同显著性模型，旨在检测多图像中重复出现的同一或近似的视觉显著性物体，其结果由协同显著图获得。其中，协同显著图由图间显著图和图内显著图融合而成。本阶段是一种bottom-up（自底向上）的视觉处理过程，根据图像底层特征分割出区别度最大的显著性目标。
在第二阶段，一个top-down（自顶向下）的几何结构约束模型被提出。目的是对检测出的显著性目标做自顶向下的几何结构约束分析，从而准确定位交通标志牌的ROI区域。
▲图2-1 基于视觉协同显著性的交通标志牌检测总体框架
01 基于聚类的图间/图内显著性检测模型子框架
构建基于聚类的协同显著性模型以得到协同显著图。其中关键是通过聚类进行图间关联性约束分析和图内关联性约束分析，使之分别生成图间协同显著图和图内显著图，其框架设计如图2-2所示。
▲图2-2 基于聚类的无监督约束子框架
依据bottom-up视觉注意力线索—分别为对比度线索、中心偏移度线索和对称性线索，对输入图像集进行聚类级别的显著性度量。将3个视觉注意力线索权值进行高斯归一化处理后，利用乘积融合为整体显著性图。最后采用概率框架软分配的方式平滑每个像素的显著性测度值，得到聚类级的图间/图内显著图。
采用的聚类算法为Kmeans++，这是一种无监督聚类算法，可以直观地划分出图像内与图像间的关联性区域。需要注意，聚类个数的选取是人为设定的。本文凭借实验对象和实验效果对聚类数目设置经验值，其中单幅图像内的聚类个数为6，多幅图像间的聚类个数为，其中，M表示输入图像的数目。
图2-3分别提供了单幅图像内的聚类和多幅图像间的聚类效果，可以看出Kmeans++实现了图像内的局部不变性约束和图像间的全局一致性约束。
▲图2-3 单幅图像内与多幅图像间的聚类效果图
02 几何结构约束模型子框架
总体上说，单纯依靠自底向上的显著性线索虽然能够将显著目标突显出来，但却很难移除一些干扰物的影响。这是由于在第一阶段寻找区别度最大的显著性区域或目标进行简单融合计算时，这些干扰物往往也会被赋予较高的显著度，从而对后续分析造成极大干扰。
人类的视觉系统对事物的感知是一个和外界环境交互的过程，既和自底向上数据驱动有关，也和自顶向下任务驱动有关。
因此，构建了一种几何结构约束模型，对检测出的交通标志牌协同显著图作自顶向下的几何约束。本文主要对日常生活中应用最广泛的圆形和三角形交通标志牌进行研究。即通过圆度和三角形检测模型判别每个场景目标所属类别，最后定位含有标志牌的ROI区域，如图2-4所示。
▲图2-4 几何结构约束模型子框架
关于作者：余伶俐，中南大学人工智能系副教授，主持多项国家重点研发计划子任务、湖南省科技重大专项子课题、国家自然科学基金等项目。承担了两期的中车时代电动汽车“智能驾驶决策与控制系统”开发，在湖南湘江新区与智慧公交示范运营线路上完成了3500 km测试，获得了湖南省颁发的第一辆智能驾驶公交车牌照。
周开军，湖南工商大学教授、硕士生导师，美国布兰戴斯大学国家复杂系统研究中心访问学者，湖南省青年骨干教师，湖南工商大学151人才。
陈白帆，中南大学副教授，硕士生导师，湖南省人工智能学会副秘书长，湖南省自兴人工智能研究院副院长，长期从事智能驾驶、移动机器人等应用理论研究。先后主持国家自然科学基金项目、湖南省自然科学基金项目，参与国家自然科学基金重大计划、国家重点研发计划、湖南省科技重大专项子课题。
本文摘编自《智能驾驶技术：路径规划与导航控制》，经出版方授权发布。
延伸阅读《智能驾驶技术：路径规划与导航控制》