视觉抗疫情 | AI无感测温技术解密

点击上方“小白学视觉”，选择“星标”公众号 以下文章来源于OpenCV学堂，作者gloomyfish

重磅干货，第一时间送达

引言

当前的环境下，出门测体温已经是预防疫情有效手段之一，传统的测温方法就是测温枪，它的缺点就是近距离、手持式的，在大规模或者大流量的人群中使用，容易导致人群聚集排队等待、效率不够高。这次抗疫的过程中也有很多机场，车站人流密集的场所实现了AI无感测温，行人只要体温正常即可通过，高于规定阈值则会自动报警与跟踪标注，这项黑科技就是基于红外热成像 + 视觉识别 两大核心技术加持的无感测温系统。他们是怎么做到的，小编斗胆来解密一波，如有缪误之处，恳请指正！

热红外成像

红外线

对于人来说，我们人眼可以看到花花世界均是在一定波长范围之内的可见光组成的，按照波长从长到短分别为红、橙、黄、绿、青、蓝、紫被为可见光部分，在红色外面不可见的波长范围部分称为红外线(IR)、紫色之外的称为紫外线(UV)。

红外线根据波长的不同可以划分为如下几种：

近红外：波长为0.78～1.5μm

中红外：波长为1.5～10μm

远红外：波长为10～1000μm

热红外：波长为2.0～1000μm

热成像

自然界中一切物体都会有电磁辐射，此乃客观规律！特别是都会有红外辐射，当然我们人类也不例外。没想到自己这么厉害吧，整天还向外界辐射红外线，因此我们可以利用探测器探测不同物体红外辐射强度信号，根据背景和对象之间的红外线差，生成数字信号，得到不同红外线图像，称为热图像。

最早这像技术被用在军事中，开发生成热像仪，用来观察夜间敌情，其原理是自然界中一切高于绝对零度(-273)的以上的物体都具有红外辐射。红外热像仪是利用红外探测器、光学成像物镜和光机扫描系统（目前先进的焦平面技术则省去了光机扫描系统）接收被测目标的红外辐射能量分布图形反映到红外探测器的光敏元上，在光学系统和红外探测器之间，有一个光机扫描机构（焦平面热像仪无此机构）对被测物体的红外热像进行扫描，并聚焦在单元或分光探测器上，由探测器将红外辐射能转换成电信号，经放大处理、转换或标准视频信号通过电视屏或监测器显示红外热像图。图示如下：

看到上面的图像，左侧是热成像，右侧是可见光RGB彩色图像，这个时候大家可能会有点疑问，怎么不是彩色的啊，因为数字信号根本就是单色，所以只能灰度成像。但是人眼对灰度级别的变化不是很敏感，无法直观察觉温度差异，所以需要对转为更加直观的伪彩色图像。

伪彩色显示

因为人体的不同部位温度是不一样的，稍有差异的，一般情况下我们希望红色表示温度高的区域，蓝色表示温度低的区域，实现伪彩色变换。OpenCV中已经支持这样的伪彩色填充，只需几行代码就可以搞定。一个伪彩色处理之后的显示如下图，很明显人体手部应该是温度高的区域，其它蓝色区域则表示周围环境温度比较低。

这里我还想起了一部电影，斯瓦星格主演的，有个外星人通过热成像来跟踪他，他迫不得已跳进冰冷的泥潭中降低体感温度实现隐蔽的硬核科幻，电影名字我已经忘记了！

好了，现在知道了红外热成像原理，下面我们再来一起侃侃视觉处理部分，如何针对热红外图像进行人脸/行人检测。

视觉对象检测与识别

无论是人脸还是行人检测，本质上都对象检测，所以一些对象检测方法早就已经应用在热成像图的对象检测跟图像分割上了。对象检测技术发展也经历了从传统方法到深度学习方法的变革。

传统技术方法

早期的红外热图的人脸检测技术主要是级联检测器方式跟HOG+SVM技术这两种对象检测技术，这两种技术OpenCV本身已经支持很好！

HAAR级联检测器

PPA分析，该方法对热红外图像区分前景与背景，实现对前景直方图分析，具有很好的识别率，是经典传统方法之一。

深度神经网络技术

深度学习特别是CNN网络在计算机视觉领域应用广泛，效果显著。对得到热图，直接进行标注，实现图像对象的精准识别，一个典型的架构就是采用VGG16完成，网络架构图示如下：

对训练数据进行增强，可以取得更好的识别准确率，增强方法可以是错切、旋转、平移、剪切等手段，增强后图示如下：

这个时候还需要解决另外一个问题，如何实现在同步可见光RGB图像对检测对象的定位查找，这个时候解决方法很简单，就是让RGB彩色图像跟红外图像进行叠加融合，然后再一起进行训练，来解决这个问题，2019年的一篇论文做法如下：

通过UNet网络实现RGB分割，然后再融合RGB图像跟热图实现最终分割输出，得到输出，这样就可以精准的实现检测跟分割。

红外热成像与应用场景

解决了这两大核心问题之后，就是应用开发！当前市场上已经有很多成熟的AI无感热红外测温系统，无一例外的都是价格比较贵、核心处理芯片靠别人现象比较严重。热成像仪，特别是高清热成像设备依然是核心军事装备，美军对此非常重视，民用级别的高端市场基本都被国外品牌占领！除了测温这个应用场景，红外热成像技术应用场景非常多，总结如下：

未来趋势

实现红外成像设备硬件的低成本、提升核心硬件自主率、开发更多应用已经是迫在眉睫！个人预计，短期内，受到本次疫情的启发、安防跟健康领域应该会有更多场景使用这项技术。