算法攻破人脸识别「口罩」难题，两天落地千人小区准确率达97% | AI 战疫

机器之心原创

作者：寓扬、四月

编辑：四月

日益成熟的人工智能，正成为抗击新冠肺炎疫情战线上一群特别的「逆行者」。 无论是加速前期的疫情科研攻关，还是协助一线的疫情诊疗和现场防控，以及后端的信息化平台搭建，都已经出现了人工智能技术和解决方案的身影，并且取得了实际效果。 机器之心特设「AI 战疫专题报道」，跟踪人工智能技术应用抗疫现场的最新进展及效果，聚焦人工智能工作者英勇抗疫故事。 我们正在寻找 AI 战疫中优秀的人工智能公司和应用案例，欢迎提供报道线索，请联系 houdijing@jiqizhixin.com。 今天是该系列的第五篇之《社区保卫战：算法攻破人脸识别「口罩」难题，方案两天落地千人小区 | AI 战疫》。 作为城市抗击疫情的重要单位，社区在疫情发展的中后期是不可掉以轻心的关卡，而一套能够良好适应疫情场景的人脸识别方案才能称得上这场战疫中尽忠职守的「AI 门卫」。

南京江宁区玉堂花园小区南门，一位戴着口罩的居民走到门禁前，系统很快通过人脸识别识别出他的身份和健康状况，闸机门自动打开。

人脸识别，在过去一年里高歌猛进的 AI 代名词，红遍大江南北，无论是铁路客运大厅，还是杂货店结账前台都能见到其身影，一时风光无两。

不料，疫情来袭，当大家纷纷戴上口罩，摄像头背后的它便罢工待毙，再不识其人了。有专家表示，人脸戴上口罩后隐藏了大部分的面部特征，从而将准确率降低至 30％。

在疫情面前，人脸识别显得鸡肋和尴尬，最后还得人工上场。但高传染性的病毒肆意，非接触式的检测识别方案才是正解。

但 AI 算法之所以强大，在于其迭代与自我进化的空间无限。9 天，一家 AI 公司连夜奋战，终于攻破人脸识别的「口罩」难题，至少在有限的小区范围内，口罩人脸识别已经不再是问题。

01 另辟蹊径测模型

1 月下旬，疫情正有抬头之势，放假节前，小视科技管理层就开始讨论，如何参与这场防疫战役，他们预判，疫情会对整个社会秩序带来很大影响，也会波及公司的业务发展。

小视科技，全称为南京甄视智能科技有限公司，是一家位于南京的人工智能公司，2015 年成立，以人脸识别技术为突破口，在安防、零售、教育等行业落地。

月底，小视科技内部紧急启动防疫项目组，结合已有的解决方案和能力，针对小区和企业的防疫需求快速启动技术研发。

决策一经达成，二三十人的作战小组随即成立，由技术研发人员和产品经理组成，进行技术可行性论证。

遮挡下的人脸识别是业内公认的一个难题。

• 一方面，戴上口罩后，首先因鼻子、嘴巴等五官信息被遮挡，人脸面部可用于辨别的信息会大幅减少；
• 其次脸部轮廓等可辨别信息也在物理分布上发生较大变化，因此按照传统思路训练出的人脸识别模型，精度都会出现大幅下降；
• 还有数据，戴口罩下的人脸数据本身就非常缺乏，疫情之下也很难短时间内快速采集数据，或者找采集公司定制用以训练。

考虑到挑战难度，小视科技 AI 研究院院长胡建国决定，首先从算法模型上突围。

此前，团队已经积累的近千个基础模型，但是否有与实际需求匹配尚是个未知数。目前，业界仍然没有一个稳定且高效的针对口罩的人脸识别算法。

进行模型评测要有戴口罩下的人脸测试数据，管理层紧急发动公司全员及亲属，用了两天时间采集一个小规模数据集。

紧接着远程调用计算集群进行模型评测，他们找到了一种有效的模型思路——采用眼部特征与整体人脸特征的融合，并结合注意力机制增强眼部特征，通过自研的轻量级网络，单独训练眼部关键点的模型，来提升模型在口罩遮挡下的人脸识别率。

胡建国解释，计算机视觉中的注意力机制与人类视觉的选择性类似，核心目标也是从众多信息中获取最相关的信息。佩戴口罩的人脸中眼睛成为了人脸识别的关键信息，基于口罩的人脸识别采用眼部关键点和注意力机制相结合的方法来增强眼部特征，眼部特征图与整体人脸特征图的多级融合，充分挖掘人脸的有效信息，提升模型在口罩遮挡情况下的表现。

人脸识别模型注意力机制效果，第一列表示原图，第二列表示热力图，第三列表示导反向传播图，第四列表示导向反向传播灰度图，图中观察到人眼的区域得到了更多的关注。

在人脸识别模型的训练过程中，胡建国团队同时加载预先训练的眼部关键点网络用于特征图的提取，并与人脸识别网络提取的特征图相结合，结合注意力机制突出眼部特征，提高识别的准确率。

在内部测试集中，该模型结果仅比普通算法模型指标低 5%。而在此之前，业界其他方案的公开口罩人脸识别仍在 80%-90% 区间。

该思路此前在通用任务表现上并不理想，所以没有推广开来，但在口罩识别场景下的表现超出了所有人的预期。

2 月 4 日，小视 AI 算法团队拿到模型测试结果后，胡建国和团队认为模型指标下降并不严重，已具备在实际生产中有效运行的可能性。

02 「两天内要试点落地」

模型初步验证之后，一支上百人的队伍陆续投入战斗，进行算法研发，产品准备。

大年初六以来，由于疫情管制，道路封锁，和胡建国一样，许多人都被困到家中，只能通过远程协同办公。但研发人员除了基本生活外，几乎全部精力都投入到工作中，为开发算法一部分员工甚至通宵作业。

次日，他们接到了第一个紧急落地任务，来自南京江宁区东山街道政府，要求两天内在东山街道玉堂花园小区进行试点落地。

迫切的需求，尚不充分的算法验证，让研发团队承担了巨大的压力。

小视科技也紧急成立各类预案组，分别负责研发、前线部署、商务、后勤等工作，全体管理层带头，保证所有信息都同步到位，并就每天的工作进行汇总、复盘，保证基本流程不出现问题。

然而特殊时期问题处处存在，尤其体现在一些基础支撑上，比如安装人员难以找寻，这个过程中必须一遍一遍确认，确保所有物料、人力、支持资源能够在第一时间到位。

玉堂花园常住人口大约 1500~1700 人，部署人脸识别门禁中，将居民的人脸录入底库是重要一步。然而问题是，尽管当地公安提供了业主的人脸数据，但由于许多租户的存在，这一数据无法使用。

而人工录入效率低，同时也存在一定风险，研发团队为此又专门开发了一个便捷录入的小程序，居民可以现场扫码在指定区域完成录入。

为了尽快做好数据录入，一些街道的志愿者、党员都参与到协助中。而居民也出奇地配合，在一天之内完成了所有居民的人脸录入。

2 月 7 日，小视科技完成试点部署。部署中遇到的难度也远远超过实验室环境，胡建国称，由于口罩紧缺，一些老年人会戴自制口罩，遮挡范围可能更多，口罩的样式也更多样，在实际部署中也给他们带来巨大的压力。

令人欣慰的是，产品落地后，他们只是调整了部分算法的阈值与门禁架设的位置，在不到 2000 人的小区中，口罩遮挡下的人脸识别已达到非常高效的通行。

为了帮助社区更好的管理居民，他们还推出自定义进出规则系统，比如针对隔离观察未满的居民，可以设置禁止外出；针对非小区人员，可以设置禁止入内。

通过戴口罩下的人脸识别门禁系统，社区可实现居民的分类管理和精准识别，同时降低接触风险，这对于处于返程高峰期的社区可谓是一场及时雨。

紧接着的 1~2 天中，经受住南京各级领导的视察后，小视科技获得了政府的认可与信任。疫情管控的急迫下，新的任务随之而来，政府要求小视科技在数天内完成 数十个小区的部署。

随后任务进一步加剧，在短时间内部署东山街道 285 个小区的压力也落到小视科技头上。

03 全面出击「部署战」

随着试点的完成，2 月 7 日当天夜里，小视科技已进入全员作战状态，公司超 80% 的人员全部投身疫情项目中，不论是一线部署，还是远程支援。

参与实际部署的小视科技一线员工来自不同的岗位，有商务人员，也有技术人员，反正一旦完成隔离，一定第一时间去支援前线，去负责生产、安装设备、解答用户问题。

部署调试中的工作人员

胡建国称，尤其是一线实施人员，因为人力有限，产品铺设点位又多，基本都是白天夜晚两班倒，紧张的作业使他们每天都要忙到凌晨，有的甚至工作到凌晨四五点。

算法人员也会支援一线部署，并带回产品遇到的问题、技术改进的思路，就这样争分夺秒的一版一版更新模型。「2 月 7 日后不到一周的时间里，我们已经完成四五版模型的更新。」他补充道。

一些远程支持人员，包括测试人员，甚至行政人员，都被 AI 研究院拉过来做数据标注与清洗。

紧锣密鼓推进之下，截至 2 月 12 日，在不到五天时间里，小视科技的这套解决方案已完成 20 余家小区的生产布署，服务社区居民 4 万余人。除此之外，企业单位、政府部门等其他场景也正在投入使用。

然而，新的问题又随之而来。比如小视科技 12 日部署的一个小区，住户达 2500 户，常住人口近万人，如此大的人口规模对于技术带来新的挑战。

这是因为当人口达到一定规模后，比如在几十万人中，总可以找到一些眼睛非常相似的人，当嘴巴鼻子等有效信息被遮挡后，分辨率相应就会降低。「我们在人工核验后台数据的时候，已经遇到一些数据，人也没有办法分辨。」胡建国称。

「天生的数据局限性，还有人脸有效信息的缺失，会导致人脸识别在应用中挑战非常大。」

在迫切的疫情管控与政府殷切的期望之下，小视 AI 算法团队在紧张迭代模型时，也承担了不小的压力。「我们给自己定的目标是，在半个月之内，一定要支持大概 2 万人。」

与此同时，因为供应链紧缺而被搁置的红外测温设备，小视科技也正在研发迭代中，他称最快可能一周之内，就会试点 AI 测温功能的人脸识别门禁产品。

我们正在寻找AI战疫中优秀的人工智能公司和应用案例，欢迎提供报道线索，请联系houdijing@jiqizhixin.com

本文为机器之心原创，转载请联系本公众号获得授权。

✄------------------------------------------------

加入机器之心（全职记者 / 实习生）：hr@jiqizhixin.com

投稿或寻求报道：content@jiqizhixin.com

广告 & 商务合作：bd@jiqizhixin.com