实时人脸识别系统
来源：IBC2021 主讲人：Yuka Kaburagi 内容整理：张雨虹 本文提出了一种用于直播的的人脸识别系统——人脸检测器。演讲首先介绍了人脸检测器及其用途，然后概述了系统的工作原理，如何与广播业务的其它设备相结合，最后展示了一些用例。
目录
- 人脸检测器
- 人脸检测器特点
- 系统概述
- 用例展示
- 用例1 —— Relay race
- 用例2 —— Assisting Cameraman
- 未来展望
人脸检测器
人脸检测器
人脸检测器是一个基于 AI 联合实体数据一起开发的用于支持广播业务的应用程序。人脸检测器是一种实时人脸识别系统，用于识别人脸，并在输入视频流中显示人物姓名。
该系统基于 Python 开发，可以识别从不同角度拍摄的人。系统对每个人进行人脸识别处理并将结果显示在屏幕上。预先注册的主题元数据可以通过点击边界框来显示。右边方框可以展示与图片中人物的相似程度。
人脸检测器还可以识别戴口罩、太阳镜等的人。由于新冠疫情，戴口罩逐渐成为生活常态，这给人脸识别带来了巨大的困难。但是我们人脸探测器是可以识别戴口罩或太阳镜的人的。该系统的主要目的是支持直播系统，我们的检测器已开发用于实时直播，例如直播体育赛事的运动员识别或协助导演或编辑添加人物姓名字幕等，以及将面部检测器系统连接到摄像头，通过显示姓名来帮助摄像师拍摄。
人脸检测器特点
人脸检测器的三个主要特点是实时处理、精度高、操作简单。
实时性：该系统的处理速度为 3fps，这对于直播系统而言足够了。
识别结果
高精度：经过实验证实即使人们戴着面具、头巾或太阳镜，识别过程也是有效的，如上图所示，即使有些地方被遮挡，也能够成功识别。此外，该系统可以区分长相类似的双胞胎。对于广播业务而言，准确率比识别率更重要。因此我们选择优先考虑准确率。我们系统识别率和准确率的实验结果如下图所示，系统没有过度检测任何受试者。
识别率和准确率
易于操作：即只需要一台笔记本或台式机，在没有网络连接的情况下，人脸检测器仍能正常工作。其他面部识别系统需要每个人的大量图像来进行模型训练，而人脸检测器只需要一张样本图像。这大大减少了模型生成工作。
系统概述
该系统的工作原理是首先通过 USB 输入视频，便于在 PC 上处理它。在 PC 接收到流之前，必须在通过 USB 读取数据后生成目标主体的模型，然后系统对其进行处理并呈现识别结果，如图所示。
工作流程
程序大致分成 2 步，先从图像上提取 512 维的特征向量，然后根据特征向量跟图像附上人物姓名。通过读取包含个人姓名及其各自图像的文件来生成个人特定模型，同时可以出于不同的目的制作不同的模型。例如，如果是足球比赛，就可以用球员的脸创建一个模型；如果是会议，就可以用参会人员的照片生成模型。
匹配工作是取提取当前人脸特征向量和已知人脸的特征向量做内积，计算余弦相似度，在标签数据集中检测出与之相似度最高的人。
实时人脸识别的实际应用过程可以分为以下几步：首先选择好参考人物并输入视频流；在检测到人物后，计算其和参考人物面部范围的相似度；当相似度高于指定阈值时，将当前参考人物的姓名插入到视频流中。
人脸识别模型
简化起见，将人脸的 512 维特征点转换成 2 维图像，如图所示，如果检测到有新的脸，就计算该脸与所有参考的相似度，相似度最高的即为目标人物。如果相似度均低于阈值，则系统显示 Unkown。可以调整阈值来提高或者降低精度。
如果图片中包含大量人群，则搜索过程可能需要很长时间，这是不可取的。因此我们建立了一种可切换的处理模式，当处理大量人群时，切换为该种模式。在该种模式下，图像首先被缩小到可接受的程度，然后检测人数。如果人数超过 10，不进行人脸识别。
另一个要解决的问题是检测结果显示，有两种方法。
Chroma key display
方法1——Chroma key display：人脸检测器有一个叫做 Chroma key display的功能，只显示人物姓名和绿色背景下的识别边界框中，将输入与 Chroma key display 复合得到输出。
方法2——异步显示：为了使视频显示更流畅，显示器先显示人脸检测器的人的姓名，然后显示一段时间的视频。异步显示可以更流畅地显示视频。
我们采取了第二种方法，以保证可见性。
用例展示
用例1 —— Relay race
用例1 —— Relay race
我们用人脸检测器对 Hakone Ekiden - realy race（日本的接力比赛）进行了识别追踪，21 支大学生队伍参与了此次活动，每个跑步者跑 20 公里。播音员和评论员轮流坐在广播电台的公共汽车上进行现场直播，我们在监视器上安装了人脸探测器来帮助他们识别跑步者和其他人的名字。我们建立了 500 个人物模型，在总共 13 个小时的时间里，几乎没有出现识别错误。即使在戴着墨镜、人物拥堵的情况下，探测器都能够正确识别。
用例2 —— Assisting Cameraman
用例2 —— Assisting Cameraman
对于摄影师来说在影像中找到目标人物是巨大的一个挑战。因此，人脸检测器的用途就是在摄像机查看器中显示人们的姓名帮助摄像师拍摄。
未来展望
未来展望
附上演讲视频：
http://mpvideo.qpic.cn/0b2egmaaoaaaiyahof4hwbrfam6da4zqabya.f10002.mp4?dis_k=4d2349a5c89e09b1e956bfecede06737&dis_t=1653461420&vid=wxv_2406709187172204547&format_id=10002&support_redirect=0&mmversion=false