虹膜识别自主创新之路，NLPR奋楫再出发

引言

26年，种子足以长成大树；26年，孩童足以成为壮年；26年，同样足够几代研究人员扎根科研一线，潜心钻研一项关系国家安全的关键核心技术，薪火相传，接续奋斗，只为把自主知识产权牢牢掌握在中国人自己手中，至今仍在不断探索科学问题的边界，不断挑战新的工程技术难题......

自1998年模式识别实验室（NLPR）主任谭铁牛老师归国以来，始终坚定地把自己的研究方向和科研兴趣与国家的需求和国家发展的长远目标结合在一起，他认为虹膜识别技术关系着每个人的身份安全，也是维护公共安全、国家安全的重要保障，必须要走自主创新之路。

图1 虹膜纹理模式可用于个体身份识别，虹膜识别具有精准度高、非接触式、不可复制、难以伪造、终身稳定不变等特点，在安全性上相较于人脸、指纹等有显著优势。

他带领着研究团队从“零”起步，攻坚克难，打破了国际上的虹膜识别技术垄断，突破了虹膜识别的四项关键技术：虹膜成像技术解决虹膜图像的有无问题；活体判别技术解决虹膜图像的真伪问题；质量评价技术解决虹膜图像质量优劣的问题；而特征表达技术则解决了虹膜图像的主体问题，实现了虹膜识别的从无到有、从单目到双目、从固定到移动、由近及远（图 2），建立了完全自主知识产权的虹膜识别创新体系（设备、数据、算法、应用）。

图2 NLPR二十余载虹膜识别设备研发历程撷取

模式识别实验室（NLPR）主导研发的虹膜识别科研成果在国际期刊和会议发表论文达120多篇，其中包括10余篇IEEE TPAMI长文，授权发明专利60多项；主导、参与了虹膜识别的相关国家标准、行业标准的制定、修订等工作；荣获国家技术发明二等奖等多个奖项，多次在国际虹膜识别竞赛中取得第一名，多次获得国际生物特征联合大会（IJCB）最佳论文奖（图 3）。

图3 虹膜识别研究成果取得国家技术发明二等奖和多项国际竞赛第一名、IJCB最佳论文奖等奖励

模式识别实验室（NLPR）自主建设了多模态生物特征大数据共享平台 BIT网站（http://biometrics.idealtest.org），CASIA系列虹膜图像数据库是国际上使用最广的虹膜图像数据库，170多个国家的30000多个科研团队已申请授权使用（图 4）。

图4 自主建设的BIT平台和CASIA系列虹膜图像数据库

模式识别实验室（NLPR）主导的虹膜识别研究成果经过技术转移转化，孵化了高科技公司中科虹霸和中科虹星，推出了虹膜高清采集仪、虹膜便携式考勤机、虹膜门锁、移动端虹膜模组等具有自主知识产权的虹膜识别系列产品，已成功应用于金融、公安、社保、通关、煤矿、儿童防丢、动物管理等诸多领域（图 5），产品和技术已出口至美国、英国、印度、东南亚、非洲等多个国家和地区，在十余个国家数千万人群推广应用，从受制于人的被动局面走向了技术出口的主动局面。

图 5 NLPR主导的虹膜识别研究成果在诸多领域广泛应用

近五年来，模式识别实验室（NLPR）的研究人员不忘虹膜识别自主创新的初心使命，在谭铁牛研究员和孙哲南研究员的带领下，由张堃博副研究员、王云龙副研究员和数名工程师、十余名研究生组成的攻关小组，直面虹膜识别系统在大规模推广应用中仍存在的痛点问题，勇于迈向虹膜识别研发的“深水区”，成功研制了10m远距离虹膜成像设备、建立了新一代CASIA-Iris-V5.0虹膜数据集、提出了面向“远距离、少约束、高通量、够安全”的虹膜识别算法。

1、10m远距离虹膜成像

创新时空复用机制计算成像技术[1]（图 6）和主动跟踪对焦算法[2]（图7），成功研制了10米远距离、4米大景深、可同时采集多人眼部多模态（虹膜、巩膜、眼周）的身份识别系统，将来不久将实现多人行进中的实时虹膜识别。

图6 时空复用计算成像技术取得关键突破，实现10m范围内虹膜识别

图7 虹膜区域主动跟踪聚焦算法示意图

模式识别实验室（NLPR）10m远距离虹膜识别系统原型机演示：

2、新一代虹膜数据集CASIA-lris V5.0

自主采集建立了新一代虹膜数据集CASIA-Iris V5.0，目前已完成并开放了远距离场景虹膜图像降质数据集[3]（图7.a, CASIA-Iris V5.0-Degradation）、少约束复杂识别场景数据集[4]（图7.b, CASIA-Iris V5.0-Complex）、非洲人种虹膜图像数据集[5]（图7.c, CASIA-Iris V5.0-Africa）、虹膜系统高通量测试基准数据集[6]（图7.d, CASIA-Iris V5.0-HighThroughput）等多个子集，已在NLPR大规模生物特征数据分享平台BIT网站（http://biometrics.idealtest.org）公开，在法律法规许可的范围内，研究者可申请授权用于学术研究使用。

图7.a CASIA-Iris V5.0-Degradation数据集（超过3.6万张虹膜图像，各种远距离场景虹膜图像降质因素复合出现，模拟真实场景用户体验）

图7.b CASIA-Iris V5.0-Complex数据集（少约束复杂识别场景，包括多种识别距离、多种采集环境、多种设备采集、多种用户配合程度）

图7.c CASIA-Iris V5.0-Africa数据集（迄今为止最大的非洲人种虹膜图像数据集，在尼日利亚收集，超过1000位非洲志愿者参与，采集了每个人不同的眼部状态）

图7.d CASIA-Iris V5.0-HighThroughput数据集（虹膜识别系统高通量测试基准，近红外虹膜图像序列数据，虹膜设备自主调节成像参数）

3、高效、鲁棒、安全的虹膜识别算法

♦ 面向识别的虹膜图像质量评价方法，将虹膜图像嵌入的特征空间距离作为质量指标，使用注意力机制的深度神经网络在特征嵌入空间考虑图像质量的分布和度量[4]（图 8）。

图8 面向识别的虹膜图像质量评价方法

♦ 虹膜图像定位和分割一体化方法，不仅估计虹膜有效区域的掩膜，同时学习虹膜内外边界的参数化表达，可以直接输出虹膜图像归一化所需的全部参数[7]（图 9）。

图9 虹膜图像定位和分割一体化方法

♦ 不确定性嵌入的虹膜特征表达方法用于跨设备虹膜识别，建模一个概率分布而不是确定性点表示一张虹膜图像，学习更加鲁棒且表达性更强的虹膜特征，在跨设备虹膜图像数据集上取得了优异的识别性能[8]（图 10）。

图10 不确定性嵌入的虹膜特征表达方法

♦ 动态图表示学习框架用于可解释虹膜识别，将虹膜图像的块状区域特征建模成图模型中的节点，通过一个图生成器建立这些节点之间的特征图网络，连接节点的边代表原始虹膜图像块状区域特征之间的空间位置关系，能够解释匹配过程中对遮挡区域的处理，做出为人所理解的匹配决策[9-10]（图 11）。

图11 虹膜识别的动态图表示学习框架

♦ 自适应融合的眼部多模态识别方法，利用待测图像中的无监督虹膜质量度量分数作为自适应融合权重，对从虹膜和眼周区域捕获的互补信息进行加权融合[11]（图 12）。

图12 自适应融合的眼部多模态识别方法

♦ 多方联合学习的虹膜识别联邦学习方法FedIris，保护了各方的虹膜数据和识别模型，能够发挥各方数据的潜能和价值，同时彼此学习各方模型的特征表达能力，使得各方模型的性能共同提升[12]（图 13）。

图13 多方联合学习的虹膜识别联邦学习方法FedIris

最近，美国苹果公司发布的Apple Vision Pro设备使用了虹膜身份验证系统Optic ID用于解锁、授权、支付等，OpenAI公司创始人Sam Altman创立的WorldCoin使用眼球扫描仪 Orb，通过扫描用户的虹膜来验证身份，这足以说明虹膜识别在元宇宙身份认证与支付等前沿领域有着广泛的应用前景。另外，虹膜识别技术在法庭科学中的取证与鉴定、人机交互中的眼动追踪等关联应用中也可以进行拓展。

习近平总书记强调：“关键核心技术是要不来、买不来、讨不来的。只有把关键核心技术掌握在自己手中，才能从根本上保障国家经济安全、国防安全和其他安全。” 高水平科技自立自强是每一个科研工作者的时代使命，模式识别实验室（NLPR）的研究人员，将始终坚持问题导向，矢志不渝，推动虹膜识别这项关键核心技术解决更多经济社会发展、民生改善、国家安全等领域面临的现实问题，二十余载虹膜识别自主创新之路，而今扬帆奋楫再出发！

参考文献：

[1] Zhang K, Shen Z, Wang Y, et al. All-in-focus iris camera with a great capture volume[C]//2020 IEEE International Joint Conference on Biometrics (IJCB). IEEE, 2020: 1-9.

[2] Wang L, Zhang K, Wang Y, et al. An end-to-end autofocus camera for iris on the move[C]//2021 IEEE International Joint Conference on Biometrics (IJCB). IEEE, 2021: 1-8.

[3] Hu J, Wang L, Luo Z, et al. A large-scale database for less cooperative iris recognition[C]//2021 IEEE International Joint Conference on Biometrics (IJCB). IEEE, 2021: 1-6.

[4] Wang L, Zhang K, Ren M, et al. Recognition oriented iris image quality assessment in the feature space[C]//2020 IEEE International Joint Conference on Biometrics (IJCB). IEEE, 2020: 1-9.

[5] Muhammad J, Wang Y, Hu J, et al. CASIA-Iris-Africa: A Large-scale African Iris Image Database[J]. Machine Intelligence Research (MIR), 2024: 1-17.

[6] Li M, Wang Y, Sun Z, et al. Exploring Near-infrared Iris Image Sequences for High Throughput Iris Recognition[J], IEEE Transactions onInformation Forensics and Security (TIFS), 2024, submitted.

[7] Wang C, Muhammad J, Wang Y, et al. Towards complete and accurate iris segmentation using deep multi-task attention network for non-cooperative iris recognition[J]. IEEE Transactions on information forensics and security (TIFS), 2020, 15: 2944-2959.

[8] Wei J, Huang H, Wang Y, et al. Towards more discriminative and robust iris recognition by learning uncertain factors[J]. IEEE Transactions on Information Forensics and Security (TIFS), 2022, 17: 865-879.

[9] Ren M, Wang Y, Sun Z, et al. Dynamic graph representation for occlusion handling in biometrics[C]//Proceedings of the AAAI Conference on Artificial Intelligence (AAAI). 2020, 34(07): 11940-11947.

[10] Ren M, Wang Y, Zhu Y, et al. Multiscale Dynamic Graph Representation for Biometric Recognition with Occlusions[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 2023, 45(12): 15120-15136.

[11] Yan Z, Wang Y, Zhang K, et al. Boosting Multi-modal Ocular Recognition via Spatial Feature Reconstruction and Unsupervised Image Quality Estimation[J]. Machine Intelligence Research (MIR), 2024, 21(1): 197-214.

[12] Luo Z, Wang Y, Wang Z, et al. FedIris: Towards More Accurate and Privacy-Preserving Iris Recognition via Federated Template Communication[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2022: 3357-3366.