解读可信AI的“中国方案”：构造可信系统需要哪些支撑技术？

作者 | 维克多

编辑 | 青暮

当我们在谈论人工智能的时候，我们究竟在谈论什么？是“机器人超越人类阅读水平，令数百万人面临失业风向“还是“计算机的阅读能力正在赶超人类？”

然而回到现实，号称史上最强大AI模型GPT-3却连太阳有几只眼睛这种问题都回答不了；自动驾驶模式下的特斯拉三番五次追尾停在路边的车辆。

理想和现实之间总是存在差距，人们也总是过高的估计AI的实际能力。如何正确认识人工智能的真实发展状态？此时需要一个多维度的评测标准。人工智能的“可信”程度，便是一个重要的维度。

7月9日，中国信息通信研究院联合京东探索研究院发布《可信人工智能白皮书》，提出了衡量人工智能的“四把尺子”：稳定性、可解释性、隐私保护、公平性。换句话说，白皮书认为人工智能的稳定性、可解释性、公平性等是亟需各方关注的核心问题。

值得一提的是，这是国内首本《可信人工智能白皮书》（以下简称《白皮书》），旨在立足中国，放眼世界，为落实全球人工智能治理共识提供“中国方案”。

来源：中国信息通信研究院&京东探索研究院《可信人工智能白皮书》

此外，《白皮书》中提到：可信人工智能已经不再仅仅局限于对人工智能技术、产品和服务本身状态的界定，而是逐步扩展至一套体系化的方法论，涉及到如何构造“可信”人工智能的方方面面。

下面，AI科技评论摘抄技术细节部分，为大家呈现可信AI的研究现状。同时，AI科技评论也与京东探索研究院的院长陶大程、算法科学家何凤翔进行了交流，探讨了撰写《白皮书》的初心以及可信AI研究的前沿进展。

1 可信人工智能支撑技术

随着社会各界对人工智能信任问题的不断关注，安全可信的人工智能技术已成为研究领域的热点。研究的焦点主要是提升人工智能系统稳定性、可解释性、隐私保护、公平性等，这些技术构成了可信人工智能的基础支撑能力。

人工智能系统稳定性技术

人工智能系统面临着特有的干扰，这些干扰来自于针对数据和系统的多种攻击方式，包括中毒攻击、对抗攻击、后门攻击等。这些攻击技术既可互相独立也可以同时存在。例如，中毒攻击通过按照特殊的规则进行恶意评论等方式，向训练数据集投入干扰数据，继而影响推荐系统的准确度；对抗攻击通过在道路交通标志牌上贴上特殊设计的图案，可以误导自动驾驶系统使其错误识别路牌上的信息，进而造成交通事故；后门攻击具有隐蔽性，可能会被用于对AI供应链发动攻击。相比于传统的软件系统，此类干扰对人工智能系统的稳定性提出了更高的要求。

人工智能的稳定问题引起了持续而广泛的研究。针对人工智能模型的对抗攻击与中毒攻击早在2012及2013年就已出现。其中，对抗攻击的目的在于通过构造针对性样本来诱使人工智能系统决策出错；而中毒攻击的目的在于通过向人工智能模型的训练数据集注入中毒样本来劣化训练得到的模型的性能。

在此之后，对抗攻击相继发展出了FGSM（Fast Gradient Sign Method ）及PGD（Projected Gradient Descent）等攻击方法；而中毒攻击的发展同样十分迅速，在其基础上更出现了后门攻击。后门攻击通过后门样本向人工智能系统植入后门，从而达到定向操纵人工智能系统的目的。该攻击与中毒攻击存在一定相似性，且常通过中毒攻击的方式来向系统植入后门。为抵御这些攻击，一些工作提出各类异常数据检测方法来检出并清除对抗样本、中毒样本、后门样本等恶意数据，从而减轻恶意攻击带来的干扰；通过在对抗样本上进行对抗训练来抵抗对抗攻击；利用模型剪枝、后门检测等技术抵抗后门攻击。

人工智能的稳定性仍然面临着较大的挑战。一方面，各种干扰手段层出不穷、持续演进，而新的攻击方法容易让旧的防御方法失效；另一方面，干扰的形式正在逐步从数字世界向物理世界蔓延，例如通过打印对抗样本等手段能够直接对自动驾驶和人脸识别系统造成物理层面的干扰。未来在人工智能稳定性技术方面的研究将持续增多。

人工智能可解释性增强技术

目前，以深度学习算法为核心的人工智能系统的运作就像是一个黑箱，人们只能看到数据的导入和输出，而不清楚内部的工作原理和判断依据。一方面，人们对训练得到的人工智能模型为何能具有极高的性能尚不清楚；另一方面，人工智能系统在做出决策时具体依赖哪些因素人们也不清楚。

针对人工智能算法可解释性的研究仍处在初期阶段，部分算法的理论框架有待完善。例如，优化算法的有效性在决策树、支持向量机等一些简单的人工智能模型上已被很好地证明。然而，对于随机梯度下降算法为何能高效优化深度神经网络，学术界已经开展了大量的研究，但目前对于该问题的讨论仍未有定论。

又如，针对人工智能模型如何利用数据特征做出预测，学术界已通过实验取得了一定的成果，但还缺乏理论支撑。为了使人工智能模型具有更好的可解释性，研究学者提出可以通过建立适当的可视化机制尝试评估和解释模 型的中间状态；通过影响函数来分析训练数据对于最终收敛的人工智能模型的影响；通过Grad CAM（Gradient weighted Class Activation Mapping）方法分析人工智能模型利用哪些数据特征做出预测；通过LIME（Local Interpretable Model agnostic Explanations ）方法使用简单的可解释模型对复杂的黑盒模型进行局部近似来研究黑盒模型的可解释性；还有部分研究则提出可以通过建立完善的模型训练管理机制 提升人工智能系统实现过程的可复现性。

在人工智能的产业落地过程中，应最大限度地使人工智能系统的行为对人类更透明、更容易理解、更可信。一味地相信人工智能系统所做出的决策，而不对其决策过程进行解释会极大限制人工智能系统在国防、法律、医疗、教育等关键领域的普及，甚至引发严重的社会问题。增强人工智能系统的可解释性迫在眉睫。

人工智能隐私保护技术

人工智能系统需要依赖大量数据，然而数据的流转过程以及人工智能模型本身都有可能泄漏敏感隐私数据。例如，在数据流转的任意阶段，恶意攻击者可以对匿名数据集发起攻击，从而窃取数据；在数据发布阶段，恶意攻击者可以使用身份重识别对匿名数据集发起攻击，从而窃取隐私信息；恶意攻击者也可以直接针对人工智能模型发起攻击，从而窃取隐私信息。例如，模型反转攻击可以根据受攻击模型的输出推断并重建其训练数据，从而窃取隐私信息；成员推断攻击可以推断给定数据样本是否来自受攻击模型的训练数据集，从而造成隐私泄露。

学界针对上述隐私泄露问题提出了多种针对性的保护方法，最常见的为基于差分隐私和基于联邦学习的隐私保护方法。差分隐私最早由美国学者 Cynthia Dwork 于 2006 年提出，是人工智能系统隐私保护能力的一个主要量化指标。其核心思想是一个具有优秀隐私保护能力的人工智能算法应当对输入数据中的微小扰动不敏感。基于该思想，可以通过对数据进行下采样、顺序置换、添加噪声等方式，来防御攻击者进行隐私窃取。

2016年，谷歌公司的一项工作首次将差分隐私应用于深度学习中，其通过在模型训练过程中向梯度加入高斯噪声来增强深度模型的隐私保护能力。该工作展现了差分隐私法在大规模人工智能模型中的应用潜力。目前，一些头部科技公司已将差分隐私法应用于部分真实的业务中。

联邦学习在2015年提出，其能在不收集用户数据的条件下进行人工智能模型的训练，以期保护隐私信息。具体来说，联邦学习将模型部署到用户设备；各用户设备使用自己的私有数据，计算模型参数的梯度，并将其上传中央服务器；中央服务器对收集到的梯度进行融合，传回各用户设备；各用户设备利用融合后的梯度更新模型参数。需要指出的是，一些初步研究表明，联邦学习方法仍存在一定的隐私泄露风险。

有实验显示，联邦学习可能泄露一定量的本地用户数据，同时有理论指出，联邦学习可能会在一定程度上弱化人工智能系统的隐私保护能力。因此，还需要针对联邦学习进一步优化，提升其用户隐私保护的能力。一个可行的方向是将联邦学习和差分隐私相结合，以构建隐私保护能力更强的人工智能系统。

人工智能公平性技术

随着人工智能系统的广泛应用，其表现出了不公平决策行为以及对部分群体的歧视。学术界认为，导致这些决策偏见的主要原因如下：受数据采集条件限制，不同群体在数据中所占权重不均衡；在不平衡数据集上训练得到的人工智能模型，可能会为了在整体数据上的平均 性能，而牺牲在少量数据上的性能，造成模型决策不公平。

为了保障人工智能系统的决策公平性，相关研究者主要通过构建完整异构数据集，将数据固有歧视和偏见最小化；对数据集进行周期性检查，保证数据高质量性。此外，还有通过公平决策量化指标的算法来减轻或消除决策偏差及潜在的歧视。现有的公平性指标可以分为 个体公平性与群体公平性两大类。其中，个体公平性衡量智能决策对于不同个体的偏见程度，而群体公平性则衡量智能决策对于不同群体的偏见程度。另一方面，基于公平性指标的算法则大致能分为 预处理方法、处理中方法及后处理方法共三大类。

预处理方法通过删除敏感信息或重采样等方式对数据进行清洗，从而降低数据中存在的 偏差。处理中方法通过在人工智能模型训练过程中加入与公平性量化有关的正则项，提高训练得到的模型的公平性，例如，有工作采用Rényi相关性作为正则项，并利用最小最大优化算法来减少模型预测与敏感属性之间的任意潜在相关性。后处理方法通过对模型输出进行调整，进一步提高训练得到的模型的公平性，例如，有工作基于多重精确度（Multiaccuracy）的概念提出多精度提升法（Multiaccuracy Boost），以减轻黑盒人工智能系统的决策偏差。

2 对话京东探索研究院：寻找可信AI的中国方案

AI科技评论：请问从京东的角度来看，为何要写这么一份报告？

陶大程：大家普遍认为京东是一家供应链公司，其实它是科技驱动的实体经济公司，而今天我们所谈的科技，大多和人工智能息息相关。

人工智能的快速发展，带来了许多可信方面的挑战。如果没有有效的方式应对，那么从公司的角度来看，肯定会“棋差一招“。

这本《白皮书》其实理清了京东对可信人工智能的看法，即人工智能平稳发展，关键要在隐私保护，公平性、稳定性以及可解释性方面发力。另一方面，这本《白皮书》也体现了京东AI向善的情怀。

AI科技评论：请问京东探索研究院负责《白皮书》的哪一部分？写作的过程中遇到了哪些困难？

何凤翔：我们主要负责可信人工智能的学术与技术部分，也对白皮书整体框架的确定贡献了很多力量，在整个过程中团队内、团队间经过了非常多的交流。遇到的主要的困难是：可信人工智能的划分方式非常多，不同的国家有不同的标准，关键是如何结合中国实际情况，找到更为合适的方案。

整个《白皮书》的撰写过程耗时六个月，技术部分成稿70多页，最后精减到了10多页。在可信特征的划分方面，我们参考了全球五项共识、中国人工智能产业发展联盟 （AIIA ）倡议及其发布的《人工智能行业自律公约》 和《可信 AI 操作指引》，总结提出可靠可控、透明可释、数据保护、明确责任、多元包容等五项可信特征要素，用以指引实践可信人工智能时所需具备的操作能力。

AI科技评论：在《白皮书》中，您提到了联邦学习和差分隐私在隐私保护中的作用，请问您如何看待“群体学习”这种新的分布式技术在隐私保护中的作用？

何凤翔：在某种程度上，群体学习可以被看作是去中心化的联邦学习。公众可能会担心联邦学习的中央节点“不可信”，会导致数据安全问题。这项技术将中央节点直接去除，各子节点只与周围节点通信，在一定程度上缓解了隐私泄露风险。但是，这种去中心化的技术可能不如联邦学习快。最近的《nature》上也刊文了报道“群体学习”在医疗中的应用。

陶大程：每一种技术背后都有其优点和缺点，我们不能完全否定中心化技术，也不能完全否定去中心化技术。

这两种技术还是需要一些有效的方式进行结合，在未来使用过程中，关键是提升这些技术在实际应用中的效果。

AI科技评论：在谈论AI可解释性的时候，更多指的是深度学习，深度学习为什么相对于传统模型可解释性差？

陶大程：首先，深度学习模型的参数量很大，相对于数据而言，可能要大得多。过去我们认为，模型的参数量不应该大于数据量，因为只有这样，才能“解释"模型。现在深度学习的出现，打破了固有的认知。

第二点，对于训练数据和测试数据，我们无法衡量它们是如何贡献深度学习模型。传统机器学习模型，例如支持向量机，能够清晰明确训练和测试数据在模型中的作用。

第三点，神经网络的输出具有“随机性”。因为其具有无限多的局部最优解且训练得到的模型和参数初始化、优化算法都相关。传统模型，无论初始化如何设置，只要“操作”一致，模型会输出相同结果。而神经网络不是这样，导致我们无法理解它的学习过程和行为。

何凤翔：传统模型或许可解释性更强，但在实际的应用场景中，需要模型具有学习复杂规律的能力，这是传统模型所不具备的。另一方面，传统机器学习严重依赖特征工程。

传统模型和深度学习模型渐渐不再是一种对立的关系，很多传统算法也被用到深度学习当中，然后来帮助深度学习，提高其可解释性。

AI科技评论：在可信AI的研究以及方面，中国与国外相比，有何特点？

陶大程：中国在应用落地方面走的比较快，这为我们提供了大量的经验，告诉我们哪些AI应用场景可能会产生哪些问题，同时也给我们提供了很好的先验信息，从而帮助我们找到研究可信AI系统的方向。

在欧美以及澳洲方面，学术界对理论的进展非常关注。希望在未来，大家能够共同携手，通过理论结合实践，让人工智能更好的服务人类。