可信人工智能的解释性问题之探讨

当今，人工智能技术已经逐渐渗透于人们日常生活的各个环节中。从清晨唤醒的智能音箱，到智能导航等出行软件，到信息搜索和远程会议等工作系统，再到餐馆、视频推荐等休闲平台，都能或多或少地看到人工智能技术的身影。这些领域很大程度上受到互联网经济“以产出为导向”(outcome-oriented)理念的影响，对预测准确度和效率等性能指标的关注远大于对预测风险的关注。受此影响，人工智能技术也多以预测性能的优化为主要目标，以性能驱动的模式进行技术演进。

展望未来10~20年人工智能的发展，人工智能技术应用将进入“深水区”，在医疗、工业生产、金融等更多与人类社会生产生活 密切相关的领域进行渗透。可以预见，人工智能技术必然在进一步释放社会生产力方面发挥驱动性作用。但这些领域都是风险敏感型领域，人工智能技术产生的错误将会给人类带来巨大损失，事关人类的生命健康、社会正义甚至国家安全等，因此必然要求人工智能技术的发展从以往的“性能驱动模式”转变为“风险敏感模式”。能否有效降低人工智能的系统性风险，实现安全可信的人工智能，在一定程度上决定了人工智能应用的深度和广度。

毋庸置疑，当前的人工智能技术系统在安全可信层面还存在着许多隐患。虽然近些年深度学习在若干应用领域取得了突破性进展，但其将“黑盒模型”发挥到极致，导致其本质上“不可解释”；对于独立同分布假设的过度依赖，导致其在真实场景下的性能“不稳定”；由于对数据中所存在虚假关联不能有效区分，导致其在社会性问题方面的预测决策效的理论体系与方法。

人工智能的可解释性是一个业界争论的经典问题。一般认为，只有人工智能的过程和结果都符合人的逻辑，对人可解释，人类才能感觉到人工智能是安全可信的。

（1）人工智能的可解释性应按照对象区分为三个层次

人工智能的可解释性涉及到若干个对象。一种是对人工智能领域专家的可解释性，对专家可解释重要的是得到同行领域专家的理解、认可和背书。第二种是对行业使用者（例如医生）的可解释性，需要按照行业的规范和逻辑体系保证技术的可解释性。第三种是对公众对可解释性，公众对新技术的理解和接受往往建立在专家同行之间认可和第三方权威机构背书的基础上，不单纯是技术层面的可解释，而是一个复杂的过程和机制。这三种可解释性之间存在着一定的差别，在具体研究过程中需要加以区分。

（2）公众关心人工智能是否可靠可信，而不是可解释

人工智能技术的可解释性问题是回答人工智能计算中关乎“为什么”的专业问题。套用亨佩尔(C. Hempel)和奥本海默(P. Oppenheim)提出的科学性解释的结构，一个可以解释的人工智能技术需要回答“根据怎样的原始条件，按照何种定律，产生了 最终的这一现象和事态”这一问题。通常，可解释才可追溯、可问责，因此可解释性是可靠性和可信的基础。对公众来说，他们更关心的是人工智能是否可靠可信，而不是是否可解释。而这更需要公众和科学家、技术人员之间的沟通和互动。这绝不是一个单纯的技术问题，而是一个复杂的科学社会学问题。

（3）人工智能对应用行业人员的关键是指标可解释

行业人员一般需要理解人工智能技术应用的规范和原理，因此，需要人工智能发展出一套对行业人员可解释的规范和指标体系。比如医生采纳某种新的药物，并不需要知晓该药物的机理和原理细节，但需要药厂提供一系列药物临床实验的结果和安全性数据，以及使用条件、标准和规范。因此，发展和界定人工智能技术在各行业的应用标准和规范，包括人工智能应用的条件和边界，是影响其行业应用的关键，也是实现人工智能技术安全可信的重要环节。

（4）人工智能可解释性的关键是针对领域专家范畴的机理可解释

公众和行业人员的信任是有间接性的。其实，人工智能研究要重点考虑的还是领域专家内部以及同行之间对模型机理的可解释性。关于机理可解释，可以归纳为三个层面：第一是边界，即人工智能技术能否从原理上保证其所适用的场景以及不适用的场景；第二是可回溯，即当人工智能技术出现问题或错误的时候，能否对出错原因进行回溯；第三是可验证，即对于人工智能技术的边界性和可回溯性 能够进行全面科学的测试和验证。

总而言之，从技术层面，人工智能研究不需要考虑对公众可解释；对行业人员也不需要可解释，但需要建立第三方验证和保障体系；人工智能可解释性问题更多是对领域专家和学者可解释，也就是机理可解释。由此引出安全可信智能的三个基本问题：边界性问题、可回溯问题和可验证问题。