李真真：可信人工智能——“以人为本”的设计和创造

一

报告导读

本次报告主要涉及可信AI的进展，首先讲解了可信AI的定义与要求，然后介绍了联邦学习的内容，之后从外部控制和内部控制两反面阐述了可信AI未来的发展方向，最后对可信AI的前景进行了展望。

二

专家介绍

李真真，中国科学院科技战略咨询研究院研究员，中国科学院大学岗位教授。现任国家自然科学基金委员会监督委员会委员，中国科学院人工智能产学研创新联盟伦理标准组组长，《科学与社会》常务副主编等。主要从事科技伦理与治理研究。

三

报告内容

可信AI的概念是中国科学家何积丰院士提出来的，在2017.11月香山科学会议第S36次学术研讨会上，最早提出了可信人工智能，并且以可信人工智能为题探讨了当前技术上存在的难题，以及未来的技术路径。现在的可信人工智能已经成为国际人工智能界的共识，对各种文本的解读表明，人工智能的核心概念就是以人为本，或者是以人为本的设计和创造。

可信AI是由三个组成部分，在整个系统的全生命周期中得到满足，三个组成部分分别是法律AI、伦理AI、鲁棒AI。这三个组成部分在整个生命周期中并不是分离的，而是一个结合体。

如何来实现可信AI的方法，也存在一个示意图，在整个分析、设计、开发、使用周期过程当中，可信AI的必要条件就是应当使技术的方法和非技术的方法相融合来使用，这才是达到可信AI的一个必要的条件，同时也是一个前提条件。

由此可以看到，从技术与社会的角度来看世界图景的变迁，在工业社会的时候，技术的革命性力量在推动着人类的价值观的变迁，在后工业社会，技术的迅速扩展煽动了人们对于自由、民主、公平、正义等观念的追求，反过来这样一些观念也成为了我们面对社会复杂性的最实际的行动。现在，随着AI逐渐达到人类智力水平，这个时候的AI不仅仅是技术的，而且还是社会的，这是技术、社会、文化、价值的一个结合体。

一个智能机器的要素不仅仅是算法，还有算力和算据，未来的AI从可信AI的角度出发，算据未来不仅仅是数据追求越多越好，而是更应该走向伦理化和规范化，从算法来讲，不仅仅是技术而且也是社会的，应当是劳动、交通工具、餐饮以及城市物流、技术研发等等元素的一个结合体，只有这样才能使智能机器达到安全可靠。算力当然会使智能机器的自动化水平大大提高，但是当把这种机器作为一个社会的行动者来看，就需要用法律和伦理的规则来规范和校准机器的行为，所以由此来看可信AI实际上彰显了这样一种价值主张，从我们对其目标来看，是媲美人类的AI，也就是使AI能够达到人类智力水平。但是要保证应当是类人类，而不是非人类，我们不能创造一个人类或成为人类文明的终结者，所以应当是与人类的价值和规范相吻合、相一致的，这也是在2017年发布的基于伦理设计的文本核心概念。

由此来看，人机关系就不仅仅是一个技术关系，更应该是一个伦理关系，引出的一个问题，如何使智能机器与人类的行为相吻合，需要走两条路径，两条方法，一种是外部控制，一种是内部控制。外部控制就是通过治理机制实现人对机器监督，内部控制就是将人的价值和规范嵌入AI系统，目前面临最大的挑战是智能机器道德编码的问题。外部控制是指把AI的发展置于社会规则之下，AI企业现在的价值观意识形态就是行为要合法、合规，在追求合法合规前提下，越来越多的基于规范校准的案例也是出现了，以联邦学习的案例来谈这个问题，联邦学习是2016年谷歌首先提出来的，目的就是保证大数据交换时的数据安全，保护终端数据和个人隐私数据，保证合法合规前提下实现共同建模，提升AI模型的效果。

传统机器学习AI模型，实际上面临两个很大的问题，一个是隐私保护的问题，还有数据孤岛的问题，随着2016年欧盟发布GDPR有一个很严格的对隐私保护法规出台，根据这个条例，两个公司或两个机构简单的交换数据是不被允许的，孤岛问题也就是出于内容考虑，企业之间、企业内部的部门之间很难将数据聚合，导致数据孤岛的问题。

联邦学习为什么是应对数据隐私保护的一个有效措施和一个有效的方式呢？最主要的是数据保留在本地。现在通常所用的方法是在数据中加一些干扰，或者说对一些敏感数据，联邦学习采用的是加密机制下的一种参数的交换的方式，所以避免了数字隐私泄露的问题。

现在的外部控制面领的问题依旧很大，因为现在AI发展本身不断在挑战者现有的价值观，甚至是对现有的伦理基本的预设都构成挑战，所以如何使法律和政策及时跟进技术的发展，这是目前面临非常大的挑战。

对于内部控制的问题，如何将人类的价值和规范嵌入AI系统中。随着计算机功能的强大和学习算法的进化，很多模拟人类大脑的人工神经网络取得很多突破，首先是算法的突破，带来了一个训练数据的效率提高，在训练数据过程当中，运算能力也在不断提高，可以说一个可以运行的人类大小的AI模型系统正在被创造出来。

神经网络AI模型，它的理论基础是联接主义的，学习机制是自下而上的选择路径，从生物学意义上来讲，这是自然选择导致物种形成的过程，但是这个未必会导致一种高级智能的形成，因为按照心理学的研究，人的认知在于记忆，人的记忆有两类，一类是非陈述性记忆，这也就是可以通过在实践过程当中经过反馈学习来获得的知识，这样一种记忆，可以通过联接主义的方法来实现，但是不能形成陈述性记忆，因为这是以符号系统给予表达的知识，这套知识是可以被传递、重构、遗忘甚至是歪曲，它的基础是什么？就是符号主义AI。

正如符号主义创始人司马贺所说的，如果物理符号系统如果是有智能的，则必须执行对符号的输入、输出、存储、复制、条件转移和建立符号结构这样六种操作。为使AI达到人类智能水平，需要将人类的推理方法和符号逻辑、尤其是博弈逻辑教给机器，以补充基于深度学习、强化学习的不足。当AI使人类的身体和智力不断延伸和增强的时候，也摆脱了人类控制的风险，甚至成为人类对立面的可能，符号主义AI的引入可以使机器理解人的社会关系，进而形成机器可以理解人类的社会关系，进而形成人机的信任关系，人类的社会是人的社会产物，社会规则也是创造人，把这个人换成智能机器也是同理的，当技术发展到一定阶段的时候，与自然和社会结合在一起的时候，就会造成技术锁定，从而很难改变，所以今天最大的任务就是要使技术尚未完全锁定之前来对它的发展方向进行重新的调整设计。

由此在调整设计过程当中，目前最大的一个任务就是将人类共同的价值和规范植入AI系统，使其可以基于这样一套游戏规则寻求最优的反应策略，边界就是法律和政策是不能逾越的，中间的空间就是一个道德编码的问题，通过一套道德编码，使它能够自主的寻求最优反应策略的能力，植入什么？如何植入？以及评估什么？评估方法都是今天面临的非常复杂的科学问题。

如何将伦理和法律内置于人工系统，是一个复杂的科学问题，需要技术伦理和法律等规则手段配合使用，具体就是跨学科的合作。只有实现学课件的深度合作，才能在解决复杂的科学问题中充分利用不同学科的知识和经验。