专家观点-公共事业部门使用算法决策所需遵循的十大原则

政府人工智能的兴起

越来越多的政府和公共事业部门采用人工智能工具和技术来协助他们开展工作，比如交通灯管理系统，该系统可以让救援人员更快到达目的地；以及聊天机器人，它们可以回复政府网站查询。

最有可能引起市民担忧的AI的应用是：将机器学习用于创建算法，这种算法可以实现自动化，或者协助公共部门工作人员进行决策和评估。一些用算法完成的决策和评估产生的影响可能会微不足道，例如是否对某些停放的车辆进行罚款；但也有一些决策可能会带来很大的影响，例如是否给个别议员提供住房。因此，这些决定背后的逻辑关系需要严肃对待。

目前，城市已经做了大量的工作，以鼓励或要求使用数据和分析技术。例如，英国政府的数据科学伦理框架概述了数据科学计划的六个原则：1）有明确的用户需求和公共利益；2）使用数据和工具时尽可能减小损耗度；3）创建稳健的数据科学模型；4）对公众的意见保持警觉；5）尽可能公开和可信；6）保持数据安全。

同时，数据保护方面的法律规定了关于使用个人数据的某些做法。欧盟的《通用数据保护条例》（General Data Protection Regulation, GDPR）也将于2018年5月25日生效，负责收集或处理个人数据的组织将承担更大的义务。GDPR还将“解释权”纳入其中，即用户可以要求相关组织解释他们所做出的算法决策。

但这样就足够了吗？

包括微软在内的一些组织建议，数据科学家应该签署类似于希波克拉底氏誓言（立誓拯救人命及遵守医业准绳）之类的数据宣言，保证他们不会滥用相关技术。

有关“为私营部门创造更健全的实践守则的利弊”的讨论可能会继续下去，政府和公共部门将会完成更好的实践案例。毕竟，个人可以选择不使用企业服务，因为他们不信任企业获得的数据，而对于某些服务和功能他们并没有选择权，因为国家是唯一的提供者。正如Robert Brauneis和Ellen P. Goodman所写的那样，“在公共部门，算法决策的不透明性尤其成问题，因为在一方面，政府做出决策的比重很大，在另一方面，由选民选出的政府需要为决策带来的影响承担责任。”

非常感谢Harry Armstrong，Geoff Mulgan和Nevena Dragicevic对本草案早期版本的反馈。

注意：在下文中，我有时会提到组织发布各种细节的必要性。理想情况下，这需要直接向市民发布信息。然而，在某些情况下，直接发布信息是不可能的也是不可取的，例如用算法来检测欺诈。考虑到这些情况，我建议可以向审计人员提供相同的详细信息，这些审计人员可以确保相关标准的遵守情况。审计人员可能来自数据保护部门，比如英国信息专员办公室；也可能来自不同公共部门的既定监管团队。

公共部门算法决策标准规范

1 -公共部门组织使用的每种算法都应附带说明其功能、目标和预期影响，并提供给使用该算法的人员。

例如，在2016年1月至2017年12月期间，基于对过去已知的无证房屋（HMO）的物理特征进行分析，该算法需要评估位于加迪夫的某一房产属于无证房屋的可能性。其目标是协助当地建筑部门检查员确定应优先进行风险检查的财产。预计这一算法的影响是使被检查的高风险房产的数量增加，这些房产将标记为无证房屋。

理由：如果我们要求公共部门的工作人员负责任地使用算法来补充或取代他们决策的某些方面，那么工作人员必须清楚地了解他们打算做什么，以及他们可能在什么情况下应用算法。在上面的例子中，建筑检查员应该清楚，该算法没有考虑财产所有权的细节，而只是基于过去两年的在卡迪夫所记录下的案例。通过使用第一条标准，他们可以了解所做决定和行动的优势和局限性。

问题：我们如何在简单的语言和准确描述算法的工作方式之间取得恰当的平衡？我们是否也应该对在给定过程中引入指定算法的位置提出一些要求？

2 -公共部门组织应公布有关算法的详细数据，包括算法的演进（或者持续的发展过程），创建过程中使用的假设，以及降低潜在偏差的风险评估。

理由：公共部门组织应该证明他们已经考虑了算法数据中不可避免的偏差，以及考虑了模型中使用的假设。完成这一步之后，他们应该概述已经采取的措施，以减轻可能出现的任何负面影响，展示他们对算法潜在影响的理解。风险评估的长度和细节应与对个体产生负面影响的可能性和潜在严重程度有关。

问题：在公共部门进行有效部署的情况下，基于其可能出现的消极影响，应该在哪一环节进行风险评估？

3 -算法应该按1-5的算法风险等级进行分类，其中，5指的是那些对个人的影响可能非常高的算法，而1指的是影响非常小的算法。

理由：鉴于公共部门对算法的使用越来越多，工作人员只能审计其中的一小部分。通过应用算法风险量表（基于针对原则2进行的风险评估），公共部门组织可以帮助审计人员将注意力集中在可能造成最大伤害的算法上。

问题：如何分类这样的量表？谁来评估某个算法应该被归类为什么级别？

4 -应该制作一张列表，上面记录下利用算法进行决策所需输入的条件，并将该列表应公布出来。

理由：由于一些原因，算法所使用的数据透明度十分重要。首先，检查算法是否按照一些不恰当的因素进行分类（例如按种族或宗教来分类）。其次，要确保算法不能使用代理措施，防止第三方从其他数据推断出个人信息（例如根据其姓名或原籍国猜测某人的宗教）。第三，确保所使用的数据是市民认可的数据，从而支持《数据科学伦理框架》的第二条和第四条原则：即“使用数据和工具时尽可能减小损耗度”和“对公众的看法表示警觉”。

5 -如需全程或部分使用算法时，必须告知市民。

理由：对于市民来说，他们有理由抱怨他们认为不公平的算法决定(例如，他们无法享受译员住房或在缓刑方面的权利)，他们需要知道哪些决定用到了算法。这可能和申请新信用卡时需要接受信用检查类似。

问题：在哪些情况下这一标准具有合理性？相比人为决策的标准，这是否会错误地提高人们对算法标准？

6 -每个算法都应该有一个相同的沙盒版本，以供审计人员测试不同输入条件的影响。

理由：有人建议，政府和公共部门使用的算法代码应该公开，以便审计人员可以评估和验证算法的逻辑和功能。

目前这一标准还难以付诸实践，其原因在于以下四个方面：第一，现代算法的复杂性使得没有足够的人理解代码。第二，神经网络中没位置可供代码进行决策。第三，使用机器学习的算法会根据新的输入条件来调整其代码。第四，公共部门使用的每种算法不可能都是开源的； 一些黑匣子的优先系统似乎难以规避。

审计员应该拥有在算法中运行不同输入条件的能力，并确认其是否满足要求。如果在实时系统中无法做到这一点，那么应该要求运行相同代码的沙盒版本。且测试应重点关注原则3提到的算法风险量表中开头的几种算法。

7 -当借助第三方的力量进行创建或运行算法时，公共部门组织只能购买满足原则1-6的第三方服务。

理由：鉴于所需的专业技能，大多数公共部门组织可能需要聘请外部专家来开发算法，或者付费给那些提供算法以完成解决方案的机构。为了维护公众的信任，在采购过程中需要注意第三方必须满足相关的标准和原则。

8 –要有专人对算法做出的决策负责。

理由：这是一种强有力的方式，以确保每个组织的领导层都有强大的发展动力，让他们在充分了解算法对个人的影响和功能后，能够更好地利用算法进行决策。

问题：这种要求是否会阻碍公共部门机构尝试算法？我们是否能够并且也应该能够区分算法决策和由此产生的结果？

9 -在高风险领域采用算法决策的公共部门，应该签署一项专门的保险计划，向因算法错误决策而受到负面影响的个人提供补偿。

理由：假设有些人会受到算法决策结果的负面影响，公共部门机构应该建立新的保险计划，以确保市民能够得到适当的补偿。

10 -公共部门应该评估他们在决策中使用的算法的影响，并公布结果。

理由：最后的评估工作至关重要，主要有以下三个原因：第一，要确保按照原则一中规定的功能和目标使用该算法。第二，帮助组织了解算法的优势和局限性，以便改进算法。第三，确保最佳实践的例子能够更好地在整个公共部门得到验证、提炼和传播。

公众号背景

全球智慧城市联盟是由TM Forum主办的微信公众号，该公众号旨在报道全球智慧城市建设最新进展，分享全球智慧城市最佳实践和案例，介绍全球智慧城市解决方案优秀案例，展示全球智慧城市城市风采。

全球智慧城市联盟旨在引入TM Forum原创文章和全球智慧城市领域顶级文章，分享给全国智慧城市管理者、设计者和建设者。同时，我们也积极推广来自中国的建设经验并翻译成英文，以电子周刊方式通过TM Forum官方渠道分享给全球读者。

如何把这篇文章分享给好友？‍

如何能收到来自TMForum中国的最新资讯？‍