最新Nature评论文章：人们必须保留自动驾驶汽车的控制权

上个月，发生了第一次行人在自动驾驶汽车中丧生的事故。一辆由自主算法控制的汽车撞向了亚利桑那州坦佩市横过马路的女子。车内的安全驾驶员没有能阻止事故的发生。

虽然这种事故很少发生，但是随着越来越多的车辆在没有人为干预的情况下驾驶，在公共道路上进行测试，其发生率可能会上升。在过去的一年中，一些国家通过法律为路测铺平了道路。例如，新加坡修改了“道路交通法”，允许自动驾驶汽车在指定地区行驶。瑞典运输署允许无人驾驶巴士在斯德哥尔摩北部运行。在美国，众议院通过了自动驾驶法案（SELF DRIVE Act）来协调各州的法律。美国参议院正在筹备类似的政策，票选支持AV START法案来进一步放宽对无人驾驶车辆的审判。

政策制定者们热衷于通过借助自动驾驶汽车的潜力，来减少道路拥堵，空气污染和道路交通事故1，2。便宜的乘车服务也可以减少私人拥有的汽车数量。机器智能可以使驾驶更省油，同时减少排放。自动驾驶汽车可以帮助拯救世界上每年因碰撞事故而丧失的125万人的生命3，这些事故许多是由于人为错误造成的。

政府希望通过法律来实现自动驾驶（参见“Road to autonomy”）。他们通过暂时释放满足某些符合运输安全规则的自动驾驶汽车开发者来进行路测。这些规则包括要求操作人员在车内，车辆具有方向盘，制动器和反光镜等安全特征，并且这些特征始终能够正常工作。一些开发者正在维护这些方面，但他们并没有义务这没做。因为无法确保自动驾驶车辆符合当前汽车的安全标准。

同时，更广泛的政策影响没有得到解决1，2。由于个人汽车拥有率下降，政府将损失数十亿美元的税收。数以百万计的出租车，卡车和公车司机将失去工作2。自动驾驶汽车所依赖的机器学习算法远远不够发达，无法做出可能意味着行人或司机生死的选择。

政策制定者需要与学术界和制造商密切合作，设计适当的法规。这是非常具有挑战性的，因为这项研究涉及许多学科。

在这里，我们强调需要紧急关注的两个方面——责任和安全。

责任

与其他生产商一样，自动驾驶汽车的开发商也承担法律责任，赔偿由于其产品缺陷设计，制造和销售而造成的损失。潜在的责任风险对于无人驾驶汽车来说很好，因为复杂的系统总会以意想不到的方式产生相互作用。

制造商如果希望减少对他们提出的责任索赔金额4。一种方法是通过教育消费者如何运作并提醒他们注意安全，来减少产品被误用的可能性。例如，药物开发者提供剂量和副作用的信息；电子制造商发布指示和警告。这种指导塑造了消费者的期望同时也促进了满意度。然而，就像智能手机一样，自动驾驶汽车也由复杂的技术支撑，这些技术一般难以解释或被理解。

相反，开发人员正在设计这些产品以便于使用5。人们更有可能购买一种看似简单的产品，并且可以很快做出复杂的事情，从而提高效用。但是，用户无法预测底层系统如何工作，或识别问题并修复问题。例如，很少有智能车的司机知道发动机是如何校准的5。同样，自动驾驶汽车中的乘客也不会知道为什么车辆在道路上选择急转向，或者为什么不赶超慢行车辆。

更糟的是，深度学习算法本质上是不可预测的。它们建立在由以往经验所塑造的不透明决策过程之上。每辆车都会受到不同的训练。没有人（即使算法设计师）也无法确切知道自动驾驶汽车在各种情况下的表现。

没有法律规定汽车可以被视为安全之前需要多少深度学习的训练，也没有规定训练有何标准。来自不同制造商的汽车在紧急情况下可以采取不同的反应方式。有的可能会绕过障碍物转弯，而还有的可能会踩刹车。罕见的交通事件，例如卡车在风中翻倒，尤其令人担忧，并且让无人驾驶汽车的训练变得困难。

高级接口需要被用来告知用户自动驾驶汽车的行为是否与往常相同。今天的仪表盘传达了关于汽车速度和剩余燃料量的信息。明天的展示必须展示车辆的“意图”和控制它们的逻辑；例如，他们可能会告诉乘客，由于只有10％的成功可能性，因此车辆不会超车。对应该传递的数据类型以及人们将如何解释它们知之甚少。

用户经常忽视信息，即使它被清晰地表达出来，其后果可能是生死攸关的问题。例如，几乎有70％的航空公司乘客在航班6之前不会检查安全卡，尽管被问到。然而，这些卡片以简单的方式和单页，可以传达重要信息，包括如何放置氧气面罩并打开紧急出口。

自动驾驶车辆需要传递更复杂的信息。他们的传感器和算法必须了解行人的行为，区分驾驶风格和适应照明变化。当他们不能时，用户必须知道如何回应。

研究如何有效地呈现这些信息是至关重要的，同样确保自动驾驶汽车用户熟练使用该技术是立法需要努力的事情。

安全

自动驾驶汽车的安全和效率优势依赖于计算机比人们做出更好，更快的决策。用户输入他们想要的目的地，然后将控制权交给计算机。完全自动驾驶尚未在交通中采用。人们仍然认为人们比机器更具灵活性，适应性和创造性，并能更好地应对变化或无法预料的情况7。因此，飞行员能够在关键的计算机发生故障时通过线控飞行技术中掌握控制权。

公众有权对全自动化保持谨慎。制造商需要解释在关键系统失效时汽车如何保护乘客。无人驾驶汽车必须能够安全停车，避免其危险，避免算法发生故障，其摄像机断线或其内部地图死亡。但是这很难设计：例如，没有摄像头，这样的车就看不到它要去的地方。

我们认为，总是需要某种形式的人为干预。无人驾驶汽车应该像飞机一样对待，尽管这些系统是高度自动化的，但仍需要人员参与。自主车辆的当前测试要遵循这一原则。即使开发人员和监管机构协商通过了全自动驾驶，安全驾驶员仍然应该有。

尽管如此，让人们参与其中还是会带来安全问题。自动驾驶汽车应始终要求用户具备最低水平的技能，并且对于一些人来说永远不会容易操作。例如，认知障碍患者可能会发现很难运用这些技术并忽略控制。然而这个群体包括那些从自动驾驶车辆中获益很多的人。例如，日益增加的老龄化人口8，发生事故的风险升高，因为认知能力下降与年龄有关9，10。例如，为大量老年人提供出行是自动驾驶技术在日本投资的巨大动力。

远程监管可以监督无人驾驶汽车，就像空中交通管制员可以为飞机做这些事情一样。但是需要多少监管人员才能保证这些车辆的网络安全？监管人员太少也可能会造成事故11。例如，在1991年，加利福尼亚州洛杉矶的一名不堪重负的空中交通管制员错误地将飞机降落在另一架飞机上。去年，医生在中国香港发生一连串医疗失误，导致病人不堪重负。

政策差距

目前和计划中的立法都未能解决这些问题。豁免开发人员由于安全规则带来风险。开发者并不总是需要报告系统故障或为车辆操作员建立能力标准。这种豁免也错误地认为人类的参与最终是不必要的。偏袒行业的用户将削弱对已经怀疑的公众的技术支持。

目前的立法回避了消费者的教育。美国的行为仅仅要求用户在使用之前被告知该技术。没有提到用户的能力标准和定期的能力测试。没有标准，很难判断消费者教育是否足够。没有测试，事件的风险可能会增加。

向前进

我们呼吁决策者重新思考他们对自动驾驶汽车进行管理的方法，并在起草立法时考虑以下六点。

无人驾驶并不意味着不需要人类操作员。监管机构和制造商必须承认，自动化会改变人们从事的工作的性质7。

用户需要有关自动驾驶如何工作的信息。制造商必须研究对安全至关重要的设备（包括照相机，激光器和雷达）的限制和可靠性。如果可能，他们应该以可理解的形式向车辆操作员提供这些设备的数据。

运营商必须证明其能力。开发人员，研究人员和监管机构需要为自动驾驶汽车用户达成一致的标准。胜任能力应由发证机构进行测试，并应补充现有驾驶许可证。特殊用户应该对这些车辆有使用限制，就像在夜间禁止色盲驾驶员飞行一样。

对用户能力的定期检查应是强制性的。监管机构，制造商和研究人员必须确定测试之间合适的时间间隔，以便随着认知能力的变化和技术的发展，熟练程度得以保持。

应建立远程监控网络。制造商，研究人员和立法者需要为自动驾驶车辆建立监督系统。研究人员应有主管对一定数量的车辆进行安全监控与指导，以及允许这种监测的条件。例如，在恶劣的天气条件下需要更多的主管。

应该定义远程主管的工作限制。专家必须澄清主管是否应该遵守现行的工作时间规定。例如，空中交通管制员的工作时间有限。

走向自动驾驶的道路远非如此。仍然有许多挑战需要解决。

参考文献

1. Fagnant, D. J. & Kockelman, K. Transport. Res.Part A Policy Pract. 77, 167–181 (2015).

2. Anderson, J. M. et al. Autonomous VehicleTechnology: A Guide for Policymakers (RandCorporation, 2016).

3. World Health Organization. Global Status Reporton Road Safety: Time for Action (WHO, 2015).

4. Henderson, J. A. Jr. Ariz. State Law J. 47,1145–1180 (2015).

5. Frazzini, R. IEEE Control Systems 21, 8–12 (2001).

6. National Transportation Safety Board. EmergencyEvacuation of Commercial Airplanes. Safety StudyNTSB/SS-00/01 (NTSB, 2000).

7. Parasuraman, R. & Riley, V. Hum. Factors 39,230–253 (1997).

8. Christensen, K., Doblhammer, G., Rau, R. &Vaupel, J. W. Lancet 374, 1196–1208 (2009).

9. National Highway Traffic Safety Administration.Traffic Safety Facts: Older Population. Report No.DOT HS 812 005 (NHTSA, 2012).

10.Owsley, C. et al. JAMA 279, 1083–1038 (1998).

11.Kahneman, D. Attention and Effort Ch. 9,136–155 (Prentice Hall, 1973).

作者：Ashley Nunes, Bryan Reimer andJoseph F. Coughlin