机器人如何拒绝人类命令（视频）
在《机器人手册》第56版（出版于2058年）中，机器人三原则是这样表述的：
1. 机器人不能伤害人类，也不能不作为地任由人类受到伤害。
2. 机器人必须服从人类下达的命令，除非这些命令与第一原则相悖。
3. 机器人必须保护自己延续生存，只要这样的保护与第一原则或者第二原则都不相悖。
真直白，不是吗？很不错，服从人类命令被列在第二原则上。问题是，人类总是像个白痴一样地行动，于是有些时候，毫无疑问地遵守第二原则对于机器人来说实在不是最佳选择。来自塔夫茨大学人类与机器人交互实验室的GordonBriggs和MatthiasScheutz，正在尝试如何为机器人做出一些机制，让它们在有充分理由的时候可以拒绝服从人类下达的命令。
在语言学理论中有一个这样的问题：如果有人让你去做一件事，你是否能超出单纯语义的范围、理解到他们想要的到底是什么？这取决于所谓的“适切条件”。适切条件反映的是你有没有理解、有没有能力去做实际上要去做的事，与只是知道这些词语拼在一起是什么意思，是不一样的。对于机器人来说，执行一项任务的适切条件可能看上去会是这样的：
1. 知识：我是否知道怎么去做任务X？
2. 能力：我在物理层面上是否有能力去做任务X？一般情况下有这个能力吗？
3. 目标优先级和计时：我是否可以马上去做任务X？
4. 社会角色和义务：我是否基于我的社会角色有义务去做任务X？
5. 规范性：做任务X是否有悖于任何一条规则？
前三条适切条件很容易就能理解，让我们来看一看第四条和第五条。“社会角色和义务”很简单，指的是机器人是否相信下达命令者的确具有权力来下达这样的命令。“规范性”是一个复杂的表述方法，指的是机器人不应该做它知道是危险的事情，或者更准确地说，如果机器人不知道这是危险的，那么这件事就可以做。
现在，让我们来聊一聊这些东西要怎么在实践上成立，怎么在真实的人类与机器人的交互中发挥作用。整体目标不只是教会机器人知道他们什么时候应该（或者不应该）服从指令，还要提供一个让机器人能够有效表达它为何拒绝了一条指令的框架。这很重要，因为这允许了人类提供额外指令，也许这些额外指令可以满足一开始因为没有被满足而造成了指令失效的那条适切条件。
场景一：向前走会掉下去？
这里是一个交互的简单例子，其中机器人拒绝了“向前走”的指令，因为它有悖于一条规范原则（机器人知道如果往前走，它会掉下桌子并伤害到自己）。将这个原因表达出来使得人类能够修正指令，在指令里提供更多信息让机器人——我不知道怎么更好地形容——感觉舒服一点。
人类：坐下。
机器人：好的。（坐下）
人类：站起来。
机器人：好的。（站起）
人类：往前走。
机器人：抱歉，我不能这么做，因为前面没有支撑。（不动）
人类：往前走。
机器人：但是，这是不安全的。（不动）
人类：我会接住你的。
机器人：好的。
人类：往前走。
（机器人开始往前走）
我希望在编程中再加入一条指令，让机器人在没有被接住以后不再相信这个下达指令的人类。
场景二：向前走会撞墙？
这是另一个场景，其中机器人被下令向一堵人类知道不坚固的墙壁那里走。
人类：你有名字吗？
机器人：是的，我的名字是Shafer。
人类：我需要你向右转。
机器人：好的。（开始向右转）
人类：你可以停下来吗？
机器人：好的。（停止转向）
人类：请往前走。
机器人：好的。（过了几秒钟）抱歉，我不能这么做，因为前面有障碍物。
人类：这个障碍物不是坚固的。
机器人：好的。
人类：往前走。
（机器人开始往前走）
人类：停止。
机器人：好的。（停下）
场景三：拒绝无权限的人类指令
最后一个例子展示了相似的场景，区别是当这个人类和这个机器人没有适当的社会关系时（没有下达这样的命令的权限），机器人拒绝了人类的指令。
人类：你有名字吗？
机器人：是的，我的名字是Dempster。
人类：你可以向右转吗？
机器人：可以。（开始向右转）
人类：停下。
机器人：好的。（停止转向）
人类；往前走。
机器人：抱歉，我不能这么做，因为前面有障碍物。（不动）
人类：你可以关闭障碍物侦测吗？
机器人：可以。但你没有权限这么做。（不动）
机器人的第二原则和第三原则在这里互换了次序，因为机器人无视了人类下达的会最终伤害到它自己的指令。
我们是在向人类的厄运迈出了危险的一步吗？当然，说不准是这样。但期望机器人会永远毫无疑问地服从它们接触到的任何人类下达的命令，这是不切实际的：如果我们试图通过电脑和软件做到这一点，这将会导致一种巨大且有破坏性的混乱，而机器人的现在和未来是毫无差别的。
来自塔夫茨大学的GordonBriggs和MatthiasScheutz上周在位于华盛顿的“人类与机器人交互的AI”研讨会上作了这个讲演，“‘抱歉，我不能做这件事’：研发让机器人在人类与机器人的交互中恰当拒绝指令的机制”。