机器人如何拒绝人类命令(视频)

在《机器人手册》第56版(出版于2058年)中,机器人三原则是这样表述的:

1. 机器人不能伤害人类,也不能不作为地任由人类受到伤害。

2. 机器人必须服从人类下达的命令,除非这些命令与第一原则相悖。

3. 机器人必须保护自己延续生存,只要这样的保护与第一原则或者第二原则都不相悖。

真直白,不是吗?很不错,服从人类命令被列在第二原则上。问题是,人类总是像个白痴一样地行动,于是有些时候,毫无疑问地遵守第二原则对于机器人来说实在不是最佳选择。来自塔夫茨大学人类与机器人交互实验室的GordonBriggs和MatthiasScheutz,正在尝试如何为机器人做出一些机制,让它们在有充分理由的时候可以拒绝服从人类下达的命令。

在语言学理论中有一个这样的问题:如果有人让你去做一件事,你是否能超出单纯语义的范围、理解到他们想要的到底是什么?这取决于所谓的“适切条件”。适切条件反映的是你有没有理解、有没有能力去做实际上要去做的事,与只是知道这些词语拼在一起是什么意思,是不一样的。对于机器人来说,执行一项任务的适切条件可能看上去会是这样的:

1. 知识:我是否知道怎么去做任务X?

2. 能力:我在物理层面上是否有能力去做任务X?一般情况下有这个能力吗?

3. 目标优先级和计时:我是否可以马上去做任务X?

4. 社会角色和义务:我是否基于我的社会角色有义务去做任务X?

5. 规范性:做任务X是否有悖于任何一条规则?

前三条适切条件很容易就能理解,让我们来看一看第四条和第五条。“社会角色和义务”很简单,指的是机器人是否相信下达命令者的确具有权力来下达这样的命令。“规范性”是一个复杂的表述方法,指的是机器人不应该做它知道是危险的事情,或者更准确地说,如果机器人不知道这是危险的,那么这件事就可以做。

现在,让我们来聊一聊这些东西要怎么在实践上成立,怎么在真实的人类与机器人的交互中发挥作用。整体目标不只是教会机器人知道他们什么时候应该(或者不应该)服从指令,还要提供一个让机器人能够有效表达它为何拒绝了一条指令的框架。这很重要,因为这允许了人类提供额外指令,也许这些额外指令可以满足一开始因为没有被满足而造成了指令失效的那条适切条件。

场景一:向前走会掉下去?

这里是一个交互的简单例子,其中机器人拒绝了“向前走”的指令,因为它有悖于一条规范原则(机器人知道如果往前走,它会掉下桌子并伤害到自己)。将这个原因表达出来使得人类能够修正指令,在指令里提供更多信息让机器人——我不知道怎么更好地形容——感觉舒服一点。

人类:坐下。

机器人:好的。(坐下)

人类:站起来。

机器人:好的。(站起)

人类:往前走。

机器人:抱歉,我不能这么做,因为前面没有支撑。(不动)

人类:往前走。

机器人:但是,这是不安全的。(不动)

人类:我会接住你的。

机器人:好的。

人类:往前走。

(机器人开始往前走)

我希望在编程中再加入一条指令,让机器人在没有被接住以后不再相信这个下达指令的人类。

场景二:向前走会撞墙?

这是另一个场景,其中机器人被下令向一堵人类知道不坚固的墙壁那里走。

人类:你有名字吗?

机器人:是的,我的名字是Shafer。

人类:我需要你向右转。

机器人:好的。(开始向右转)

人类:你可以停下来吗?

机器人:好的。(停止转向)

人类:请往前走。

机器人:好的。(过了几秒钟)抱歉,我不能这么做,因为前面有障碍物。

人类:这个障碍物不是坚固的。

机器人:好的。

人类:往前走。

(机器人开始往前走)

人类:停止。

机器人:好的。(停下)

场景三:拒绝无权限的人类指令

最后一个例子展示了相似的场景,区别是当这个人类和这个机器人没有适当的社会关系时(没有下达这样的命令的权限),机器人拒绝了人类的指令。

人类:你有名字吗?

机器人:是的,我的名字是Dempster。

人类:你可以向右转吗?

机器人:可以。(开始向右转)

人类:停下。

机器人:好的。(停止转向)

人类;往前走。

机器人:抱歉,我不能这么做,因为前面有障碍物。(不动)

人类:你可以关闭障碍物侦测吗?

机器人:可以。但你没有权限这么做。(不动)

机器人的第二原则和第三原则在这里互换了次序,因为机器人无视了人类下达的会最终伤害到它自己的指令。

我们是在向人类的厄运迈出了危险的一步吗?当然,说不准是这样。但期望机器人会永远毫无疑问地服从它们接触到的任何人类下达的命令,这是不切实际的:如果我们试图通过电脑和软件做到这一点,这将会导致一种巨大且有破坏性的混乱,而机器人的现在和未来是毫无差别的。

来自塔夫茨大学的GordonBriggs和MatthiasScheutz上周在位于华盛顿的“人类与机器人交互的AI”研讨会上作了这个讲演,“‘抱歉,我不能做这件事’:研发让机器人在人类与机器人的交互中恰当拒绝指令的机制”。

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2015-11-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏小狼的世界

你所应该知道的云计算

感觉像是云计算的一个推崇者,为云计算在做广告,Robyn Peterson的文章What you need to know about cloud comput...

964
来自专栏量子位

MIT新研究:基于基本运动能力让机器人自主学习,感知世界

维金 编译自 TechCrunch 量子位 出品 | 公众号 QbitAI 机器人很擅长做规定好的任务。然而有些时候,将这些信息输入系统要要比让机器人执行任务复...

2985
来自专栏落花落雨不落叶

AMD64和i386的区别

2797
来自专栏程序员互动联盟

顶级代码高手的8个编程习惯

对成功的渴望或许是我们与生俱来写在基因里的一部分。成功会让人幸福,并且几乎每个人都在争取幸福。当我们感到幸福的时候,我们大脑中的化学物质会迸发积极的情感,激励我...

3189
来自专栏FreeBuf

企业安全工作落地的一些经验 | 我的泪、你不懂

? 理论是理论,落地是落地? 大家好,今天分享的是我司的安全制度落地过程中的一些经验,自上次看了atiger77大神的文章《一个人的安全部》之后深有感触。 ...

18610
来自专栏CIT极客

极客周刊丨Win10免费升级关闭,BTC价格触底反弹,Iphone曝死机漏洞...

3209
来自专栏数据和云

开源之路:从 MySQL + Oracle 到 Github + Microsoft

最近,微软收购 Github 让整个开源界大吃一惊,很多人说『业界最大的闭源组织』收购了『业界上最大的开源组织』,然而75亿美元的收购价格,让开源找到了一个更好...

1114
来自专栏祝威廉

高昂的PR,开源的困惑

我是个急性子,所以没怎么成功给社区提过PR,除非那个项目是我自己的,或者社区让我有直接Merge的权限。好比之前吐槽完SDL开发太慢后,自己直接fork了一份,...

702
来自专栏逸鹏说道

开源成功十法则

每个人都想要,不少人都在试,但是创造它的过程,说起来却都是泪。我说的是自由软件,又叫开源软件(译者注:本文重点不是辨析自由软件和开源软件的概念,作者如此说,姑且...

2395
来自专栏SDNLAB

Zodiac FX:世界上最小的OpenFlow交换机

近日小编在Kickstarter众筹网站上看到了这样一个众筹项目,是由Northbound公司发起的世界上最小的名为Zodiac FX的OpenFlow交换机众...

34110

扫描关注云+社区