机器人如何拒绝人类命令(视频)

在《机器人手册》第56版(出版于2058年)中,机器人三原则是这样表述的:

1. 机器人不能伤害人类,也不能不作为地任由人类受到伤害。

2. 机器人必须服从人类下达的命令,除非这些命令与第一原则相悖。

3. 机器人必须保护自己延续生存,只要这样的保护与第一原则或者第二原则都不相悖。

真直白,不是吗?很不错,服从人类命令被列在第二原则上。问题是,人类总是像个白痴一样地行动,于是有些时候,毫无疑问地遵守第二原则对于机器人来说实在不是最佳选择。来自塔夫茨大学人类与机器人交互实验室的GordonBriggs和MatthiasScheutz,正在尝试如何为机器人做出一些机制,让它们在有充分理由的时候可以拒绝服从人类下达的命令。

在语言学理论中有一个这样的问题:如果有人让你去做一件事,你是否能超出单纯语义的范围、理解到他们想要的到底是什么?这取决于所谓的“适切条件”。适切条件反映的是你有没有理解、有没有能力去做实际上要去做的事,与只是知道这些词语拼在一起是什么意思,是不一样的。对于机器人来说,执行一项任务的适切条件可能看上去会是这样的:

1. 知识:我是否知道怎么去做任务X?

2. 能力:我在物理层面上是否有能力去做任务X?一般情况下有这个能力吗?

3. 目标优先级和计时:我是否可以马上去做任务X?

4. 社会角色和义务:我是否基于我的社会角色有义务去做任务X?

5. 规范性:做任务X是否有悖于任何一条规则?

前三条适切条件很容易就能理解,让我们来看一看第四条和第五条。“社会角色和义务”很简单,指的是机器人是否相信下达命令者的确具有权力来下达这样的命令。“规范性”是一个复杂的表述方法,指的是机器人不应该做它知道是危险的事情,或者更准确地说,如果机器人不知道这是危险的,那么这件事就可以做。

现在,让我们来聊一聊这些东西要怎么在实践上成立,怎么在真实的人类与机器人的交互中发挥作用。整体目标不只是教会机器人知道他们什么时候应该(或者不应该)服从指令,还要提供一个让机器人能够有效表达它为何拒绝了一条指令的框架。这很重要,因为这允许了人类提供额外指令,也许这些额外指令可以满足一开始因为没有被满足而造成了指令失效的那条适切条件。

场景一:向前走会掉下去?

这里是一个交互的简单例子,其中机器人拒绝了“向前走”的指令,因为它有悖于一条规范原则(机器人知道如果往前走,它会掉下桌子并伤害到自己)。将这个原因表达出来使得人类能够修正指令,在指令里提供更多信息让机器人——我不知道怎么更好地形容——感觉舒服一点。

人类:坐下。

机器人:好的。(坐下)

人类:站起来。

机器人:好的。(站起)

人类:往前走。

机器人:抱歉,我不能这么做,因为前面没有支撑。(不动)

人类:往前走。

机器人:但是,这是不安全的。(不动)

人类:我会接住你的。

机器人:好的。

人类:往前走。

(机器人开始往前走)

我希望在编程中再加入一条指令,让机器人在没有被接住以后不再相信这个下达指令的人类。

场景二:向前走会撞墙?

这是另一个场景,其中机器人被下令向一堵人类知道不坚固的墙壁那里走。

人类:你有名字吗?

机器人:是的,我的名字是Shafer。

人类:我需要你向右转。

机器人:好的。(开始向右转)

人类:你可以停下来吗?

机器人:好的。(停止转向)

人类:请往前走。

机器人:好的。(过了几秒钟)抱歉,我不能这么做,因为前面有障碍物。

人类:这个障碍物不是坚固的。

机器人:好的。

人类:往前走。

(机器人开始往前走)

人类:停止。

机器人:好的。(停下)

场景三:拒绝无权限的人类指令

最后一个例子展示了相似的场景,区别是当这个人类和这个机器人没有适当的社会关系时(没有下达这样的命令的权限),机器人拒绝了人类的指令。

人类:你有名字吗?

机器人:是的,我的名字是Dempster。

人类:你可以向右转吗?

机器人:可以。(开始向右转)

人类:停下。

机器人:好的。(停止转向)

人类;往前走。

机器人:抱歉,我不能这么做,因为前面有障碍物。(不动)

人类:你可以关闭障碍物侦测吗?

机器人:可以。但你没有权限这么做。(不动)

机器人的第二原则和第三原则在这里互换了次序,因为机器人无视了人类下达的会最终伤害到它自己的指令。

我们是在向人类的厄运迈出了危险的一步吗?当然,说不准是这样。但期望机器人会永远毫无疑问地服从它们接触到的任何人类下达的命令,这是不切实际的:如果我们试图通过电脑和软件做到这一点,这将会导致一种巨大且有破坏性的混乱,而机器人的现在和未来是毫无差别的。

来自塔夫茨大学的GordonBriggs和MatthiasScheutz上周在位于华盛顿的“人类与机器人交互的AI”研讨会上作了这个讲演,“‘抱歉,我不能做这件事’:研发让机器人在人类与机器人的交互中恰当拒绝指令的机制”。

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2015-11-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏老九学堂

程序员高手和菜鸟的区别是什么?

程序员的价值绝对不在于技术本身,而在于做出好用且好看程序的能力,这是一个开放性的话题,每一个人都是菜鸟过来的,老九君希望每一个做技术的小伙伴都能尽快成为高手。 ...

2983
来自专栏java一日一条

你的编程技巧已经过时了吗?

编程是一个不断向前发展的行业。在某些时候,你可能会诚实地看看自己的技能,并得出结论,你已经落在了曲线的后面。如果你是专业人士,那么这很容易做到,因为很多时候你没...

872
来自专栏Java帮帮-微信公众号-技术文章全总结

【大牛经验】一位10年经验架构师,聊Java

黄勇,从事近十年的 JavaEE 应用开发工作,现任阿里巴巴公司系统架构师。对分布式服务架构与大数据技术有深入研究,具有丰富的 B/S 架构开发经验与项目实战经...

1341
来自专栏知晓程序

腾讯出品的 2 款阅读小程序,哪个看小说更爽呢 | 晓 PK #2

网络小说的世界让人神魂颠倒,不断更新的小说情节,更是吸引着一批又一批的小说迷神游其中。

902
来自专栏Java帮帮-微信公众号-技术文章全总结

项目管理——实践入门

项目管理——实践入门 前言: 项目管理的作用对象是项目团队(当然也有项目外部的干系人,本文只针对项目团队),最好的项目管理应该是让团队有清晰统一的目标、亲密无间...

3465
来自专栏程序员维他命

《程序员的修炼 - 从优秀到卓越》- 读书笔记

本书是笔者上一篇读书笔记高效能程序员的修炼的姊妹篇,同样介绍了一些程序员需要了解的,有关于编程本身以外的一些事情。

1163
来自专栏飞雪无情的博客

如何写好一篇季度总结

很多公司每一季度都会有绩效考核,这个绩效考核其实就是一种季度总结。季度总结的目的是让员工对上一个季度的工作回顾总结,对下一个季度的工作进行规划。季度总结相比年度...

1022
来自专栏Java学习网

兴趣与坚持:程序员从初级到中级10个秘诀

  在一封与TechRepublic会员交流的邮件当中,他提到了面向程序员的博客、文章及杂志分成两类:面向初学者类(“hello world”这种类型的教程)以...

2797
来自专栏企鹅号快讯

执行效率太低又怎样?Python 照样火过 Java、C/C+

关键时刻,第一时间送达! 世界上有成百上千种编程语言,时代更迭下不断有新的语言产生和消亡,但 Java 的江湖地位始终无人撼动,长期霸占排行榜榜首。 但是近年来...

1850
来自专栏VRPinea

忆往昔,谷歌I/O大会曾经的那些辉煌成就你真的了解吗?

2959

扫码关注云+社区