机器人如何拒绝人类命令(视频)

在《机器人手册》第56版(出版于2058年)中,机器人三原则是这样表述的:

1. 机器人不能伤害人类,也不能不作为地任由人类受到伤害。

2. 机器人必须服从人类下达的命令,除非这些命令与第一原则相悖。

3. 机器人必须保护自己延续生存,只要这样的保护与第一原则或者第二原则都不相悖。

真直白,不是吗?很不错,服从人类命令被列在第二原则上。问题是,人类总是像个白痴一样地行动,于是有些时候,毫无疑问地遵守第二原则对于机器人来说实在不是最佳选择。来自塔夫茨大学人类与机器人交互实验室的GordonBriggs和MatthiasScheutz,正在尝试如何为机器人做出一些机制,让它们在有充分理由的时候可以拒绝服从人类下达的命令。

在语言学理论中有一个这样的问题:如果有人让你去做一件事,你是否能超出单纯语义的范围、理解到他们想要的到底是什么?这取决于所谓的“适切条件”。适切条件反映的是你有没有理解、有没有能力去做实际上要去做的事,与只是知道这些词语拼在一起是什么意思,是不一样的。对于机器人来说,执行一项任务的适切条件可能看上去会是这样的:

1. 知识:我是否知道怎么去做任务X?

2. 能力:我在物理层面上是否有能力去做任务X?一般情况下有这个能力吗?

3. 目标优先级和计时:我是否可以马上去做任务X?

4. 社会角色和义务:我是否基于我的社会角色有义务去做任务X?

5. 规范性:做任务X是否有悖于任何一条规则?

前三条适切条件很容易就能理解,让我们来看一看第四条和第五条。“社会角色和义务”很简单,指的是机器人是否相信下达命令者的确具有权力来下达这样的命令。“规范性”是一个复杂的表述方法,指的是机器人不应该做它知道是危险的事情,或者更准确地说,如果机器人不知道这是危险的,那么这件事就可以做。

现在,让我们来聊一聊这些东西要怎么在实践上成立,怎么在真实的人类与机器人的交互中发挥作用。整体目标不只是教会机器人知道他们什么时候应该(或者不应该)服从指令,还要提供一个让机器人能够有效表达它为何拒绝了一条指令的框架。这很重要,因为这允许了人类提供额外指令,也许这些额外指令可以满足一开始因为没有被满足而造成了指令失效的那条适切条件。

场景一:向前走会掉下去?

这里是一个交互的简单例子,其中机器人拒绝了“向前走”的指令,因为它有悖于一条规范原则(机器人知道如果往前走,它会掉下桌子并伤害到自己)。将这个原因表达出来使得人类能够修正指令,在指令里提供更多信息让机器人——我不知道怎么更好地形容——感觉舒服一点。

人类:坐下。

机器人:好的。(坐下)

人类:站起来。

机器人:好的。(站起)

人类:往前走。

机器人:抱歉,我不能这么做,因为前面没有支撑。(不动)

人类:往前走。

机器人:但是,这是不安全的。(不动)

人类:我会接住你的。

机器人:好的。

人类:往前走。

(机器人开始往前走)

我希望在编程中再加入一条指令,让机器人在没有被接住以后不再相信这个下达指令的人类。

场景二:向前走会撞墙?

这是另一个场景,其中机器人被下令向一堵人类知道不坚固的墙壁那里走。

人类:你有名字吗?

机器人:是的,我的名字是Shafer。

人类:我需要你向右转。

机器人:好的。(开始向右转)

人类:你可以停下来吗?

机器人:好的。(停止转向)

人类:请往前走。

机器人:好的。(过了几秒钟)抱歉,我不能这么做,因为前面有障碍物。

人类:这个障碍物不是坚固的。

机器人:好的。

人类:往前走。

(机器人开始往前走)

人类:停止。

机器人:好的。(停下)

场景三:拒绝无权限的人类指令

最后一个例子展示了相似的场景,区别是当这个人类和这个机器人没有适当的社会关系时(没有下达这样的命令的权限),机器人拒绝了人类的指令。

人类:你有名字吗?

机器人:是的,我的名字是Dempster。

人类:你可以向右转吗?

机器人:可以。(开始向右转)

人类:停下。

机器人:好的。(停止转向)

人类;往前走。

机器人:抱歉,我不能这么做,因为前面有障碍物。(不动)

人类:你可以关闭障碍物侦测吗?

机器人:可以。但你没有权限这么做。(不动)

机器人的第二原则和第三原则在这里互换了次序,因为机器人无视了人类下达的会最终伤害到它自己的指令。

我们是在向人类的厄运迈出了危险的一步吗?当然,说不准是这样。但期望机器人会永远毫无疑问地服从它们接触到的任何人类下达的命令,这是不切实际的:如果我们试图通过电脑和软件做到这一点,这将会导致一种巨大且有破坏性的混乱,而机器人的现在和未来是毫无差别的。

来自塔夫茨大学的GordonBriggs和MatthiasScheutz上周在位于华盛顿的“人类与机器人交互的AI”研讨会上作了这个讲演,“‘抱歉,我不能做这件事’:研发让机器人在人类与机器人的交互中恰当拒绝指令的机制”。

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2015-11-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏狮乐园

我为什么选择离开了Liferay

距离离开Liferay还剩下用指头可以数出来的日子了,心中不禁感慨万千。这一个月除了做一些交接工作和下一份工作的准备意外,剩下的时间基本都在思考在Liferay...

913
来自专栏JAVA高级架构

简历制作及面试技巧

制作简历前的准备工作 1、了解自己 2、确定自己的职业方向 3、确定目标职位 4、了解目标职位的需求及市场行情 5、收集你的教育经历及资质证书 简历的作用 ...

3748
来自专栏程序员的知识天地

程序员告诉你:手机银行为何不如马云的支付宝和马化腾的微信支付好用?

从移动支付兴起,到现在也有六七个年头了吧。短短几年内,出门就可以不带钱包了,移动支付给生活带来的变化可谓巨大无比,马云的支付宝也渐渐成为了金融支付行业的霸主。喜...

1001
来自专栏DT数据侠

GitHub刚被微软收购,7年1500万账户数据就“被爆”了

作为开源代码库以及版本控制系统,Github拥有超过900万开发者用户。数据侠Ben Frederickson突发奇想,想统计一下全球的程序猿都住在哪里,于是他...

530
来自专栏机器人网

维基百科有6000多机器人编辑,那么问题来了,他们要吵架怎么办?

很多人可能都听说人工智能已经可以写文章了,但是你可能不知道编辑机器人早就已经是维基百科最重要的贡献群体之一。 2001 年,维基百科引入了机器人编辑者的概念,任...

3233
来自专栏铭毅天下

软技能,程序员编程之外的升值之道!

程序员,除了编码之外的软技能有哪些呢?《软技能——代码之外的生存指南》33岁实现职业自由、财富自由的作者给出了解读。

742
来自专栏凌帅的阅读思考与实践

​关于B1众筹失手的经验教训分析

7月28日晚上8点BIG.ONE开始众筹。我因为白天处理事务较多,晚上快7点50才回到家,打开电脑已经过了8点了。但当时没有意识到已经开始了(这...

794
来自专栏TEG云端专业号的专栏

【TEG TALK 5】张元龙丨不要试图去挑战底线

少年往事不足夸 金朝放荡思无涯 张元龙,LS评价他是TEG编程挑战赛明星人物。小龙连续三年带领的团队获得了两届冠军一届亚军。题目最难那一年,据说完全是一己之力完...

3837
来自专栏顶级程序员

一个 33 岁老程序员的感悟

源 / 开源中国 文 / Polly蜀黍 每个人都会有这样的感触,小的时候上学,老师讲课拖堂1分钟就会很烦躁,不喜欢的课听不进去,学不好,内心一直是一种...

42711
来自专栏养码场

一周播报|十年前不去BAT而选择外企的那群技术人,现在怎么样了?

养码人A:maven只是一个工具有各种命令,jenkins负责把这些命令流程化 + 图形界面 + 自动化 + 分布式支持

862

扫码关注云+社区