学界 | Stuart Russell等人提交论文:机器人不应永远遵从人类指令

选自arXiv

机器之心编译

参与:李泽南

Stuart Russell 刚刚在 GMIS 2017 大会上的演讲中为我们分享了人工智能目前面临的一些挑战。为了实现这个目标,他提出了机器人在执行命令时的行为准则:「第一点,机器人的目标就是使得人类的意愿最大化的实现——机器应该使人类的意愿得到满足,而不是让机器给我们创造一种让人类感觉不舒适生活。第二点,机器人不知道什么是价值,我们不能给机器一个固定的价值系统。第三点,机器需要从人类的行为中获得参考。」

孩子在家感到饥饿的时候,冰箱里没有东西,机器人会选择家里的猫作为食材准备晚餐吗?

在 5 月 28 日的演讲过后,UC Berkeley 的 Russell 组发表了一篇论文,Smitha Milli、Dylan Hadfield-Menell、Anca Dragan 和 Stuart Russell 对机器人服从人类指令的规则进行了深入探究。研究人员认为,在人类并非总是理性的情形下,机器人需要辨别接收到的指令是否合理,这样才能更好地服务人类。

论文:Should Robots be Obedient?

链接:https://arxiv.org/abs/1705.09990

摘要

直观地服从人类发出的命令似乎是一个好机器人该有的特质。但是,人类并不完美,有些时候给出的命令不符合自己的喜好。我们的研究表明,当一个人并不是完全理性时,一个遵循人类潜在偏好的推断来行动的机器人总是能比仅仅遵循人类命令表面含义的机器人更好。所以,机器人的服从特质需要与从其所有者那里获得的信息中进行权衡。我们研究了这种权衡是如何影响机器人推测人类偏好的,发现一些方法更能体现出服从特质。随后,我们分析了机器人在遵从符合/不符合人类本意时的表现好坏。最后,我们探究了如何让机器人检测出错误的指令。我们的研究表明,可能存在一个需要机器人决定人类命令是否错误的中间区域,在此区间内不直接执行命令是更好的选择。

机器人是否需要服从命令?大多数人对这个问题的第一反应都是:YES。一个不听从指令的咖啡机肯定不是一台好的咖啡机。具有复杂功能的自动化系统如果无法遵从人类发出的指令,可能会具有很大的危险性,它们可能会破坏财产和生命,到引起灾难等。目前的很多研究都为人工智能系统至少加上了 100% 可以关闭系统的「红色按钮」。

然而,在长期看来,盲目遵从人类指令的系统也不是一个完美的选择。自动驾驶汽车应该在驾驶者试图在雪地高速行驶时拒绝命令,也不应该在儿童试图手动驾驶时交出控制权。

在 UC Berkeley 的论文中,研究者探索了不完全遵从人类指令的系统的可能性。具体而言,研究者探究了服从的性质与其达到的表现之间的关联性,系统受到发出命令者理性的影响,机器人学习人类喜好程度随时间的进展,以及机器人对人类建模的准确度。研究者认为这些属性可对机器人实现价值具有预测性影响。

在研究中,作者以人类指令者 H 和机器人 R 为核心建模,以此来数字化 R 的服从程度。H 和 R 是合作的,但 H 知道回报参数θ,R 则不知道。H 可以给 R 发出指令,但 R 可以选择遵从或不遵从。研究人员展示了 R 在接收到指令后试图通过模拟θ来影响真正的θ——这意味着当 H 发出的命令不合理时,R 比盲目遵从人类指令的机器人能够更好地完成任务。

在逆强化学习(inverse reinforcement learning,IRL,Andrew Ng,2000 & Abbeel and Ng,2004)任务中,研究人员对比了盲目遵从指令与不同的θ预测方法的表现。最终发现最大相似估计(MLE)的θ要比其他方式能更好地完成人类发出的命令。

最后,研究人员探究了在拥有错误模型时,R 系统的鲁棒性和θ表现。研究者发现 MLE 方式在错误模型时能够作出合理举动(和正确模型时动作一致),而最优策略(optimal policy)则无法做到。

图 1. 盲目遵从指令的机器人总是听从 H 的命令(左);而 ARL-R 计算了 H 的潜在喜好,根据估算做出反应。

图 2. 自我驱动优先(Δ,左侧)和遵从指令(O,右侧)随着时间步增加的表现

图 3. 当 H 提出的指令趋向于无理,Δ趋向于高收敛,但速率较慢

图 4. 当θ错误时,Δ和 O 的表现

研究人员认为,实用化机器人必须在远期学会自主地决定何时遵从命令,何时不遵从。但在同时,更重要的是必须保证机器人在做出反应后具有足够的容错性,因为机器人使用的模型也可能出错。

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2017-05-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PaddlePaddle

AI Studio | 提供免费云计算资源,深度学习也能零门槛

随着 AI 技术的发展,人类社会正处于火热的智能化革命之中,AI 能力已经渗透到各行各业,在语音、图像以及 NLP 领域,已获得了突破性的进展和效果。

43610
来自专栏新智元

微软ICLR论文发布编程机器人DeepCoder,“码农”质疑其水准

【新智元导读】微软和剑桥大学的研究员近日向ICLR提交了一篇论文,其中描述了一个会编程的机器学习系统DeepCoder。网友意见分两派:一方担心程序员很快会失业...

37980
来自专栏新智元

【GPU陷入价格战】谷歌云可抢占GPU降价40%,P100每小时不到3块钱

23520
来自专栏ATYUN订阅号

IBM团队开发新的AI算法,可以过滤侮辱性语言并以礼貌用语来代替

这是记者们经常重复的一句话:从不读评论。评论部分的内容,可能会是互联网上最黑暗的地方之一,那些毫无根据的侮辱和尖锐的批评像混战中的子弹一样。

12340
来自专栏CDA数据分析师

Python 爬取淘宝商品数据挖掘分析实战

? 作者 孙方辉 本文为CDA志愿者投稿作品,转载需授权 项目内容 本案例选择>> 商品类目:沙发; 数量:共100页 4400个商品; 筛选条件:天猫...

64450
来自专栏云市场·精选汇

要注意这些SEO优化时常犯的认知误区

虽然说做SEO优化不难,但也讲究技巧和手法,不然你在用功,花费再多的时间还是没有什么成效的。相反,手法越高明、技巧越娴熟的优化员,他们优化的网站排名也会越靠前。...

11030
来自专栏镁客网

为保护人类,DeepMind开发专项测试软件,以保障AI算法安全性 | 热点

14000
来自专栏CSDN技术头条

软件看板之父David Anderson:使用看板方法进行项目管理

一、使用看板方法管理项目 我是项目经理,看板对我来说意味着什么? 我是项目经理,我的组织正在采用Kanban,它对我意味着什么?以及我应该在工作中如何使用看板?...

28390
来自专栏IT大咖说

Kubeflow用户研究:Data Scientist是一群什么生物?

内容来源:2018 年 04 月 22 日,Pinlan创始人兼CEO李一帆在“全球首发| Kubeflow Meetup 4.22 杭州场,开拓 AI 新视野...

15920
来自专栏机器之心

资源 | 只需1200美元,打造家用型深度学习配置(CPU+GTX 1080)

选自Reddit 机器之心编译 参与:黄小天、路雪 近日,社交新闻站点 Reddit 用户 polaryon 在机器学习板块发起了一个讨论,展示了自己如何用 1...

24340

扫码关注云+社区

领取腾讯云代金券