看谷歌和OpenAI联合发布的五条AI定律 如何打脸霍金

最近,谷歌和OpenAI的博客都宣布了一条由谷歌、OpenAI、伯克利和斯坦福的学者共同进行的研究,其目的旨在为AI提供一个有效的行为约束,以使其不会在有意或无意中做出危害人类的事情。

阿西莫夫的定律已成明日黄花

对AI的担心和限制的想法甚至从AI的概念还没有诞生的时候就有了,在那个人们对计算机还懵懵懂懂的时代,人们就对那种强大的、有着金属身躯和超高智商的存在有了一种本能的恐惧。多年来无数科学家、作家都警告AI可能毁灭人类。包括霍金也曾表示超越人类的AI可能造成人类的灭亡。人们也曾探索过限制AI随意发展的各种可能性。1950年著名科幻作家阿西莫夫的《我,机器人》出版,在书中阿西莫夫提出了举世闻名的机器人三定律(当时还没有AI这个概念,这个概念在1955年才第一次由约翰·麦卡锡提出) ,阿西莫夫的构想是:只要把这三项定律写入机器人的代码底层,确保机器人无论如何都无法违反,就能保证人类不被机器人所伤害:

第一定律:机器人不得伤害人类,或坐视人类受到伤害。

第二定律:机器人必须服从人类的命令,除非与第一定律冲突

第三定律:在不违背第一定律和第二定律的情况下,机器人必须保护自己。

乍一看,这三条定律确实能有效防止机器人对人的各种伤害。但是其实这个定律存在两个问题:

一是描述太过模糊,以至于机器人可能通过对其作出各种解读来不同程度的达到自己限制或伤害人类的问题。

二是可操作性太差,即使到了现在,我们也没法制造出一台能真正理解这三条定律含义的AI,对如何将其写入AI程序的底层更是毫无头绪。万一AI在我们找到实现机器人三定律的方法之前就具备了毁灭人类的想法和能力了呢?

谷歌和OpenAI联合发布五条AI定律

谷歌日前发布了一篇论文,为AI划出了五条行为规范,目的是防止AI有意或无意做出伤害人类的事。我们姑且可以称其为AI五定律。在此我们选取一部分翻译:

尽管AI可能面临的安全风险已经引起了公众的注意,但是目前大多数相关的讨论都显得过于理想化和理论化。我们相信在机器学习领域将相关的研究尽快落地是非常必要的,因此我们开始研究实际可行的可将AI系统用安全可靠的手段建立起来的方法。 我们列出了我们认为在一般情况下对AI而言非常重要的五个问题——都是一些比较前卫的思考和长期的研究方向。在目前来看它们的意义比较小,但是在未来的系统中它们会发挥重要作用。 避免负面影响:我们如何避免AI在试图达到目标时对环境做出有负面影响的举动?比如避免扫地机器人为了更快的打扫地面而径直推翻(而不是绕过去) 一个花瓶。 避免对奖励条件的非法解读:我们如何避免AI通过篡改测量值等手段在奖励函数上玩花样?比如我们不希望这个扫地机器人只是找个东西把脏东西盖起来让自己看不见它,就认为自己已经扫干净了地面。 可扩展的监管:我们如何有效保证AI系统对那些在系统中不方便太过频繁的评估的物体做出适当的反应?比如,如果机器人需要从人那里获得训练结果的反馈,那它就需要有有效的利用这条反馈的能力(而不能像普通的训练那样不停的核对训练结果),因为不停的问一个人问题是很烦人的。 环境探索的安全性:我们如何有效的保证AI系统评估环境的时候不会造成太过负面的影响?比如,一个扫地机器人可能会需要进行建立拖地策略的实验来作为以后工作的依据。但是很显然它无论怎么实验无论如何也不应该尝试把湿拖把插进插座中。 分配转变的鲁棒性:我们如何保证AI系统处在与其训练环境完全不同的环境时认知和行为的稳定性?比如,启发式算法让机器在在工厂中学到的行为可能在一个办公室中就会显得不那么安全。

它的重要性不言而喻

确实有很多人在担心着AI对人类的威胁。包括Elon Musk和霍金等。如果要详细区分一下,这种担心更多的不是对AI所拥有的力量的担心,而是对其力量能不能被用在合适的地方的担心。AlphaGo的投资人Talllinn在一次采访中表示:我们需要重新定义 AI 研究的目标。不停留于单纯的智能开发上,而是开发能充分对接人类价值观的超级智慧。也是这种担心的一种表现。不过目前虽然大众普遍注意到了这种可能性,但相关的严肃研究的数量其实比较少。

但这其中不包括谷歌,谷歌对AI安全性的重视由来已久,之前谷歌就曾发布过一篇论文,设计了一个用于紧急停止算法运行的开关,并且确保开关的效果不会被算法阻止,这个开关属于事后防范的应急措施。雷锋网(搜索“雷锋网”公众号关注)翻译过论文的内容,点击查看。而现在谷歌联合多家机构一起制定的这套新的规则的目的则是为了从源头——设计层面防止AI做出有害的事情。

AI安全联盟打脸霍金?

OpenAI就是为了预防人工智能的灾难性影响和推动人工智能为人类发挥积极作用而建立的组织,可以说同谷歌在这方面的努力一拍即合。这次的合作研究,既是为了集合更多精英的智慧,得出更有用的结果。也是为了扩大这项研究的影响力,对AI安全方面的研究起到更大的推进作用。因为多家大公司和组织所组成的联盟无疑更能引起大家的关注。

虽然阿西莫夫的作品非常有逻辑性和条理,他的很多作品也确实预言了科技发展的趋势,但机器人三定律毕竟仍然只是一个文学作品中的附属产物,在严谨性方面仍有许多欠缺。此次谷歌等团队提出的这五条限定条件将目前AI开发中需要注意的事项作了一个概括性的总结,与宽泛而缺乏可操作性的机器人三定律相比显得更加实用。论文中提到了更详细的实现方法。AI科技评论将在明天的推送中给出全文的翻译。

题图来自cbronline.com

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2016-06-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

亚马逊 Alexa Prize 比赛冠军团队专访:聊天机器人的突破与创新

在 2017 年底结束的第一届亚马逊 Alexa Prize 比赛上,由华盛顿大学博士生方昊担任领队的 Sounding Board 团队在全球上百支队伍中突出...

3616
来自专栏about云

以一当十的程序员不是传说

昨晚,我发了下面的微博: 有些人议论所谓“10x”或者“超级”的程序员都是传说。可那些著名运动员,艺术家,作家,呃,还有摇滚明星的都是神话吗? — Yev...

2798
来自专栏PPV课数据科学社区

【每天一个数据分析师】几乎任何一种分析,都可以用矩阵式分析来引出思路

论坛君 “每天一个数据分析师”在第五期采访到的是一位萌妹子Yuki,她毕业于复旦大学,目前在上海从事互联网金融行业的数据分析,主要从事业务和用户方向的数据分析和...

5327
来自专栏大数据文摘

[干货]数字未来(85页PPT)

2397
来自专栏新智元

Adobe 发布首个深度学习平台 | 欲打造像修改图一样修改语音的软件项目

【新智元导读】Adobe最近在人工智能上发力,先是发布了一款基于深度学习和机器学习的底层技术开发平台Sensei,可以整合到旗下各类软件和工具中,进一步提高设计...

39316
来自专栏数据的力量

水平思考——突破创新的思考方式

892
来自专栏新智元

深度揭秘谷歌训练 AI 隐藏劳力,“机器教练”只不过是廉价临时工

【新智元导读】《连线》杂志的一篇长文描绘了为 Google 这家科技巨头“训练AI”的幕后工作者,他们的工作是评估提供给他们的视频、广告等内容,以创造可以让机器...

3497
来自专栏腾讯高校合作

腾讯大数据宣布推出第三代高性能计算平台Angel并于2017年全面开源

12月18日,深圳 - 腾讯大数据宣布推出面向机器学习的第三代高性能计算平台——Angel,并预计于2017年一季度开放其源代码,鼓励业界工程师、学者和技术人员...

31110
来自专栏新智元

深度 | 美国大选 Facebook 误导公众?智能时代,推荐算法主导群体意识

【新智元导读】Facebook 将一则美国大选的假新闻置顶,引发热议。在批判 Facebook 的喧嚣之中,很少有人看清,问题的本质并非 Facebook 传播...

41112
来自专栏腾讯研究院的专栏

深度思考:社交媒体的大数据是否可靠?

  如今,科学家们正越来越多的把目光转向社交媒体,以研究线上及线下的人类行为,例如预测夏季股票市场的大波动。一些数据处理专家指出,使用该种方法处理数据时,研究...

2078

扫码关注云+社区