看谷歌和OpenAI联合发布的五条AI定律 如何打脸霍金

最近,谷歌和OpenAI的博客都宣布了一条由谷歌、OpenAI、伯克利和斯坦福的学者共同进行的研究,其目的旨在为AI提供一个有效的行为约束,以使其不会在有意或无意中做出危害人类的事情。

阿西莫夫的定律已成明日黄花

对AI的担心和限制的想法甚至从AI的概念还没有诞生的时候就有了,在那个人们对计算机还懵懵懂懂的时代,人们就对那种强大的、有着金属身躯和超高智商的存在有了一种本能的恐惧。多年来无数科学家、作家都警告AI可能毁灭人类。包括霍金也曾表示超越人类的AI可能造成人类的灭亡。人们也曾探索过限制AI随意发展的各种可能性。1950年著名科幻作家阿西莫夫的《我,机器人》出版,在书中阿西莫夫提出了举世闻名的机器人三定律(当时还没有AI这个概念,这个概念在1955年才第一次由约翰·麦卡锡提出) ,阿西莫夫的构想是:只要把这三项定律写入机器人的代码底层,确保机器人无论如何都无法违反,就能保证人类不被机器人所伤害:

第一定律:机器人不得伤害人类,或坐视人类受到伤害。

第二定律:机器人必须服从人类的命令,除非与第一定律冲突

第三定律:在不违背第一定律和第二定律的情况下,机器人必须保护自己。

乍一看,这三条定律确实能有效防止机器人对人的各种伤害。但是其实这个定律存在两个问题:

一是描述太过模糊,以至于机器人可能通过对其作出各种解读来不同程度的达到自己限制或伤害人类的问题。

二是可操作性太差,即使到了现在,我们也没法制造出一台能真正理解这三条定律含义的AI,对如何将其写入AI程序的底层更是毫无头绪。万一AI在我们找到实现机器人三定律的方法之前就具备了毁灭人类的想法和能力了呢?

谷歌和OpenAI联合发布五条AI定律

谷歌日前发布了一篇论文,为AI划出了五条行为规范,目的是防止AI有意或无意做出伤害人类的事。我们姑且可以称其为AI五定律。在此我们选取一部分翻译:

尽管AI可能面临的安全风险已经引起了公众的注意,但是目前大多数相关的讨论都显得过于理想化和理论化。我们相信在机器学习领域将相关的研究尽快落地是非常必要的,因此我们开始研究实际可行的可将AI系统用安全可靠的手段建立起来的方法。 我们列出了我们认为在一般情况下对AI而言非常重要的五个问题——都是一些比较前卫的思考和长期的研究方向。在目前来看它们的意义比较小,但是在未来的系统中它们会发挥重要作用。 避免负面影响:我们如何避免AI在试图达到目标时对环境做出有负面影响的举动?比如避免扫地机器人为了更快的打扫地面而径直推翻(而不是绕过去) 一个花瓶。 避免对奖励条件的非法解读:我们如何避免AI通过篡改测量值等手段在奖励函数上玩花样?比如我们不希望这个扫地机器人只是找个东西把脏东西盖起来让自己看不见它,就认为自己已经扫干净了地面。 可扩展的监管:我们如何有效保证AI系统对那些在系统中不方便太过频繁的评估的物体做出适当的反应?比如,如果机器人需要从人那里获得训练结果的反馈,那它就需要有有效的利用这条反馈的能力(而不能像普通的训练那样不停的核对训练结果),因为不停的问一个人问题是很烦人的。 环境探索的安全性:我们如何有效的保证AI系统评估环境的时候不会造成太过负面的影响?比如,一个扫地机器人可能会需要进行建立拖地策略的实验来作为以后工作的依据。但是很显然它无论怎么实验无论如何也不应该尝试把湿拖把插进插座中。 分配转变的鲁棒性:我们如何保证AI系统处在与其训练环境完全不同的环境时认知和行为的稳定性?比如,启发式算法让机器在在工厂中学到的行为可能在一个办公室中就会显得不那么安全。

它的重要性不言而喻

确实有很多人在担心着AI对人类的威胁。包括Elon Musk和霍金等。如果要详细区分一下,这种担心更多的不是对AI所拥有的力量的担心,而是对其力量能不能被用在合适的地方的担心。AlphaGo的投资人Talllinn在一次采访中表示:我们需要重新定义 AI 研究的目标。不停留于单纯的智能开发上,而是开发能充分对接人类价值观的超级智慧。也是这种担心的一种表现。不过目前虽然大众普遍注意到了这种可能性,但相关的严肃研究的数量其实比较少。

但这其中不包括谷歌,谷歌对AI安全性的重视由来已久,之前谷歌就曾发布过一篇论文,设计了一个用于紧急停止算法运行的开关,并且确保开关的效果不会被算法阻止,这个开关属于事后防范的应急措施。雷锋网(搜索“雷锋网”公众号关注)翻译过论文的内容,点击查看。而现在谷歌联合多家机构一起制定的这套新的规则的目的则是为了从源头——设计层面防止AI做出有害的事情。

AI安全联盟打脸霍金?

OpenAI就是为了预防人工智能的灾难性影响和推动人工智能为人类发挥积极作用而建立的组织,可以说同谷歌在这方面的努力一拍即合。这次的合作研究,既是为了集合更多精英的智慧,得出更有用的结果。也是为了扩大这项研究的影响力,对AI安全方面的研究起到更大的推进作用。因为多家大公司和组织所组成的联盟无疑更能引起大家的关注。

虽然阿西莫夫的作品非常有逻辑性和条理,他的很多作品也确实预言了科技发展的趋势,但机器人三定律毕竟仍然只是一个文学作品中的附属产物,在严谨性方面仍有许多欠缺。此次谷歌等团队提出的这五条限定条件将目前AI开发中需要注意的事项作了一个概括性的总结,与宽泛而缺乏可操作性的机器人三定律相比显得更加实用。论文中提到了更详细的实现方法。AI科技评论将在明天的推送中给出全文的翻译。

题图来自cbronline.com

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2016-06-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏华章科技

英特尔人工智能,助力全球领先云服务供应商

微软Project Brainwave是一个基于FPGA的低延迟深度学习云平台。微软创新地使用了英特尔提供的Stratix10 FPGA,创新的硬件赋予了这一深...

791
来自专栏数据猿

天云大数据CEO雷涛:人类如何与机器共生?(内附PPT)

数据猿导读 现如今,人工智能时代到来,我们进入到一个信息过载的世界,面对越来越多的智能化机器,我们人类的角色也在发生着改变。在由中欧国际商学院和数据猿共同主办的...

2626
来自专栏人称T客

专业投资人如何评估SaaS公司?有多少创业者不知道

SaaS商业模式当下炙手可热,但究竟如何评估SaaS业务、如何衡量SaaS业务指标?SaaS业务的财务分析与传统商业模式有什么不同?我们选译了美国SaaS领域的...

2493
来自专栏程序员的SOD蜜

模块架构不是软件成功的“决定因素”

【本文是09年的一篇旧文,出于某些原因,对原文内容有删减,在这里整理后重新发表】 前言 感谢XXX对我们技术,对我们公司产品提出这些意见,我们公司卖的是软件...

24410
来自专栏达观数据

人工智能很遥远?未来每个 HR 都离不开 AI

几年前,HR SaaS 在市场爆发式的增长引发了大家的关注。Saas 大潮退去,人工智能在各行各业的风起云涌,HR 反而不小心成为了 AI 领域看似风平浪静的垂...

3529
来自专栏华章科技

霍金已逝,人工智能的威胁还在!

曾有人问霍金,他的身体状况对科学研究是帮助还是限制,他对死亡的恐惧又是什么。75 岁的霍金回答说,他很幸运能够从事理论物理学研究工作,这是少数几个不会受限于身体...

681
来自专栏镁客网

机器视觉市场腥风血雨,华捷艾米要做嵌入式的3D感知芯片

1190
来自专栏钱塘大数据

八大观点,解读大数据

导读:什么是大数据?最常引用Victor的4V理论,大量(Volume),快速(Velocity),种类多(Variety),价值(Value),但究竟多大是大...

3158
来自专栏BestSDK

虹软人脸识别SDK受邀GMIC:彻底免费、可离线使用

云端人脸识别平台方案虽然看起来美好,但是当没有网络的时候呢?当需要控制硬件成本的时候呢?离线则成为人工智能技术落地的关键,这也是将AI从云到端的唯一方式。

1042
来自专栏机器之心

业界 | 不要再提「人工智能」,因为今天的计算机系统一点儿都不特别

选自大西洋月刊 作者:IAN BOGOST 机器之心编译 参与:微胖、晏奇 「算法」这个词已经成为了一种文化崇拜,一种世俗的上帝祈求般的技术等价物。不加区别的...

2727

扫码关注云+社区