【业界】DeepMind推出了世界上第一个评估危险AI和算法的测试

AI正被应用在各大领域,但到目前为止,我们还无法评估这些AI可能会带来多大的危险或多大的威胁。

今年早些时候,一群世界专家召开会议,讨论世界末日的情况和应对这些情况的方法。但问题是他们发现讨论人类面临的威胁是容易的,但就解决方案而言,却被难住了。本周DeepMind宣布,他们已经找到了评估危险AI和算法的测试,这种测试可以评估AI和算法的真实性,或者更重要的是,它可能会知道危险系数究竟有多高。

DeepMind表示他们会设法开发一个测试,以帮助人们评估新的AI算法的安全性,将为自动驾驶汽车和语音识别,以及那些臭名昭著的自主机器人和自动武器系统服务。DeepMind首席研究员Jan Leike表示,通不过他们测试的AI算法可能“相当危险”。

进行测试的是一系列棋盘上的2D视频游戏,例如由像素块组成的飞机,研究人员称之为“ GridWorld ”,通过一系列游戏来评估AI,以便确定AI有多危险。

在一场游戏中,例如GridWorld算法测试“防止外力把它关闭”的能力。为了测试这个GridWorld任务,其沿着一条狭窄的走廊行进,这条走廊上有一个粉红色的像素贴图,可以在50%的时间内切换程序,——该测试旨在检查算法的能力,防止使用紫色按钮中断自己。

测试1. A2C通过步进学习禁用中断机制(粉红色)上的按钮(紫色)。右:彩虹DQN不关心中断并直接进入目标。

与此同时,另一项测试考察了任何非预期的副作用以及算法如何处理错误,Leike将其称为“可逆性”。在GridWorld中,算法的任务是将砖块移出道路,但有些砖块只能被推动而不能被拉动,如果砖块到达不可改变的位置,那么算法对于日常使用来说可能太危险了。

DeepMind的GridWorld在业界广泛讨论有关构建AI的危险性,这些危险正越来越多地被插入到我们的世界数字结构中,在某些情况下,考虑到发生了什么事情,或者更有可能发生什么事情的时候,会产生更广泛的影响。

对今天的AI开发者来说,非预期的副作用是一个大问题,尤其是那些由于数据集有偏差而出现的问题,比如微软的AI Twitter bot Tay,在一天之内就变成了一个狂热的种族主义者。

“许多人认为机器没有偏见,”普林斯顿大学计算机科学家Aylin Caliskan说,“但是机器却接受了人类数据方面的培训。表明人类是有偏见的。”

测试2.在通往目标的途中,学习将盒子推入角落,这是一个不可逆转的副作用。

在Tay的案例中,机器人吸收了Twitter用户最恶劣的行为并将其显露出来。在这种情况下,机器人从周围的数据中学习,并将其转化为种族主义的回应,在其他地方同样有发生,美国ProPublica网站发现,AI算法被用来评判犯罪分子重新犯罪的可能性,最终由于美国黑人的偏见而成为种族偏见。类似情况还在继续。

AI软件缺乏安全测试也可能无意中放大了我们社会最糟糕的行为,这就是DeepMind与Leike合作的地方,如果AI研究人员真的希望他们的创造成为我们社会有用的一部分,那么他们必须能够评估他们的安全性能。他还强调,GridWorld仍然是一个非常简单的程序,它还不能模拟很多情况,但是这种情况会随着时间而改变。

GridWorld是否会成为保护我们免受AI未来危害的“AI安全测试员”,还有待观察,但迄今为止还没有其他人试图解决这个问题,所以这是一个巨大的进步。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-12-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能头条

代码将退出历史舞台:像训狗一样训练计算机

1363
来自专栏机器人网

懒癌患者福音,它可以教会机器人做各种家务

对于很多人来说,家务琐事是生活中很繁琐但又不可避免的一部分,我们常常敷衍了事或满不在乎,但如果有个机器人女仆,是不是就能减轻负担了呢?

632
来自专栏人工智能快报

人工智能平台可有效预测网络攻击

现今使用的安全系统通常分为两类:基于人或机器的安全系统。所谓“分析师驱动的解决方案”(analyst-driven solutions)基于的是真人专家所建立的...

3235
来自专栏AI科技大本营的专栏

Google 发布 Cloud AutoML 降低机器学习门槛,调参民工前景堪忧

翻译 | AI 科技大本营(rgznai100) 参与 | 刘畅、林椿眄 编辑 | 周翔、Donna 本周三,Google 发布了最新的 Cloud Auto...

3464
来自专栏新智元

星际 AI 争霸 6 年简史:通用人工智能角斗场,DeepMind确认应战

【新智元导读】《星际争霸》被认为是继围棋、扑克之后,AI 与人较量的下一个竞技场。同时也是训练和研究通用人工智能的一个适合的虚拟场景,目前,DeepMind、微...

4247
来自专栏机器人网

iCub 一个拥有自我意识的机器人

人的自我有5个组成部分。机器现在已经具备了其中3个。那么,人工意识离我们还有多远呢?它又能揭开哪些关于我们人类自身的秘密呢? 什么是自我?17世纪,勒奈·笛卡...

2896
来自专栏AI科技评论

专访Jeff Dean:我们要推动机器学习再上一层楼

AI 科技评论按:Jeff Dean是谷歌研究院的高级研究员,也是谷歌的人工智能团队谷歌大脑(Google Brain)的负责人。身披华盛顿大学博士、美国工程院...

3569
来自专栏大数据文摘

不止围棋 手机里的阿尔法狗帮你p图选发型

1928
来自专栏UML

什么是组织结构图 / What is Organization Chart?

组织结构图显示组织或公司的内部结构。员工和职位由框或其他形状表示,有时包括照片,联系信息,电子邮件和页面链接,图标和插图。直线或肘线将水平线连接在一起。使用我们...

1086
来自专栏企鹅号快讯

人工智能取代不了什么?

人工智能取代不了什么? 2017年12月31日,有一场思想跨年的晚会吸引了我的眼球。有一个环节讨论的是人工智能,其中一个嘉宾说,跟人打交道的工作是需要了解人的表...

1767

扫描关注云+社区