【业界】DeepMind推出了世界上第一个评估危险AI和算法的测试

AI正被应用在各大领域,但到目前为止,我们还无法评估这些AI可能会带来多大的危险或多大的威胁。

今年早些时候,一群世界专家召开会议,讨论世界末日的情况和应对这些情况的方法。但问题是他们发现讨论人类面临的威胁是容易的,但就解决方案而言,却被难住了。本周DeepMind宣布,他们已经找到了评估危险AI和算法的测试,这种测试可以评估AI和算法的真实性,或者更重要的是,它可能会知道危险系数究竟有多高。

DeepMind表示他们会设法开发一个测试,以帮助人们评估新的AI算法的安全性,将为自动驾驶汽车和语音识别,以及那些臭名昭著的自主机器人和自动武器系统服务。DeepMind首席研究员Jan Leike表示,通不过他们测试的AI算法可能“相当危险”。

进行测试的是一系列棋盘上的2D视频游戏,例如由像素块组成的飞机,研究人员称之为“ GridWorld ”,通过一系列游戏来评估AI,以便确定AI有多危险。

在一场游戏中,例如GridWorld算法测试“防止外力把它关闭”的能力。为了测试这个GridWorld任务,其沿着一条狭窄的走廊行进,这条走廊上有一个粉红色的像素贴图,可以在50%的时间内切换程序,——该测试旨在检查算法的能力,防止使用紫色按钮中断自己。

测试1. A2C通过步进学习禁用中断机制(粉红色)上的按钮(紫色)。右:彩虹DQN不关心中断并直接进入目标。

与此同时,另一项测试考察了任何非预期的副作用以及算法如何处理错误,Leike将其称为“可逆性”。在GridWorld中,算法的任务是将砖块移出道路,但有些砖块只能被推动而不能被拉动,如果砖块到达不可改变的位置,那么算法对于日常使用来说可能太危险了。

DeepMind的GridWorld在业界广泛讨论有关构建AI的危险性,这些危险正越来越多地被插入到我们的世界数字结构中,在某些情况下,考虑到发生了什么事情,或者更有可能发生什么事情的时候,会产生更广泛的影响。

对今天的AI开发者来说,非预期的副作用是一个大问题,尤其是那些由于数据集有偏差而出现的问题,比如微软的AI Twitter bot Tay,在一天之内就变成了一个狂热的种族主义者。

“许多人认为机器没有偏见,”普林斯顿大学计算机科学家Aylin Caliskan说,“但是机器却接受了人类数据方面的培训。表明人类是有偏见的。”

测试2.在通往目标的途中,学习将盒子推入角落,这是一个不可逆转的副作用。

在Tay的案例中,机器人吸收了Twitter用户最恶劣的行为并将其显露出来。在这种情况下,机器人从周围的数据中学习,并将其转化为种族主义的回应,在其他地方同样有发生,美国ProPublica网站发现,AI算法被用来评判犯罪分子重新犯罪的可能性,最终由于美国黑人的偏见而成为种族偏见。类似情况还在继续。

AI软件缺乏安全测试也可能无意中放大了我们社会最糟糕的行为,这就是DeepMind与Leike合作的地方,如果AI研究人员真的希望他们的创造成为我们社会有用的一部分,那么他们必须能够评估他们的安全性能。他还强调,GridWorld仍然是一个非常简单的程序,它还不能模拟很多情况,但是这种情况会随着时间而改变。

GridWorld是否会成为保护我们免受AI未来危害的“AI安全测试员”,还有待观察,但迄今为止还没有其他人试图解决这个问题,所以这是一个巨大的进步。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-12-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CDA数据分析师

3分钟轻松了解个性化推荐算法

摘要:如果去商场里买东西,我并不愿意听导购小姐讲的话,但是电商网站上的推荐,我还真的愿意看一看。【猜你喜欢】,好,那你就猜猜吧。 推荐这种体验除了电商网站,还有...

2285
来自专栏新智元

DeepMind 通用人工智能新进展:理解AI 智能体间的合作

DeepMind 官方博客今日更新,介绍了理解AI 智能体间合作原理的最新研究: “我们采用深层多代理强化学习来模拟AI 智能体间合作的出现。新的连续社会困境的...

4028
来自专栏新智元

深度学习驱动智能搜索引擎,RankBrain革了SEO的命

【新智元导读】想在谷歌或百度等搜索结果中排名靠前,除了广告(给钱),你还可以选择SEO(搜索引擎优化):让网站符合算法的规则,提升在搜索引擎内的自然排名。但去年...

3779
来自专栏IT大咖说

深度学习:智能对话机器人适用场景与技术解析

1764
来自专栏加米谷大数据

技术分享 | 大数据可视化的五大发展趋势

在这个信息爆炸的时代,借助图形化的手段,高效和清晰的交流信息是数据可视化的目的所在,作为一种信息载体,她拥有对数据的多种表现形式,可以是美丽的且带有趣味性的,以...

3825
来自专栏新智元

机器学习论文呼吁“预注册”,事先评审专治“注水研究”!

所谓“预注册”研究,通俗点说就是,在实际着手开始研究之前,先将研究假设和实验设计方案等前期重要信息,向欲投稿的学术期刊进行事先注册,由期刊先行组织专家进行同行评...

813
来自专栏镁客网

黑科技 | 用算法分析图像,实现对神经元行为的精准“录像”研究

1220
来自专栏量子位

F8大动作:PyTorch 1.0现身(Logo也换了),围棋AI开源

Caffe2和PyTorch合体事件有了清晰的发展方向,同样服务于深度学习开发者的ONNX也宣布支持更多的框架。

1402
来自专栏大数据文摘

别错过这张AI商用清单:你的生产难题可能被一个应用解决

1553
来自专栏媒矿工厂

MMSys2018:VR360发展现状【附PPT全文】

2018年6月12号至6月15号,第9届ACM多媒体系统会议(MMSys,ACM Multimedia Systems Conference)在荷兰阿姆斯特丹召...

2136

扫码关注云+社区