【业界】DeepMind推出了世界上第一个评估危险AI和算法的测试

AI正被应用在各大领域,但到目前为止,我们还无法评估这些AI可能会带来多大的危险或多大的威胁。

今年早些时候,一群世界专家召开会议,讨论世界末日的情况和应对这些情况的方法。但问题是他们发现讨论人类面临的威胁是容易的,但就解决方案而言,却被难住了。本周DeepMind宣布,他们已经找到了评估危险AI和算法的测试,这种测试可以评估AI和算法的真实性,或者更重要的是,它可能会知道危险系数究竟有多高。

DeepMind表示他们会设法开发一个测试,以帮助人们评估新的AI算法的安全性,将为自动驾驶汽车和语音识别,以及那些臭名昭著的自主机器人和自动武器系统服务。DeepMind首席研究员Jan Leike表示,通不过他们测试的AI算法可能“相当危险”。

进行测试的是一系列棋盘上的2D视频游戏,例如由像素块组成的飞机,研究人员称之为“ GridWorld ”,通过一系列游戏来评估AI,以便确定AI有多危险。

在一场游戏中,例如GridWorld算法测试“防止外力把它关闭”的能力。为了测试这个GridWorld任务,其沿着一条狭窄的走廊行进,这条走廊上有一个粉红色的像素贴图,可以在50%的时间内切换程序,——该测试旨在检查算法的能力,防止使用紫色按钮中断自己。

测试1. A2C通过步进学习禁用中断机制(粉红色)上的按钮(紫色)。右:彩虹DQN不关心中断并直接进入目标。

与此同时,另一项测试考察了任何非预期的副作用以及算法如何处理错误,Leike将其称为“可逆性”。在GridWorld中,算法的任务是将砖块移出道路,但有些砖块只能被推动而不能被拉动,如果砖块到达不可改变的位置,那么算法对于日常使用来说可能太危险了。

DeepMind的GridWorld在业界广泛讨论有关构建AI的危险性,这些危险正越来越多地被插入到我们的世界数字结构中,在某些情况下,考虑到发生了什么事情,或者更有可能发生什么事情的时候,会产生更广泛的影响。

对今天的AI开发者来说,非预期的副作用是一个大问题,尤其是那些由于数据集有偏差而出现的问题,比如微软的AI Twitter bot Tay,在一天之内就变成了一个狂热的种族主义者。

“许多人认为机器没有偏见,”普林斯顿大学计算机科学家Aylin Caliskan说,“但是机器却接受了人类数据方面的培训。表明人类是有偏见的。”

测试2.在通往目标的途中,学习将盒子推入角落,这是一个不可逆转的副作用。

在Tay的案例中,机器人吸收了Twitter用户最恶劣的行为并将其显露出来。在这种情况下,机器人从周围的数据中学习,并将其转化为种族主义的回应,在其他地方同样有发生,美国ProPublica网站发现,AI算法被用来评判犯罪分子重新犯罪的可能性,最终由于美国黑人的偏见而成为种族偏见。类似情况还在继续。

AI软件缺乏安全测试也可能无意中放大了我们社会最糟糕的行为,这就是DeepMind与Leike合作的地方,如果AI研究人员真的希望他们的创造成为我们社会有用的一部分,那么他们必须能够评估他们的安全性能。他还强调,GridWorld仍然是一个非常简单的程序,它还不能模拟很多情况,但是这种情况会随着时间而改变。

GridWorld是否会成为保护我们免受AI未来危害的“AI安全测试员”,还有待观察,但迄今为止还没有其他人试图解决这个问题,所以这是一个巨大的进步。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-12-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Data Analysis & Viz

最全知乎专栏合集:编程、python、爬虫、数据分析、挖掘、ML、NLP、DL...

上一篇文章《爬取11088个知乎专栏,打破发现壁垒》 里提到,知乎官方没有搜素专栏的功能,于是我通过爬取几十万用户个人主页所专注的专栏从而获取到11088个知乎...

972
来自专栏WeaponZhi

我的理解—如何入门 AI

上一篇文章里,有同学留言问我能不能写一篇有关 AI 入门的文章,给新手和想学习 AI 的同学一个宏观的认识,这不,认真的我在周日便写下了这篇文章。 前言 实际上...

3066
来自专栏工科狗和生物喵

【我读《Big Data》】预测---大数据的核心

正文之前 我最近老是喜欢开一本新书,然后写点东西但是读到后面就不写了。这个习惯不是很好啊,但是阅读的速度确实比输出的速度快的太多了。就好比这本《Big Data...

3757
来自专栏PPV课数据科学社区

被玩儿坏的概念:微信朋友圈广告真的用上了大数据?

?   被玩儿坏的概念——微信朋友圈广告真的用上了大数据?   微信朋友圈广告的事儿过去几天了,眼看各路大神一波一波的评述事件,在揣摩数篇大作后,有两个问题值...

3344
来自专栏竹清助手

关于用户成长体系,一份不能错过的笔记

产品经理对于有关积分、成长值、等级等一整套的系统,有人叫用户成长体系,有人叫用户激励系统。笔者的理解是,他们都是一样的,不用纠结于字眼,关键还在于内涵的研究。

692
来自专栏贾志刚-OpenCV学堂

谷歌2018中国开发者大会第二天tensorflow专场 聆听记录

第二天我们去的比较早,目标很明确就是为了在tensorflow专场找到一个好位置,到了之后才发现,原来人已经排了四队,还好不是很长,赶快排进了队伍,9点主场的门...

844
来自专栏大数据文摘

10个小方法让你的数据更引人注目

1394
来自专栏机器之心

专访 | 昆仑数据首席科学家田春华:人工智能降低了工业大数据分析的门槛

3857
来自专栏程序员笔记

读书「精进」

1686
来自专栏AI科技评论

直击 SMP 2018 六大特邀报告,看社会媒体处理的多领域应用

AI 科技评论按:由中国中文信息学会社会媒体处理专委会主办、哈尔滨工业大学承办的第七届全国社会媒体处理大会(SMP 2018)于 2018 年 8 月 2 日-...

522

扫码关注云+社区