研究 | 如何管教AI的行为举止?OpenAI早已开始研究,而这只是整个AI安全领域的前哨

AI 科技评论按:在比赛中刷成绩和在游戏中击败人类职业选手仅仅是 AI 研究的一部分,OpenAI 的研究人员们同样重视对 AI 安全性的研究。这篇文章是纽约时报来到 OpenAI 实验室的报道,介绍了 OpenAI 近期在 AI 安全领域的想法和一些成果,也让我们看到了 OpenAI 研究人员的风采。雷锋网 AI 科技评论编译。

自学的人工智能可能学到奇怪的行为

在旧金山的 OpenAI 人工智能实验室中,计算机们可以自我学习、学会人类的举止。不过有时候也会出问题。

Geoffrey Irving(左)和 Dario Amodei 展示可以在简单的游戏中训练人工智能

前不久的一个下午,OpenAI 的研究员 Dario Amodei 在办公室里展示了一个自己学会玩 Coast Runners 小游戏的 AI 系统。这个游戏是一个颇有年份的电脑游戏,通过终点的时候得到的分数最高的船就是游戏的胜者。

不过 AI 系统的表现让人意外:游戏规则是吃掉屏幕上不停出现的绿色点点就会得分,而这只船对它们太感兴趣了,它根本不急着冲向终点,而是不停绕圈、跟其它的船撞在一起、蹭着墙壁滑行,还有反复着火,就是不惜一切代价去得分。

Dario Amodei 着火的小船游戏就展示出了正在迅速改变科技界的 AI 技术背后的风险。研究员们研究的是如何让机器自主学习,Google 的 DeepMind 也做的是类似的事情,他们开发出了能够击败世界顶级选手的 AlphaGo。但是随着这些机器在数小时的数据分析中自我训练,它们也可能会学会一些人类没有估计到的、不希望看到的、甚至是会造成实质性伤害的行为。

当网络服务、安全设备和机器人都开始用上 AI 技术以后,这样的担忧就无法忽视了。现在,Dario Amodei 在内的一部分 AI 研究人员已经开始联手探索新的技术理论来避免最糟糕的情况发生。

在 OpenAI,Dario Amodei 和他的同事 Paul Christiano 正在一起开发新的算法,他们希望这些算法不仅能在数小时的试错中学习,还能够在途中接受来自人类老师的普遍性指导。

现在他们已经找到了一种方法让 AI 系统知道 Coast Runners 的小船要边得分、边往终点走才行,而且人类只要在屏幕上点一点就可以。他们相信这样能够综合利用人类和机器指导的算法可以帮助确保无人系统的安全性。(这项研究的具体内容可见雷锋网 AI 科技评论之前的报道 你做我评——OpenAI和DeepMind全新的强化学习方法,根据人类反馈高效学习 )

Dario Amodei 和他的同事正在开发新算法,不仅能够自己试错学习,人类也可以给与指导

不可忽视的风险

近几年来,埃隆马斯克以及其它一些权威、哲学家、科技爱好者都在反复警告机器有可能摆脱人类的控制,学到一些设计者并不希望看到的有害行为。随着时间慢慢过去,人们似乎忘掉了这些警告,毕竟如今的自动驾驶汽车在识别行车线或者识别红灯这样最基本的任务中都会表现得磕磕绊绊。

但是 Dario Amodei 这样的研究者是希望赶在危险出现之前就把它们消灭掉。从某种意义上说,这些科学家做的事情就像是父母给小孩教什么是对、什么是错。

许多 AI 界的专家都相信强化学习会是通往人工智能的主要途径之一,这种方法里机器要反复试错才能最终学会做某件特定的事情。研究人员们为机器指定好一个它要追求的回馈,它就会随机地做出行动“尝试”达成任务,同时也密切关注着哪些事情会带来更高的回馈。当 OpenAI 的研究人员训练那个 AI 玩 Coast Runners 的时候,他们给它设定的回馈目标就是获得更高的分数。

虽然这只是一个游戏,但是能从里面影射出现实世界的状况。

研究人员们相信,如果一台机器学会了玩 GTA 这样的竞速游戏,它就能开一辆真车;如果它能学会用网页浏览器和其它一些常用的软件,它就学会了理解自然语言,可能还能够跟人对话。在谷歌和UC伯克利大学,机器人们已经用上了这样的技术来学会捡起东西或者开门等简单任务。这些事情不仅是 AI 开发测试的理想环境,能够完成它们也说明了 AI 具有相当的智能,接下来可以在更真实的环境中完成任务。

正因为这样,Dario Amodei 和 Paul Christiano 更加努力地想要开发出新的、能够让人类从中给予指导的强化学习算法,才能够保证 AI 系统不会偏离它们要完成的任务——谁都不想让 AI 系统在现实中造成不好的后果。

更多研究者已经加入了这个领域

这两位 OpenAI 的研究员已经和伦敦的 DeepMind 实验室的人一起发布了一些这方面的研究成果。虽然他们以往并没有什么合作经历,但毕竟两个都是世界顶级实验室,这些算法也确实算得上是 AI 安全研究方面显著的一步。

UC伯克利的研究员 Dylan Hadfield-Menell 说:“这种做法可以验证很多前向思考的成果,类似这样的算法在未来5到10年内有很大的潜力。”

AI 安全这个领域不大,但是一直在成长。随着 OpenAI 和 DeepMind 都建立了专门致力于 AI 安全的研究小组,谷歌的本土实验室 Google Brain 也加入了进来。同时,来自UC伯克利、斯坦福等大学的研究者也在研究着类似的问题,也经常与这些大公司实验室展开合作。

站着的是 Dario Amodei,Paul Christiano 穿着浅蓝衬衣,Geoffrey Irving 正在白板上写写画画

有时候,研究者们研究的是确保 AI 系统不会自己犯错,像 Coast Runners 里的小船那样。他们也需要避免攻击者和其它怀有恶意的人发现系统中的漏洞。比如谷歌的研究员 Ian Goodfellow 就已经在研究中发现攻击者可以欺骗 AI 系统,让它们以为自己看到了别的东西。

现代计算机视觉的基础是深度神经网络,它们是一类模式识别系统,在经过大规模数据训练以后就可以学会特定的任务。用成千上万张狗的照片训练过以后,神经网络就可以学会识别一条狗。Facebook 就是用这样的方式识别自拍中的人脸的,谷歌也是这样在照片应用中对图像做即时搜索的。

不过 Ian Goodfellow 等人已经表明了攻击者可以修改一张图像,让神经网络以为图像里面是别的东西。比如对一张大象照片里面的某些像素做改动以后,就可以让神经网络把它识别成一辆汽车。

当神经网络用在安防摄像头中的时候,这就会成为实实在在的麻烦。根据研究员们所说,在脸上画几个记号就可以让摄像头以为你是别的人。

Ian Goodfellow 也说:“即便用一百万张人类标注的图像训练出一个物体识别系统,我们仍然可以创造出人类和计算机的识别结果100%不同的新图像。这种现象还需要我们继续深入了解。”

另一个难以忽视的担心是 AI 系统可能会学到一些方法,防止人类把它们关掉。在给机器设定了目标回馈以后,随着它的尝试和思考,它可能会觉得只有保证自己一直在运行才能够一直获得这些回馈。这个常常被提及的威胁可能距离目前的状况更远一点,但是研究者们也已经开始着手做预防。

Hadfield-Menell 和其它的 UC伯克利学者最近发表了一篇论文,介绍了一种解决这个问题的数学式方法。他们表明,如果设计机器的时候专门给它设定了一个不确定的回馈函数的话,它就会想办法保持它的开关是打开的。这就给它选择接受人类监管还是逃出去带来了刺激。

安全方面多数的研究还是理论性的。不过从 AI 技术的飞速发展和在许多工业应用中越来越重要的地位看来,研究者们认为相关研究开始得越早越好。

DeepMind 的 AI 安全研究负责人 Shane Legg 给出了他的看法:“AI 发展得这么快,未来到底怎么样还很难说。这些技术可能被滥用、被攻破的方式有很多,负责任的做法就是要尝试理解这些方法,并且设计各种解决方法。”

via New York Times,AI 科技评论编译

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-08-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯高校合作

【犀牛鸟·学问】腾讯AI Lab犀牛鸟访问学者系列报告研讨会

1101
来自专栏媒矿工厂

利用人工智能提升足球直播效果

人工智能技术代表着未来无限的可能性,已经在很多领域带来巨大的冲击。在足球直播这一领域,版权方需要提供更多更优质的内容以应对日益增长的多元化需求,因此急需提高运营...

3242
来自专栏机器之心

GMIS 2017第一天亮点全面盘点:从机器学习到交叉学科

机器之心原创 机器之心编辑部 2017 年 5 月 27 日上午,机器之心主办的第一届全球人工智能峰会(GMIS 2017)在北京 898 创新空间顺利开幕,中...

3687
来自专栏AI科技评论

张钹院士:走向真正的人工智能 | CCF-GAIR 2018

6 月 29 日上午,清华大学研究院院长张钹院士为 CCF-GAIR 2018 主会场「AI 前沿技术」做了题为「走向真正的人工智能」(Towards A Re...

1145
来自专栏机器之心

业界 | 京东金融与KDD2018:如何针对性解决城市计算痛点

作为会议的承办方,京东金融的城市计算事业部在会议上给出了一个主题演讲和两篇论文介绍,分享了京东进行城市计算的方法论,辅以众多实际案例。

950
来自专栏腾讯技术工程官方号的专栏

腾讯AI Lab刘霁谈机器学习,异步计算和去中心化是两大杀器

本文转载自「AI科技评论」,搜索「aitechtalk」即可关注。 编者按:并行计算是提高计算机系统计算速度和处理能力的一种有效手段。它的基本思想是用多个处理器...

37613
来自专栏华章科技

个性化推荐十大挑战

还有读者觉得个性化推荐就等同于协同过滤,这可能是因为协同过滤应用比较广泛并且比较容易为大众理解。实际上协同过滤只是个性化推荐技术中的一个成员。它与很多更先进技术...

1243
来自专栏AI研习社

张钹院士:走向真正的人工智能 | CCF-GAIR 2018

AI 研习社按:2018 全球人工智能与机器人峰会(CCF-GAIR)在深圳召开,峰会由中国计算机学会(CCF)主办,雷锋网、香港中文大学(深圳)承办,得到了宝...

1141
来自专栏AI科技大本营的专栏

美团大脑:知识图谱的建模方法及其应用 | 公开课笔记

作为人工智能时代最重要的知识表示方式之一,知识图谱能够打破不同场景下的数据隔离,为搜索、推荐、问答、解释与决策等应用提供基础支撑。

1872
来自专栏新智元

【谷歌AI换帅】Jeff Dean正式接管,人工智能和搜索部门一分为二!

1564

扫码关注云+社区