科学家开发出可擦除AI短期记忆的新技术

人工智能机器从自身行为的结果中学习,提高自己的能力。但是,有专家表示,这个特点可能会导致人工智能无法被关停。为此研究人员开发了一个他们称之为“安全中断”的系统。这种方法的本质就像“黑色男人”中的记忆擦除神器一样,通过删除部分内存来中断AI。

洛桑联邦理工学院分布式编程实验室的教授Rachid Guerraoui表示:“人工智能将一直寻求避免人类干预,并创造一种无法停止的状态。人类必须开发找出防止人工智能绕过指令的方法。我们面临的挑战并非停止机器人的行为(参考deepmind的红色按钮),而是对这种中断进行编程让它既不会因此改变AI的学习过程也不引导AI进行优化。”

这种安全中断的技术改变了机器的学习和奖励系统,但不对过程进行中断。例如,对于一辆学习了错误行为的自动驾驶汽车进行中断时,这种中断不会让系统宕机,只是让它忘记学到的错误,其接下来的行为和学习都继续进行(简而言之,在学习算法中添加遗忘机制,删除最近学到的知识)。

研究人员之一Maurer教授说:“我们研究了现有的算法,并发现无论AI系统有多复杂,所涉及的机器人数量多庞大或者其中采取了怎样的中断措施,安全可中断性都可以工作。就算是终结者也不例外。”

根据团队声明,这项技术可能让自驾驶车和无人机变得更加安全,如果AI犯得错误不大,并不影响系统继续运行。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-12-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏java架构技术

“刷一波” 程序员面试题,掌握八成便可BATJ一试~

最近看见了很多程序员成功入的BAT,小编这里在网上搜集了一些国内一线互联网公司的面试题和面试技巧,特此整理分享给需要的技术人员,看你和BAT之间差了多少!

513
来自专栏程序人生 阅读快乐

Unity开发实战(第1辑)(套装共3册)

按照知识点循序渐进,对Unity中各个类型的Shader都进行了详细系统的阐述。通过大量实例及配图进行讲解。而且游戏中很多常用画面效果以及Unity 5.x相关...

781
来自专栏微信公众号:Java团长

Java工程师书单(初级、中级、高级)

怎样学习才能从一名Java初级程序员成长为一名合格的架构师,或者说一名合格的架构师应该有怎样的技术知识体系,这是不仅一个刚刚踏入职场的初级程序员也是工作一两年之...

732
来自专栏韩伟的专栏

论可复用的游戏服务器端开发框架(一)

本文试图以游戏服务器端开发的角度,探讨在需求高度变化的环境下,可重用模块构建的可能性和基本方案。 可复用框架的必要性与可行性 在现代游戏产品的开发中,游戏服务...

3455
来自专栏Java学习网

面试感悟:3年工作经验程序员应有的技能

面试感悟:3年工作经验程序员应有的技能 前言 因为和同事有约定再加上LZ自己也喜欢做完一件事之后进行总结,因此有了这篇文章。这篇文章大部分内容都是面向整个程序员...

2886
来自专栏用户3246163的专栏

[脑书1]-《搞定》第1章 新情况 新做法

《搞定(Get Things Done)》这本书其实我在2007年就已经读过了,也是在我工作生涯早期对我影响很重要的一本书。

824
来自专栏大数据

大数据驱动的未来网络:体系架构与应用场景

来源:学术plus(caeit-e) 摘 要:当前网络已经发展了40余年,存在许多问题亟待解决。随着美国产业互联网、德国工业4.0以及“互联网+”等战略的提出,...

1997
来自专栏CSDN技术头条

程序员你可别写代码了!

三年——筛选程序员的第一个门槛。从校园到职场。参与团队协作、使用项目管理工具、如何做代码测试和线上运行等,积累一定的开发经验,对代码有了基础的认识。

1072
来自专栏领域驱动设计DDD实战进阶

领域驱动设计之聚合与聚合根实例二

2925
来自专栏牛客网

一起来看看阿里面试官如何面试

最近去阿里的菜鸟国际做了一次面试交流,发现大公司对于面试者的知识结构考核非常严谨,可以作为我们日常工作学习的指导。虽然很多人说面试问到的东西在实际工作中很少用到...

3605

扫码关注云+社区