科学家开发出可擦除AI短期记忆的新技术

人工智能机器从自身行为的结果中学习,提高自己的能力。但是,有专家表示,这个特点可能会导致人工智能无法被关停。为此研究人员开发了一个他们称之为“安全中断”的系统。这种方法的本质就像“黑色男人”中的记忆擦除神器一样,通过删除部分内存来中断AI。

洛桑联邦理工学院分布式编程实验室的教授Rachid Guerraoui表示:“人工智能将一直寻求避免人类干预,并创造一种无法停止的状态。人类必须开发找出防止人工智能绕过指令的方法。我们面临的挑战并非停止机器人的行为(参考deepmind的红色按钮),而是对这种中断进行编程让它既不会因此改变AI的学习过程也不引导AI进行优化。”

这种安全中断的技术改变了机器的学习和奖励系统,但不对过程进行中断。例如,对于一辆学习了错误行为的自动驾驶汽车进行中断时,这种中断不会让系统宕机,只是让它忘记学到的错误,其接下来的行为和学习都继续进行(简而言之,在学习算法中添加遗忘机制,删除最近学到的知识)。

研究人员之一Maurer教授说:“我们研究了现有的算法,并发现无论AI系统有多复杂,所涉及的机器人数量多庞大或者其中采取了怎样的中断措施,安全可中断性都可以工作。就算是终结者也不例外。”

根据团队声明,这项技术可能让自驾驶车和无人机变得更加安全,如果AI犯得错误不大,并不影响系统继续运行。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-12-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人称T客

CIO们如何评测移动应用平台(MEAP)的优劣?

目前来看,移动应用平台不但包括MADP还包括MAM、MDM等管理模块。所以在功能方面,要包括移动开发功能与移动管理功能,一个相对完整的MEAP平台应该包含以下功...

3618
来自专栏互联网数据官iCDO

应用商店优化: 如何提升App的评级?

译者:Lisa 本文长度为2603字,预估阅读时间6分钟。 摘要:作者从提升App的评级以及用户体验等方面,用于展示应用商店的优化。 App评级是应用商店优化...

3625
来自专栏灯塔大数据

浅谈快速发展中企业存在的数据污染问题

引言 公司由粗犷式发展转向精细化运营的过程中,数据决策支持发挥着至关重要的作用。而在传统行业里,由于数据量相对较小;业务系统变更相对规律;系统架构相对简单;数...

3566
来自专栏EAWorld

给DevOps打上最佳实践的标签

本文目录: 一、 再谈DevOps定位 二、谈谈几个实践设计 三、普元DevOps核心 越来越多的厂商开始研发DevOps产品,有的基于项目管理工具衍生,有的从...

3449
来自专栏安恒信息

评估网络安全虚拟化产品

 业务部门和IT运营部门正在缓慢推动数据中心服务器和组件的虚拟化,这给安全专家提出了新的难题:如何在虚拟环境中保持足够的控制。所幸的是,现在出现了很多解决虚拟化...

2785
来自专栏云计算D1net

将应用迁移云平台需注意网络和安全因素

云计算已经改变了IT资源设计与管理的方式。公司在寻找一些更快、更好、更便宜的IT资源,而混合云似乎就是合适之选。混合云使IT在峰值周期中,能够在内部数据中心和商...

3896
来自专栏梧雨北辰的开发录

微信小程序的账号问题

最近学习微信小程序需要注册小程序账号,这才发现微信的开发账号有多么让人抓狂。什么公众号、订阅号、小程序号的,各种账号真的让人不知所以,所以我决定整理一下这其中的...

8294
来自专栏DevOps时代的专栏

高效持续交付的 7 大原则

如果你身处IT领域,并且你不是昨天才出生的,那么你一定理解速度的必要性。自从企业实施了持续集成(CI)和持续交付(CD),开发与交付周期要比过去快了很多。举个例...

1142
来自专栏WeTest质量开放平台团队的专栏

WeTest适配测试报告2.0化繁为简,为你而来

曾经有一个适配测试报告摆在你的面前,而你可能苦于找不出最重要的问题在哪;如果您能给我们一次机会,我们会对您说四个字“不爽来试”。

853
来自专栏互联网杂技

语音交互中的“等待体验”研究

回顾人机交互发展史,人类先后经历了基于命令行的CLI 时代,基于鼠标键盘的GUI时代,基于触摸的初级NUI时代。后面每一个阶段比前一个阶段更自然,学习成本更低,...

3158

扫码关注云+社区