科学家开发出可擦除AI短期记忆的新技术

人工智能机器从自身行为的结果中学习,提高自己的能力。但是,有专家表示,这个特点可能会导致人工智能无法被关停。为此研究人员开发了一个他们称之为“安全中断”的系统。这种方法的本质就像“黑色男人”中的记忆擦除神器一样,通过删除部分内存来中断AI。

洛桑联邦理工学院分布式编程实验室的教授Rachid Guerraoui表示:“人工智能将一直寻求避免人类干预,并创造一种无法停止的状态。人类必须开发找出防止人工智能绕过指令的方法。我们面临的挑战并非停止机器人的行为(参考deepmind的红色按钮),而是对这种中断进行编程让它既不会因此改变AI的学习过程也不引导AI进行优化。”

这种安全中断的技术改变了机器的学习和奖励系统,但不对过程进行中断。例如,对于一辆学习了错误行为的自动驾驶汽车进行中断时,这种中断不会让系统宕机,只是让它忘记学到的错误,其接下来的行为和学习都继续进行(简而言之,在学习算法中添加遗忘机制,删除最近学到的知识)。

研究人员之一Maurer教授说:“我们研究了现有的算法,并发现无论AI系统有多复杂,所涉及的机器人数量多庞大或者其中采取了怎样的中断措施,安全可中断性都可以工作。就算是终结者也不例外。”

根据团队声明,这项技术可能让自驾驶车和无人机变得更加安全,如果AI犯得错误不大,并不影响系统继续运行。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-12-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏企鹅号快讯

信息安全不可或缺应用交付 还需安全交付

从负载均衡、应用交付到交付安全,在短短的十数年里,交付领域的变化可谓日新月异,从软件到硬件,从4层负载到7层应用,而这两年,主流厂商又将应用交付的大旗指向了信息...

1809
来自专栏云计算D1net

混合云存储的企业指南

1677
来自专栏云计算D1net

私有云计算的发展与应用

似乎业界所有人都在谈论云计算。但是,虚拟化是对发展私有云战略的重要一步。如果你已经虚拟化了部分的基础设施,那么你可能比想象的更接近私有云计算。 采用云计算的好处...

2865
来自专栏about云

该如何建设公有云私有云,需要考虑哪些问题,该选择什么技术?

问题导读: 1.云计算能够解决什么问题? 2.公有云面临哪些问题? 3.要建设云,你认为需要解决什么问题? 4.为什么选择openstack,建设公有云? 最...

3027
来自专栏云计算D1net

企业上云:可get这几种安全云网络服务

企业云部署已经很快地从小规模应用(如短期项目或测试与开发环境)发展为支持更为重要的工作负载的复杂的大规模应用。随着云服务变得越来越多样化,企业对于云模型的满意水...

3406
来自专栏前沿技墅

从ITOM到AIOps:IT运维管理向智能运维的进化

1675
来自专栏织云平台团队的专栏

新时代运维监控能力的进化——天网云用户体验监控平台实践

运维团队审视业务质量监控能力时,有九个问题值得思考,九问运维后,我们重新审视传统的运维监控能力是否仍然能够满足业务对质量的要求,结合当下移动互联网与新兴的业务形...

5722
来自专栏云计算D1net

读懂开源模式的优缺点

开源云计算消除了供应商的限制和壁垒,但是这些优点是以提供商支持成本为代价的。 因为这些缺点和优点,开源软件使企业陷入了两难的境地。 一方面,开源模式是很吸引人的...

3224
来自专栏Cloud Native - 产品级敏捷

微服务架构设计 第四步: 分析微服务架构依赖与风险; 开发微服务最关键的一步

2016.9.11, 深圳, Ken Fang 当特性负责人与架构师, 开发骨干人员, 测试经理, 资深测试人员协作, 而可针对特性下的所有微服务 (funct...

1949
来自专栏云计算D1net

避免云中断和提高系统性能的4种方法

当大多数人听到关于云计算中断的头条新闻时,他们通常考虑的是哪个云计算供应商,或其负面宣传将如何影响股票价格,却很少有人会想到事件背后的相关人员,也就是负责修复问...

722

扫描关注云+社区