全能AI降临之前,人类有哪些安全防范对策?

Root 编译整理 量子位 出品 | 公众号 QbitAI

霍金曾说过,通用人工智能(简称AGI)将会终结人类。

这类警惕AGI的言论,其实很久之前就有。

早在1951年,艾伦·图灵说过机器终会挣脱我们人类控制,接管这个世界。连工厂里使用大量机器人自动化生产特斯拉Model 3的马斯克,都反复公开强调,人类要积极监管,否则等回过神来的时候就已经来不及了。

澳洲国立大学三位AI学者Tom Everitt, Gary Lea, Marcus Hutter忧天下之忧,即将在IJCAI(国际人工智能联合会议)上发表一篇综述AGI Safety Literature Review,盘点了这几年全世界各地AI学者们对通用AI安全问题的思考。

简单了解一下AGI

如今我们生活中听过的或接触到的AI,只能处理单一问题,我们称之为弱人工智能。

单独下个棋,玩雅达利游戏,开个车,AI都hold得住。但现在的AI还没有“十”项全能的本领,无法同时做到在多个任务都表现得超过人类。

只有强人工智能,也就是AGI,才具备与人类同等的智慧,或超越人类的人工智能,能表现正常人类所具有的所有智能行为。

尽管现在并不存在AGI,但从人类把越来越多机械重复的工作都扔给AI解决这个趋势来看,AGI早晚会到来。

When?

曾有人在某年的NIPS和ICML大会上,组织过一场问卷调查。其中一个问题,请在场的顶尖学者们预测,比人类强大的AGI什么时候来。

容朕想一想~

调查结果显示,大家认为AGI会出现在2061年(结果取的中位数)。

掐指一算。也就还有43年。

AIXI模型,AGI学术圈内有望达到通用人工智能的模型之一,由本文作者之一Marcus Hutter教授于2000年首次提出。

他假设任何计算问题都可以转换为一个效用函数最大化的问题。

只用这一个公式,就概括出了智能的本质。

基于AIXI理论,Hutter教授和他的学生Shane Legg(也是DeepMind的联合创始人)在2007年对智能下了个定义:

agent的智能程度,是看agent在复杂的环境里完成任务的能力。

在大多数人的认知里,一旦两个agent同在一个环境里有着相斥的目标,那么智能程度更高的agent靠智商碾压对方来取胜。

这让很多人感到深深的恐惧。

如果哪一天我们成为了某个AGI目标的障碍物,那么比我们强大的AGI也很有可能会把我们清理掉。

围绕这层担忧,本文将从AGI可能造成的问题及人类的应对策略、公共政策这两个方面展开论述。

提前防范AGI宝宝造反

底层价值取向

第一个能想到的危险,是以AGI的智慧程度,它已经可以把目标分等级了。

比如说,算出π小数点后的第xx位数值,和追求提高人类的生活幸福指数相比,AGI可能会觉得前者很没意思。一旦AGI发展出自己的一套目标评价体系,那可能意味着它们不会乖乖“无脑”地完成人类交给他们的任务了。

所以我们人类一开始就要给AGI设计好底层的评价体系,相当于给它们一套我们人类做事的准则,一份moral code,价值取向。

教会AGI宝宝分辨好人和坏人

现阶段,造AGI的最佳架构是强化学习。在单向任务上,棋类游戏、电脑游戏都用的强化学习。而采用强化学习的最大挑战在于,如何避免agent为了优化而不择手段抄近路。

不仅要防止agent篡改训练数据,维护好奖励函数的处理机制,还要小心最后输出的评估表现被扭曲。AGI想要做手脚的话,可下手的地方太多了。

因此,我们人类得充分想到每一种可能,做对应的防御机制。

稳定性

不过,即使辛辛苦苦教会它们怎么做一个好AGI之后,它们也有可能会在自我进化的过程中改写掉这些底层原则。所以设计一个稳定可靠的价值取向就很关键。

有学者Everitt, Filan认为,设计价值取向必须考虑的三大前提。

Everitt, Filan, et al. Learning the Prefer- ences of Ignorant, Inconsistent Agents , arXiv: 1512.05832.

1)Agent评估未来场景的模型得基于当下的效用函数;

2)Agent得提前预判自我改写对未来行为策略的影响;

3)奖励函数不能支持自我改写。

可修正性

过于稳定,规则完全改不动也不行。

死守单一原则,容易被一窝端

DeepMind就尤其在意未来的AGI是否具有自我修正能力。指不定人类一开始设计的底层原则有啥毛病呢。不能改的话,也很恐怖。

这里就需要引入一个修正机制。

默认情况下,agents出于自我保护会阻止修改、关闭。就像哈尔9000一样,当发现鲍曼和普尔要关闭他时,他就会策划反击。但可修改、关闭的指定特殊情况例外。

除此之外,还需要设置长期监控agents行为的测试,一旦发现异常马上关停。

安全性

用强化学习存在个问题。模型很容易受到训练数据的干扰,被操控后堕落成坏AGI。

去年Katz拓展了Simplex算法,把修正线性单元ReLU引入了神经网络。然后成功地验证了含有300个ReLU节点8层的神经网络行为,从而提高了神经网络抗干扰能力。

具体ReLU如何提高模型的抗干扰性可参考:Katz, et al.Reluplex: An ecient SMT solver for verifying deep neural networks. arXiv: 1702. 01135

可理解性

深度神经网络是怎么学习的,一直也是个谜。不理解它们的话,我们也没法引导他们做出正面的决策。

为了可视化网络的行为,DeepMind的Psychlab心理实验室模拟出了一个三维空间,尝试理解深度强化学习的agents。

也有AI学者Zahavy为了观察DQN在玩雅达利游戏的策略,用t-SNE降维的方法可视化DQN顶层网络的活动。

公共政策怎么定比较科学

有人担心AGI造反,也有人担心坏人滥用AGI把世界搞得一片混乱。后者更希望全球出一套统一的法规,调控AI的发展。

但也有人对法规持谨慎的态度。AI学者Seth D Baum认为,设定法规反而会把AI往火坑里推。

当法规成了阻挠AI发展的外力,AI研究者们到时肯定会想办法绕过这些条规。

那种自发摸索怎么样造出更安全的AI的内在动力,他认为,会更快尝试出一条安全的路径。关于自发内在的动力,他提出了几点建议:

1)营造一个良好的讨论氛围,多半一些大会鼓励AI研究机构和团队公开发表他们对安全AGI的见解。

2)争取利益相关第三方的资金支持,比如各大车厂以及军队。他们不差钱,也愿意花在AGI的研究上。

3)不能把AGI的研发看作一个军备竞赛。如果游戏规则是赢者通吃,那大家只会一味地拼速度,而忽视掉安全问题。

4)从社会行为学的角度来说,可以引导AI学者们公开发声,表达出他们所做的AI研发工作是奔着安全的方向去的。一个人公开的表态会倒过来影响一个人的行为,从而促使大家在实际操作过程中也按照这个想法去做。人还是倾向于知行合一的。

事不宜迟,赶紧行动起来

顶尖的AI组织机构已经开始发力。IEEE已经在去年开始出一份道德指南(guidelines on Ethically Aligned Design)。ACM也和AAAI的SIGAI小组合作,2017年联合举办了一个AIES( AI, ethics and society)大会。

欧盟也很重视这件事。今年拉着同盟国和业界的大佬一起拿出30亿欧元给AI和机器人研究中心,以及欧洲议会组织了两次会议,公开征求民众意见,探讨AI和机器人的民事法律责任框架草案。

AGI留给人类准备对策的时间,也许还有不到50年。

希望最后AGI和人类能友好共处

最后,附AGI安全综述全文: https://arxiv.org/abs/1805.01109

作者系网易新闻·网易号“各有态度”签约作者

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2018-05-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏钱塘大数据

钱塘旁瞻 | 得大数据者得新工业革命先机

数据无限多时,就接近真实世界的本原。人类征服世界的前提是认识世界,既然借助大数据已经无限接近了真实世界,也就不必画蛇添足了,还是保持真实数据原貌最好,而且,认识...

37012
来自专栏大数据文摘

展现数据之美

1642
来自专栏BestSDK

100年后,会出现“AI总统”吗?

 有朝一日一位AI当上总统,有没有这种可能?   鉴于最近入住白宫的那位主,很多人可能已经考虑要对它进行一次升级了。毕竟,人类往往容易基于自负、愤怒以及自我膨胀...

4135
来自专栏数据科学与人工智能

大数据,小数据,哪道才是你的菜?

美国著名科技历史学家梅尔文?克兰兹伯格(Melvin Kranzberg),曾提出过大名鼎鼎的科技六定律,其中第三条定律是这样的[1]:“技术是总是配“套”而...

2487
来自专栏华章科技

数据说谎的艺术

大数据时代,数据被称为新时期的石油,但与石油又不同,其价值的体现很大程度依赖于人的解释,虽然数据本身不会说谎,但这给数据说谎提供了操作空间,具备数据甄别能力对于...

1003
来自专栏CVer

我的八年博士生涯(学术篇)

Amusi日常逛知乎,于昨天(2018-11-23)看到关注的大神"王赟 Maigo"分享了一篇文章"11167 我的八年博士生涯——学术篇"。这篇文章重点介绍...

1672
来自专栏新智元

加州山火肆虐!用AI预测与定位火灾迫在眉睫

今年加州的野火已经蔓延了数十万英亩,当地居民被迫疏散,迅速蔓延的火势已致数十人死亡,超过300人下落不明。

1014
来自专栏量子位

人工智能还能干这些?这8种AI应用你可能意想不到

安妮 编译整理 量子位 报道 | 公众号 QbitAI 这是最好的AI时代。 它潜伏在我们周围,为现代生活提供便利。语音识别、刷脸解锁、私人助手、图像美化、推荐...

3587
来自专栏PPV课数据科学社区

漫谈大数据的思想形成与价值维度

在漫长的数据蓄水过程中,数学和统计学逐渐发展,人们开始注意对数据的量化分析,在人类进入信息时代以前这样的例子就不胜枚举。比如经济上,黄仁宇先生对...

2866
来自专栏AI科技评论

干货 | 元旦,一起NLP!(上)

第一部分 | NLP的诞生史 ? 《圣经》关于巴别塔的故事 1.从前,巴比伦人想建造一座塔直通天堂。 建塔的人都说着同一种语言,心意相通、齐心协力。上帝看到人类...

3776

扫码关注云+社区

领取腾讯云代金券