纽约客：AI 是否会成为人类的最后发明？
【导读】Nick Bostrom 是《超级智能：路线图、危险性与应对策略》的作者，他认为真正的人工智能可能拥有巨大的威胁，如果人类没有小心处理，很可能会走向自我灭绝的道路。
Bostrom 提出了大过滤器的观点，他说生命总倾向于扩张，但到目前为止我们还没有观察到外星生命。Bostrom 说这可能是大过滤器的原因，所有的文明可能都得发展出某些技术，而新的技术发现也许会导致普遍的生存灾难。
这里所说的技术，就是人工智能。
Bostrom 的论述总有一种“优雅”的悖论：一方面是逻辑清晰的分析和论述，另一方面又不时展示出弥赛亚一般的迫切。
这也是人工智能的迷人之处，关于它的未来，你很难证明什么，也很难证伪。但关于它未来的讨论，背后的人性和哲学思辨对我们启发良多。
新智元今天推荐的这篇文章，来自一名纽约客的记者采访 Nick Bostrom 的感悟。另外由于文章较长（2万3千字），我们把全文整理成PDF，如有需要请在新智元订阅号回复 1117 下载。
原标题：“The Doomsday Invention：Will artificial intelligence bring us utopia or destruction?” By Raffi Khatchadourian
I 预兆
去年，一本奇妙的不属于小说的书登上了时代杂志畅销榜，它是由在牛津大学担任要职的思想家Nick Bostrom所写的对于人工智能的思考。在这本叫做《超级智能：路线图、危险性与应对策略》的书中，他提出，真正的人工智能（如果实现了的话）可能拥有巨大的威胁，远超之前的科技所能带来的——甚至连核武器也无法与之相比——并且如果它的发展没有被小心地处理，人类将可能迈上自我灭绝之路。这个顾虑的核心是“智能爆炸”的前景，“智能爆炸”这一推测认为，AI获得不断改善自己的能力后，会在短期内以数量级的优势碾压人类大脑的智能潜力。
这样的人工智能系统将会迅速变为一种新的生命，而Bostrom的忧虑在最根本的层面上就是演化的问题：人类会意外地被一种更聪明的竞争者打败。他有时候为了做比较会写到人类和猩猩：都是灵长类动物，但一种主宰了整个星球而另一种处在灭绝的边缘。“在智能爆炸的前景下，我们人类如同玩炸弹的小孩子，”他总结道，“我们不知道爆炸什么时候会发生，虽然如果我们把它靠近耳边可以听到微弱的倒计时声音”。
在42岁时，Bostrom成为了有相当影响力的思想家。“超级智能”只是他对二十年前的想法最为人所知的回应。二十年前他成为了超人类主义者，参与了一个类乌托邦运动，参与者主要因为对未来的同一个预期而集结：加速发展的科技将带来激烈的变革——社会层面、经济层面，以及最让人震惊的生物层面——最终聚合并带来划时代的改变，也就是奇点。
Bostrom可能是超人类主义思想家的领军人物，他将这些原本诞生于网络上、难以在现实中有影响力的观点和想法梳理了出来。他几乎不做具体的预测，但是，基于概率理论，他寻求从看似不可能的地方获得见解。
Bostrom最富智慧的一些洞见就像是瑞士军刀一样：它们简单得像小孩子的玩具，让人有兴趣去思考，同时有着漂亮的外在样貌和精致的内里机制。他曾经为用医疗手段得到永生提出过一个道德问题，用一个王国被一条无法满足的贪婪的龙所统治来类比。“帕斯卡的赌注”（译者注：基督教辨惑学的哲学一部份，由17世纪的法国哲学家布莱兹·帕斯卡提出。帕斯卡假定所有人类对上帝存在或不存在下注。由于上帝可能确实存在，并假设这情况下信者和不信者会分别得到无限的收益或损失，一个理性的人应该相信上帝存在。如果上帝实际上不存在，这样信者将只会有限的损失（一些乐趣，享受等），来自维基百科）则被他重塑为这个十七世纪的哲学家与一个来自其他次元的强盗的对话。
“超级智能”并不能完全说是Bostrom的原创；他的贡献在于，将分析哲学的严密加诸到这些从学术边缘诞生的杂乱的思想上。可能因为AI领域最近有了巨大的进展——每一天科技都让推出的新产品或是技术看着越来越像智能推理——这本书已经触动了人们的神经。
Bostrom的支持者们将这本书与《寂静的春天》类比。在道德哲学中， Peter Singer 和 Derek Parfit 认为它是重要的论著，而 Stephen Hawking 等著名的物理学家则对它的警示作出了回应。在硅谷中， Bostrom 也获得了贤哲的地位。 Elon Musk ，特斯拉的 CEO ，在推特上推荐了这本书，并评价道“我们需要对AI极度谨慎，它可能变得比核武器还要危险”。 Bill Gates 也推荐了它。AI有可能会威胁到整个人类，在一场在中国的讲演中他说到，“当人们说这不是一个问题时，我就开始提出反对的意见。他们怎么会看不出这是一个多么巨大的挑战呢？”
那些说人工智能并不会成为问题的人，多数在人工智能领域工作。许多杰出的研究者们认为Bostrom的基本观点让人难以置信，或是视它为在为人工智能短期内带来的利益和科技导致的道德两难困境转移视线——尤其是因为今天的AI系统刚刚能做到指引机器人去打开房门。去年夏天，Oren Etzioni，西雅图艾伦人工智能研究所 CEO ，用“科学怪人情结”来描述这种对于机器智能的恐惧（译者注：公认最早的西方科幻小说是玛丽‧雪莱(Mary W. Shelley)于1818年出版的《科学怪人》（Frankenstein, or TheModern Prometheus）。故事叙述一位年轻的瑞士科学家Frankenstein用尸体拼凑缝补成一个“人”，并利用闪电赋予他生命。结果，这个其丑无比的“科学怪人”由于无法获得人类认同，愤而对他的创造者展开报复，因而波及许多无辜。由于这个故事在西方可算家喻户晓，遂衍生出Frankenstein Complex这个名词，用以描述畏惧新科技会造成反扑、会危害人类的一种心理）。另一位前沿科学家宣称，“我不担心这个，和我也不担心火星人口过剩是同样的原因”。 Jaron Lanier ，一位微软的研究员和技术评论员，告诉我，即便为不同的观点构建起互相辩论的框架也是一个错误。“这并不是一个坦率的交流，”他说，“人们认为这是与科技有关的事，但它实际上与信仰有关，人们转向形而上学来应对人类的情况。他们有用末日情景来戏剧化地夸大自己的信念的倾向——而人们常常不愿意批评他人的信仰。”
由于这场争论波及到了博客和媒体上，而不再只是在同行评审的期刊上，双方观点出现在了讽刺漫画中，标题或是暗示着末日（“超级智能机器会杀死我们所有人吗？”）或是相反（“人工智能不会灭绝人类”）。这场争论即使最基础的部分也涉及到了哲学领域。但是， Bostrom 认为，如果人工智能可以被实现，那么这将是一个空前的事件——甚至可能让人类的历史断裂。为此，一点点长远的考虑可能是我们种族理应肩负的道德责任。
Bostrom在牛津大学的全部责任是领导一个名为“人类未来研究所”的机构，它成立于 10 年前，由一位未来学家、科技界百万富翁 James Martin 提供资助。 Bostrom 将这个机构运作成一种哲学上的雷达站：一座向无数可能的未来发射探测信号的碉堡。不久之前，一位机构成员研究了“暗火情景（dark fire scenario）”的可能性，这是一种他假设中可能在某种高能量情况下发生的宇宙事件：每天都有物质在变异成暗物质，以一种失控的、可能将会抹除大部分已知宇宙的方式（他总结说这有很大的可能不会发生）。人类未来研究所里的讨论范围很广，从传统的哲学命题，例如妥协的本质，到宇宙帝国的最佳制度——一个由大量探针支持的、单独的银河间的机器智能，比起一个拥有数以百万计电子大脑的宇宙帝国，是否意味着更有道德的未来？
今年更早些的时候，我拜访了这间牛津大学研究所，它坐落在一条有千年历史的蜿蜒的小路边上。我花了一些时间才等到Bostrom 从他的办公室出来。他的讲座非常多，几乎每个月都要出差去海外，从谷歌总部到华盛顿的总统委员会，在各种地方传播他的科技预兆。即使在牛津大学的时候，他也维持着奇特的日程，在办公室一直待到早上两点才离开、第二天下午回到办公室。
我在他抵达之前就到了，等在两间会议室之间的走廊上。一块铭牌标示了其中一间是 Arkhipov 会议室，为了纪念一位苏联海军军官 Vasili Arkhipov 而命名。古巴导弹危机期间，当美国向加勒比海的苏联潜艇附近发射深水炸弹时， Arkhipov 正在其中一条潜艇上服役。在无法与莫斯科取得通信的情况下，他的艇长以为军事冲突已经发生了，下令用核弹反击。但 Arkhipov 劝阻了他，最终避免了核战争全面爆发。走廊对面是 Petrov 会议室，以另一位避免了全球核灾难的苏联军官的名字命名。 Bostrom 后来告诉我，“比起我们印在邮票上纪念的那些政治家，他们可能挽救了更多的生命。”
一群有科技头脑的人们，在这里默默无闻地工作着，带着与外界不一致的观点，他们也许会将世界从自动毁灭中拯救出来。这种感觉弥漫在这个人类未来研究所中，如同电荷一样。在等待 Bostrom 的时候，我从 Arkhipov 会议室的一排窗户中向屋子里窥探。它看上去被用来当作会议室和储存室。在一个书架上摆着一些塞着灯泡、灯罩、电线、备用马克杯的盒子。一个面容憔悴的博士穿着厚厚的开襟针织衫，在写满了符号的白板前走来走去，偶尔针对上面的内容爆发一阵抨击。每次爆发完，他又会低垂下脑袋，把手背在身后，继续踱起步子。有一次，他擦掉了板上的全部内容，我趁着这个机会过去问他在做什么。“这是一个涉及AI‘计划（planning）’方面的问题，”他说。他举止间流露出焦躁的情绪，于是我把他一个人留在了那儿。
Bostrom在下午 2 点的时候到了。他有大男孩一样的面容和削瘦而有活力、如同瑜伽老师一样的体格——当然，他绝不可能被错认成瑜伽老师。他的急切显示在方方面面，比如办公室外的小路上他急促的步伐声（他不开车），他对有声书籍的大量消耗（他用两到三倍速度来播放，让效率最大化），还有他对疾病的苛刻防御（他避免与人握手，并且用桌布擦拭银器）。 Bostrom 会对办公室里一盆植物的位置或者是一种字体非常顽固坚定。但当他的观点被人挑战的时候，他会专心地听取反对意见；思考几乎流淌在他的血液中。之后，他会冷静并且快速地给出回应，逻辑环环相扣。
他询问我是否想去市场。“你可以看到我是怎么做出我的‘秘药’的，”他说。在过去的几年间，他一直用喝的方式完成午餐（另一种提高效率的方法）：那是一种包含水果、蔬菜、蛋白质和脂肪的混合液体。他用手肘按了一下打开前门的按钮，然后我们就出发了。
Bostrom是家中唯一的孩子，在瑞典南岸的赫尔辛堡长大（当时他叫做Niklas Boström）。像许多异常聪明的孩子一样，他憎恨学校。到了少年时候，他养成了漫不经心而又浪漫的性格。在1989年，他漫步进了图书馆，遇见了一套十九世纪德国哲学丛书， Nietzsche 和 Schopenhauer 的论著也在其中。他在附近的树林里阅读这些哲学书——他经常造访这里，思考或是写诗，从学习和成就中体会到精神的愉悦。“很难用语言表达出来那是一种什么样的感觉，” Bostrom 告诉我；取而代之的是，他寄给了我一张他之后画的油画的照片。那是一片用半具象手法描绘的景色，奇怪的形状充斥在浓密的矮丛林间；远方，一头鹰在明亮的日轮下展翅翱翔。他为它取名“第一天”。
判断出自己已经浪费了早年的人生，他便开始投入到自我学习中。他追随着丛书中的引用文献，一一阅读，对艺术、文学和科学都有了了解。他说，激励他的不只是好奇心，也有渴望获得如何生活的应用知识。让他的父母惊讶的是，他高中最后一年坚持在家学习，参加特设的毕业考试，最后只用了十周就完成了学业。他与之前的老朋友们疏远了，“一度我变得相当狂热并感到与世隔绝”。
当 Bostrom 在斯德哥尔摩攻读硕士的时候，他研究的是分析哲学家 W. V. Quine 的论著， Quine 探索了语言和现实间的困难的联系。他的导师逼迫他在论文中时时都要精准，在他论文的页边随处可见“不明确”的批语。“这基本上就是他唯一的反馈，” Bostrom 告诉我，“我觉得效果仍然很有益。”他之前的学术兴趣，从心理学到数学，范围很广；现在他从事理论物理学。他为科技而着迷。互联网刚出现的时候，他就开始感到原先让他充满灵感的那些英雄式的哲学可能已经过时了。在1995年， Bostrom 写了一首诗，《安魂曲》，他告诉我那是“一封对过去生活的告别信”。那是用瑞典语写的，所以他给了我一段大意：“我描述了一个勇猛的将军，他睡过了头，发现他的部队已经离开了营地。他翻身上马去追赶部队，将坐骑的速度催到了极限。然后他听到了一架现代飞机从他头顶的天空掠过，隆隆声不绝于耳，于是他意识到他已经被淘汰了，旧时代所崇尚的勇气和高贵精神在机器面前不堪一击。”
虽然 Bostrom 并不知道，但世界上越来越多的人与他有一样的直觉：科技可能会带来颠覆性的变化。他们聚集在由加州一个名为“ Extropy 研究所”的机构组织的线上讨论组中。“extropy”这个词是在1967年被创造出来的，大体上用来描述生命有能力逆转熵在空间和时间上的传播。这是超人类主义的一个自由主义流派，追求“主导人类进化”，期望消灭疾病、痛苦甚至死亡；方法可能是通过基因改造，或是尚未发明出来的纳米科技，又或者可能是彻底分解躯体、将思维上传到超级电脑中（一位成员写道，“永生是数学层面的，而不是神秘学层面的”）。这个流派的支持者们鼓吹超级人工智能的发展将会实现这些目标，并且他们预见到了人类将会主宰整个宇宙，将无生命的物质转化为文明的引擎。这些讨论都非常疯狂、充满想象力、并且引人深思。 Anders Sandberg 曾经是这个群体的一员，现在在 Bostrom 的研究所工作，他告诉我，“想象一下如果你可以听到意大利未来学家或是早期超现实主义者们的辩论吧”。
在1996年， Bostrom 一边在伦敦经济学院攻读更高的学位，一边关注着 Extropy 讨论组里的动向，并成为了其中活跃的参与者。一年以后，他联合创立了自己的组织，“世界超人类主义者联合会（the World TranshumanistAssociation）”，比Extropy 少了一些自由主义、多了一些学术精神。他创作了超人类主义价值观的通俗声明，并接受了 BBC 的采访。他的学术研究与社会活动之间的界限变得模糊不清：他的博士论文中心是一个末日的研究，使用了概率理论来推断人类文明的生命长度。这篇文章让他的导师们感到很为难，他们很尊重 Bostrom ，但难以认同 Bostrom 的结论。大多数时候，他们让他一个人做自己的研究。
Bostrom在传统哲学上几乎可以说毫无兴趣——尤其是因为他期待着超级智能的大脑，无论是生物层面的增强还是电子化，都会让传统哲学被淘汰。“假设你不得不去建造一条新的地铁线，而所有人类都参与到这家伟大的跨时代的企业中，每个人都有自己微不足道的角色，”他告诉我，“于是你手中有一把小铲子。但如果你知道明天就会有一辆巨型推土机要来到现场，那你耗费时间用你的小铲子挖一个大洞还有意义吗？也许你可以拿这些时间来做些别的事。也许你可以为那个即将到来的大型铲子竖起一块标牌，让它能从正确的地方开始挖”。他渐渐相信，哲学家在现代社会的真正职责是获取到足以成为一个博学者的知识，然后用这些知识来帮助指引人类前往生存的下一个阶段——他称为“科技预测的哲学”。他试图成为这样一个预言者。
“他超级坚定，”Bostrom 在伦敦读博士时的朋友，英国哲学家 Daniel Hill 这样告诉我，“他对于科学的兴趣大概是他想要永生的愿望的自然流露。”
Bostrom写了超过100篇文章，而他对永生的渴望充盈其间。在2008年，他起草了一篇文章，从未来乌托邦的角度呼吁人们采取行动。“死亡并不是一位杀手、而是由众多的杀手组成”，他警告道，“瞄准那些早早带来死亡的原因——感染，暴力，营养失调，心脏病，癌症。将你火力最强的枪支对准衰老，然后开火。为了一步一步打败疾病和老迈，你必须掌握你身体中的生物化学过程。你会及时地找到方法，将你的思维迁移到更耐久的媒介中去”。他倾向于将思维视作单纯的代码，而身体是不够高效的硬件——也许注定要被替代。
Bostrom的婚姻也在很大程度上受益于科技的媒介。他的妻子，Susan ，拥有医疗社会学的博士学位，言语轻快，为人踏实（“她用终结者和机器人军队揶揄过我，”他告诉我）。他们在十三年前相遇，几乎有六个月的时间他们分居在大西洋的两端，甚至在他们儿子出生以后。这样的安排不是被迫的：她喜欢蒙特利尔，而他的工作让他必须待在牛津。他们每天Skype视频很多次，另外他也安排尽量多的出差机会去加拿大，让他们可以在现实中见到对方。
在牛津，当Bostrom 为他的混合液体午餐购买材料时，他向我指了指一个抽烟的男人。“享受尼古丁还有更守旧的方式——嚼口香糖，”他告诉我，“我现在还会嚼尼古丁口香糖。我读了一些论文，它们说这可能会对大脑有好处”——也就是说，可能会加强认知能力。他喝咖啡，但通常不碰酒。他一度尝试过 Modafinil ，一种据说可以让人变得更聪明的药，但最后还是放弃了。
回到研究所，他往大型搅拌机里放入卷心菜、胡萝卜、花椰菜、西兰花、蓝莓、姜黄、香草、燕麦牛奶、还有乳清粉。“如果说有什么事是 Nick 关心的话，那一定是大脑，” Sandberg 告诉我，“这是许多时候他看待食物的标准，因为他担心毒素X或者毒素Y会损害到他的大脑。”他觉得Bostrom 可能也是在享受这种仪式般的行为，“瑞典人是出了名的矫情，”他开玩笑，“说不定 Nick 赖以为生的是这种矫情呢（而不是混合液体餐）”。
一位年轻的雇员目睹了Bostrom 准备启动搅拌机的时候。“我能说出来 Nick 什么时候会走进办公室，”他说，“那一刻我的头发就开始紧张地竖了起来”。
“这个有3马力的功率呢，” Bostrom 说道。他打开搅拌机，顿时发出了像圆锯运转时一样的噪音，然后他把搅拌完的绿紫色液体倒入玻璃啤酒杯中。我们向他的办公室走去。办公室里一张木桌靠着窗，桌上只放了一台 iMac 电脑；墙边是一把椅子和一个放着成堆文件的柜子。唯一让人感觉有些多的是灯：一共有14盏灯。
待在 Bostrom 的研究所中，很难不陷入对未来的畅想中。几百万年后的人类会是什么样的？人类在地球上所能存活的最长时间受限于太阳的生命长度，而太阳在 50 亿年以后会变成一个巨型的红色球体，体积膨胀到现在的 200 倍。到那时候，地球的轨道可能会发生改变，但可能性更大的是，地球会被摧毁。无论最后发生了哪种情况，远在发生之前，地球上几乎所有的生命都会死去，海洋会沸腾，地壳的温度会达到 1000 度。在 5 亿年以后，这个地球就会变得无法居住。
Bostrom的研究室对于未来的预想可以被分成 3 种场面。第一种情境中，人类经历了进化上的飞跃——或是在科技的帮助下、或是与科技相融合成为一种“软件”——到达了一种 Bostrom 称为“后人类”的巅峰情况。死亡被征服了，心理体验拓展到超越认知的范围，我们的后裔们散布在宇宙的各个角落。在另一种情境中，人类灭绝了，或是经历了一场巨大的灾难、再也没能恢复元气。介于这两种极端的情境之间， Bostrom 还预见了一种和现在差不多的情境——人们和现在一样地生活着，永远止步于“人类时代”。这和科幻爱好者们的幻想差不多：在《星际迷航》中， Kirk 船长出生在 2233 年，但当他被卷入传送装置跨越时空回到了绝望时代的曼哈顿时，他轻易地就融入其中。
Bostrom不喜欢科幻小说。“我从来没有对这些只是试图展现让人惊叹的创意的故事产生过兴趣——类似的电影也只是在靠特技和爆炸来博人眼球，”他告诉我，“问题不在于我们是否能想象到激进的、极端的东西，而在于我们是否能发现一些充足的理由来更新我们可靠的推理。”
他相信未来与过去一样，可以用精细的方式来研究，即使最终结论的确定性远远不如对于过去的研究那样高。“一个旅行者在旅程开始后一个小时的时间到达了什么地方可能是非常不确定的，但在五个小时后她一定会出现在目的地，这个可预测性很高，”他曾经这样提出，“所以人类更加久远的未来可能相对来说是容易被预测到的。”他给出了一个例子：如果历史被重置了，工业革命可能会发生在另一个时间点，或是另一个地点，或者根本不会发生、取而代之的是在数百年的时间里各种创造发明渐渐增多。预测这条历史线上短期内的科技进展也许是不可能的；但经过了，比如说，成百上千年，很容易就能想象到所有我们现在看到的发明都会同样地出现在这条历史线上。
Bostrom把这个称为“科技成就假说（the TechnologicalCompletion Conjecture）”：“如果在科学发展和科技发展方面的努力没有显著消退，那么所有可以从可能的科技中发展出来的重要的基础发明，都终将被创造出来。”根据这个假说，他认为未来越远，生命看上去就越不可能像今天一样。他看好极端的可能性：人类变得极为卓越，或是彻底灭亡。
在十九世纪九十年代，随着这些想法慢慢在他脑海中成型， Bostrom 开始越来越多地关注灭绝的问题。他不相信末日注定正在逼近。他对于风险有兴趣，就像一个保险公司的人员一样。无论灭绝是多么地缺乏必然性， Bostrom 论述道，它的结果是近乎无限的糟糕；所以，即使是让灭绝到来的概率降低微不足道的一点点，也是近乎无限的珍贵。他时不时地用算术草稿来展示这一点。想象他所幻想的乌托邦场景之一——数以万亿计的电子思维在宇宙中欣欣向荣——他推理说，如果这样的未来实现的可能性只有1%，要是可以让灭绝风险降低哪怕1%的十亿分之一的十亿分之一，也会有千亿倍于现今十亿人生命的价值。更简单地说，他相信他的工作可能会降低任何其他事情的道德重要性。
Bostrom在2002年的《进化和科技杂志》（Journal of Evolution andTechnology）介绍了“存在主义风险（existential risk）”这一哲学概念。近几年，几乎每年都有新的组织成立，目标旨在降低这种风险——其中有剑桥大学的存在主义风险研究中心，以及MIT的未来生活研究所。所有这些组织都面临着同样的关键问题：人类这一种族，自二十万年前出现以来，一直表现出了不起的顽强，所以要找出威胁它继续存在的因素就变得不太容易。气候变化可能造成剧烈的环境和经济伤害——但它看上去并不意味着无法生存。所谓的超级火山因此也远远无法威胁到人类的永存。 NASA 每年花费 4 千万美元观测是否有冲向地球的致命的彗星或是陨石，然而并没有发现过这样的情况。
Bostrom 并不觉得没有找到明显的生存威胁是一件让人欣慰的事。因为没有一个种族会发生两次灭绝，他说，所以我们不能基于发生过的历史来推算灭绝发生的可能性。最令人担忧的危险来自于地球上还从未发生过的那些事情。“十七世纪的科技很难造成人类的灭绝，” Bostrom 告诉我。然而三个世纪之后，技术带来末日的前景却有可能发生。Bostrom 记下了曼哈顿计划中第一次科学分析存在主义风险的时间：在 1942 年， Robert Oppenheimer 开始担心威力足够的原子弹爆炸的时候可能会导致整个大气层被点燃。随后的研究总结道，在当时武器发展水平的局限下，这种情景是“不合理的”。但即使冷战时期的核噩梦没有成真，当时所具有的武器也能够造成过去不可能达到的大规模破坏。随着新的创造越来越复杂，评估它们未来可能的危险也日益困难。最后的答案一定是模糊不清的，因为这只能从这些科技的理论中推测效果，或是更间接地来自于抽象推理。
作为一个哲学家， Bostrom 用全面、甚至是宇宙的观点来看待这些问题。一天下午，他告诉我，“任何给定的行星会产生智慧生命的可能性——这里面可能包含与采取行动相关的信息。”在过去的几年里，美国宇航局的探测器发现，越来越多的证据表明在整个宇宙中生命的基石是非常丰富的。那么多水被发现了——在火星上，还有木星和土星的卫星上——以至于一位科学家用“一个相当潮湿的地方”来描述我们的太阳系。彗星上存在氨基酸，而遥远的星云上有复杂的有机分子。在这个星球上，生命能在常人难以想象的恶劣环境里茁壮成长: 没有氧气，没有光线，温度在 400 度以上或是 0 度以下。在2007 年，欧洲航天局将水熊虫带上飞船、暴露在真实的太空里，它们不仅在航行中生存了下来，后来还有一些进入过太空的水熊虫甚至顺利地完成了交配产卵。
在我们的星系里，有百亿颗像地球一样的星球，而在整个宇宙中，像我们这样的星系又有上千亿个，所以我们可以很合理地推测，地外生命终有一天会被发现。对于 Bostrom 来说，这是增强了灾难的预言。“如果发现火星彻头彻尾是个贫瘠的星球，那肯定是个好消息。”他不久前说，“死寂的岩石和沙粒让我感到欢欣鼓舞。”他的推理始于宇宙的年龄，很多类地星球都远比我们的地球古老。最近发现的 Kepler 452b ，年龄就比地球大 15 亿年。 Bostrom 问道：如果那里的生命的发展速度与我们尺度相似，它们会是什么样的？比我们早开始数十亿年的文明，将会取得怎样的科技成就？
就我们所知的生命来看，它们往往倾向于向四处扩张。Bostrom 估计，如果外星文明能够设计某种太空探测器，哪怕只能够以光速的百分之一速度进行太空旅行，那么它将能在 2 千万年内完成整个银河系的殖民——比起 Kepler 452b 和地球的年龄差距，这是多么短的一段时间。也许有人会争辩说，没什么技术能够驱使飞船以这样的速度前进，又或者数百万的外星文明拥有足以进行星际旅行的知识，但是缺乏兴趣。即便如此，由于太空的空间如此庞大，历史如此久远，只有很少一部分文明需要像地球的生命一样行动——为了能被人看见而不停地扩张。然而，正如 Bostrom 写的那样：“你从几百亿可能萌芽的生命开始数，最后算出来总共 0 个文明在技术上发展到让我们这些地球上的观察者可以看见他们。所以究竟是什么阻止了他们？”
1950 年，Enrico Fermi 在 LosAlamos 实验室做氢弹的时候，在某个午间休息时描绘了这个矛盾。在那之后，有很多新解决方案被提出，一些非常奇特，例如说地球不过是行星间外星人的动物园。Bostrom 怀疑，答案可能很简单：宇宙中没有生命，因为它本就没有。这暗示了在地球上有智慧的生命是天文学上的稀有事件。但如果这样的话，那么什么时候生命出现？是在原始的汤（Primordial Soup）中第一次化学反应么？还是单细胞组织开始使用 DNA 复制？还是动物学会了使用工具？Bostrom 倾向于把这些障碍理解为大过滤器（Great Filters）：这是生命演变成智能物种必须经过的阶段，否则就会走向灭绝，或者停止进化。
所以对于 Bostrom来说，如果在火星土壤中发现单细胞的生物，就会成为某种令人不安的证据。如果在两个星球上都能独立进化出初始的有机体，那么这种有机体就有可能在宇宙中的许多星球上出现。Bostrom 说这暗示了一种可能性，大过滤会在进化的更后的阶段出现。如果发现了化石脊柱动物，那情况会变得更糟：这暗示着宇宙中看上去一片死寂并不是因为复杂生命太过稀少，而是因为它们往往在发展到能够进行宇宙殖民之前就已经灭亡。
在 Bostrom 的观点中，最让人苦恼的一种可能性是，大过滤器可能就在我们眼前：很多文明达到了我们现在的水平，但是在技术真正成熟之前就已经灭绝。为什么会这样？“自然灾难，例如说小行星撞击和火山喷发，也许并不是大过滤的环节，因为即便这能够摧毁大量的文明，但总还有一部分能够从中幸存。”他强调说：“也许能导致大过滤的最大生存危险，来自于我们的科技发现。这样想并不牵强，那就是有一些可能的技术是实际上是所有先进文明都会发现的，但这些发现会导致普遍的生存灾难。”
II The Machines
人工智能随着 1955 年的科学乐观主义而兴起。当时有一个小小的研究团队，由三个数学家和一个 IBM 的程序员组成，在达特茅斯为一个项目绘制蓝图。“那是一个尝试，找寻一种方法让机器能够使用语言、形成抽象和概念、解决现在只有人类才能解决的问题，而且还会自我完善，”他们叙述道，“我们认为只要精挑细选一些科学家一起工作一个夏天，至少在一个或是更多的问题上就能有显著的进展。”
他们的乐观精神是可以理解的。进入 20 世纪后，科学的发展速度让人吃惊：放射性的发现让人们可以了解原子内部的构造，接着在受控核反应堆上有了很大进步，再然后就是广岛和长崎投下的原子弹，之后又发现了氢弹。这些科学发现在小说中有淋漓尽致的体现，在 Isaac Asimov （阿西莫夫）的小说中，他描绘了和机器人共处的先进文明形态（这些机器人必须遵循阿西莫夫三定律，以避免伤害人类）。在这一年，科学家们齐聚达特茅斯，Asimov 发表了《最后一个问题》（The Last Question），描绘了超级人工智能不断自我调整和改进，获得知识并且帮助人类文明向宇宙扩展。而当宇宙最后一颗星球毁灭的时候，所有人类把自己加载到人工智能里，和所有的设备一起获得某种神性，创造新的秩序。
科学家们认为，机器智能就和那些原子一样，是有着巨大可能性的前沿事业。如果说大脑仅仅是生物机器，那么没有任何理论证据能说明，它不能被复制或超越，就像喷气式飞机要远比猎鹰快一样。即便是在达特茅斯会议之前，机器在某些专门领域里已经超过了人类，例如密码破解。在 1951 年，Alan Turing 强调，在某些地方计算机智能可能会超过它们的发明者，这样的话我们必须对机器人某天会获得控制权有所预期。但这样是好事还是坏事？Turing 并没有说。
六年后，达特茅斯的参会者 Herbert Simon 宣称说，机器人在可预见的未来会达到人类智能水平。他说跨过这个门槛是对于人们心理的巨大冲击，但总体来说还是非常乐观的。“我们必须小心处理这些需求，让机器人的目标和我们一致。”他随后又补充道：“我并不认为这非常困难。”而对其他的计算机领域开拓者，未来是模糊的。控制论之父 Norbert Wiener 说，我们很难去管理变得强大的计算机，甚至很难精准预测出它们的行为。“彻底的顺服和彻底的智能无法兼容。”他说道。不妨想象《魔法师的学徒》的场景，他预测说：“未来我们会为自己智能水平的局限而挣扎，而不是躺在吊床上，等待机器人奴隶的服务。”
在这样的背景下，“智能爆炸”理念由I.J.Good第一次正式提出。他是一名统计学家，曾和 Turing 一起共事。“一个极度智能的机器能够设计出比它更加智能的机器”，他写道，“那时候将会毫无疑问地出现‘智能爆炸’，而我们人类的智能会被远远落下。所以说，第一个极度智能的机器，是人类有史以来需要创作的最后一个发明，假如机器足够顺服、顺服到教导我们如何让它处于控制之下。有趣的是，这种论调在科幻小说之外很少被提及。有时候科幻小说的确值得我们严肃考虑。
这些在达特茅斯的科学家认识到，成功依赖于几个基本问题的答案：什么是智能？什么是思维？到了 1965 年，他们尝试了很多问题解决模型：有些采用了标准逻辑结构，有些采用启发式的归因，还有的采用了受大脑启发的神经网络模型。提出这些模型的科学家指出，人工智能系统能够自己找到解决问题的答案。有一个算法还证明了，在《数学原理》（Principia Mathematica）这本书中，有一个定理机器人写的比作者还要简单优雅。但是，即便大家对这些实验抱有很大期望，创造人工智能的挑战还是很严峻的。有一些在实验室里不错的程序，在日常生活中几乎没有用。例如说简单捡起一个球，就需要非常大量的计算工作。
这些实验很快就陷入了人工智能的第一个寒冬（而未来还有很多个）。正如Bostrom 在笔记里所说：“在学术机构和赞助者中，‘人工智能’成了一个不受欢迎的词汇。”最终，研究人员开始质疑建立起完整思维的目标。为什么不把问题分为几个部分呢？他们开始将研究兴趣局限在特定的认知功能方面：视觉和说话。即便被单独分离出来，这些功能也是有价值的：一个能识别物体的计算机也许并不算有智能，但它能够给升降机提供指导。当研究变得碎片化以后，技术问题的泥沼，使得任何关于人工智能成功制造会有什么后果的质疑，都显得很遥远而甚至愚蠢了。
出人意料的是，当把起初的目标分解以后，人工智能领域给局外人创造了更多自由想象未来技术的空间。Bostrom 在 1990 年代写了第一篇关于人工超级智能的论文，预见到人工智能对于商业领域和政府而言都是既充满危险又无法拒绝。“如果有方法确保超级智能永远不会伤害人类，这样的智能会被创造出来，”他说，“而就算没有这样的保证，它们无论如何也会被创造出来。”当时他的听众主要是一些持有超人类主义观点（Transhumanists）的人。但这些行动还是在社会中发酵了，2005 年一个叫做人工智能奇点研究所（Singularity Institutefor Artificial Intelligence）的组织开始在硅谷以外的地方运营，它的主要创始人是一名Extropian 讨论组的前成员，他还发表了一系列作品来宣扬人工智能危险论。同年，未来学家和科学家 Ray Kurzweil写下了畅销书《奇点临近》（The Singularity Is Near），预言人类和机器会在可见的未来融合在一起。Bostrom也在牛津大学创立了自己的研究机构。
这两个群体基本没什么相似性。科学家们沉浸在技术细节里，全神贯注希望做出能运作的设备；超人类主义者们，在乌托邦未来的驱动下，一直在询问这些设备的最终影响会是什么。2007 年，人工智能研究最负盛名的组织——人工智能进展联合会（the Association for theAdvancement of Artificial Intelligence）——选举微软科学家 Eric Horvitz 作为自己的主席。到了这个时候，研究者们事实上对道德和社会舆论，都不怎么关注了。但是 Horvitz 也提出一个疑问：我们很难理解，如果人工智能成功了会意味着什么。他说道：“我和 Jack Good 关系还不错，他写了一些超级智能方面的文章。他很有创造性，有趣，但想法不怎么成熟。他谈到了圣经没有提及的事情，并且用另一种方式理解这个世界。我们有足够的前瞻性么？人工智能的成功，对于人类来说会是不好的结果么？虽然这听起来很疯狂，而且概率也很低，但找出答案显然是很有用的。”
Horvitz 在加利福尼亚州的Asilomar ConferenceGrounds 举办了一个会议。他专门选择了这个地方，因为在 1975 年，生物学家们聚集在这里，讨论进行现代基因研究的风险，这很有象征意义。他把学者们分为两组：一组讨论人工智能的短期后果，例如说对犯罪的影响；另一组考虑长期效应。大多数人都对智能爆炸的想法持有强烈的怀疑态度，因为它给很多没有解决的问题假设了答案。没有人真正理解什么是智能，更别说它怎么从机器中演化出来。它能够像 Jack Good 想象的那样，IQ 分数像坐火箭的股票价格一样飞涨？如果那样的话，它的最高限制又是什么呢？或者说，这种增长仅仅是软件设计的功能最优化，而没有从经验中获取知识的艰难过程？软件是否能在整个基础上自我重写，而不给自己造成损害？没人知道这些答案，在计算机的历史上，没有哪个程序能创造出代码，并持续不断地自我改善。
但对于智能爆炸的观点，也很难找到证据反驳。它在理论上是一致的，而且甚至以局限的方式尝试过。在一次大会讨论中，在 Toyota 和芝加哥大学工作的人工智能研究员 David McAllester强调说，我们必须严肃对待智能爆炸的观点：“说我们有 99% 的把握确信在未来的 50 年里会是安全的，让我觉得不舒服，那会让我觉得太过狂妄自大。”讨论组最后总结道，在我们能够对危险作出评估之前，科技还有许多工作要做，但它也暗示了成员们的担忧：他们由于对紧急情况的察觉——大部分由超人类主义者引起——而发起了这次聚会，但是当风险提高的时候，往往是很难发现警报的预兆。人工智能看起来就像遥远的事，研究者们最后认为应该把重点放关注近期的问题上。康奈尔大学教授、这次论坛的组织者之一 Bart Selman 说：“这个模式就是‘这很有趣，但这全都是学术理论——它并不会发生’。”
研究人员在Asilomar 大会上碰面时，Bostrom 正在写一本关于存在主义风险的大众读物。他在生物工程和纳米技术的章节里都进行了细致入微的描写，但并没有多大吸引力，而人们对人工智能章节的关注却越来越高。最终，他把人工智能这一章粘贴到了新的文档里，最后它成为了他的新书：《超级智能》（Superintelligence）。
这本书有一种“优雅”的悖论：一方面是逻辑清晰的分析和论述，另一方面又不时展示出弥赛亚一般的迫切。某些章节里有很多没有节制的猜测，所以你很难严肃地看待它们（“假设人工智能的 IQ 达到了 6455，会发生什么事？”）。但Bostrom 自己也知道他未来学说的局限性。当他从伦敦毕业，考虑如何加强自己的沟通能力时，他参加了脱口秀节目。他有一种面无表情地说笑话的幽默感，这隐藏在他的书里的一些段落中：“在这本书里的大部分观点，可能都是错误的，”他写道，又加了一条尾注，“可我并不知道是哪些。”
Bostrom更愿意作为一个制图者（Cartographer），而不是一个辩论家（Polemicist）。但是在他全面的图景中，我们能感觉到一种矛盾，也许他害怕直截了当地谈论这些事。“一般来说，这些话题都是一些奇怪的人在谈论。”他对我说：“通过主流媒体、科学小说、或者一个没法做严肃工作的退休教授，他们会写一些流行书，装腔作势地说话。我认为这个领域缺乏严肃的研究工作是因为，学院的人不想和这些古怪的形象扯上关系。未来学家就是这种类型。”
这本书以“未完成”的寓言开始，一群麻雀决定推选猫头鹰作为领袖，保护和带领他们。他们需要去找到一颗可以被偷走带回树上的猫头鹰蛋，然而，他们感觉到要找到这样一颗蛋是如此艰难，于是他们一再推迟学习驯服猫头鹰的方法，打算推迟到他们成功带回了一颗猫头鹰蛋以后。Bostrom 总结道，没有人知道这个故事的结尾会是怎样的。
这个寓言引出他书中的核心观点：人工智能，是否会使用自己强大的能力，摆脱人类的控制？让人体会这种担忧的一种方式是引用我们熟悉的例子。Bostrom 写道：“人工智能在很多方面已经超过了人类。”这一点涉及到的例子从围棋到拼字游戏。有一个 1981 年的程序叫做Eurisko ，它被设计成能教会自己如何玩海军游戏。在玩了几千盘对弈后，机器达成了某个道德上很奇怪的战略：出动成千上万不动的小船，其中大部分被用来当作炮灰。在一次国际锦标赛上，Eurisko 击败了它的人类对手，于是它的人类对手坚持要求改变规则。在下一年，Eurisko 又赢了，这次它命令自己受损的船只自行沉没。
这个程序当然还不是超级智能。但Bostrom 在书里特别提出一个问题：如果这是呢？假设它有强大的能力去考虑问题，并且接入了互联网。它可以阅读和获取知识，和人类进行无差别的在线沟通。它还可以做实验，无论是实际的实验，还是对互联网的基础架构进行小修正。即使给予它一个最为人畜无害的目标——赢得一场游戏——这样的一个系统，Bostrom 认为，也有可能会发展出“工具性目标”：获取资源，发明技术，一步步确保自己不会被击倒，在这个过程中，它对人类生命的关注就如同人类对蚂蚁一样。
对于人类来说，智能和知觉、感情、社会意识、精神和身体的交互不可分割。但人工智能却不需要这样的特性。Bostrom 相信，机器智能无论在战略上有多灵活，始终会严格遵守最终的目标设定。那么，如何去创造一个机器，让它能够尊重社会线索的细微差别？如何让它们坚守道德规范，即使代价是放弃自己的目标？没人能给出一致的解决方案。即使是让人类养成这样的行为都已经够艰难的了。
在科幻小说中，那些到处杀人的超级智能计算机，往往在最后时刻停下来。想想 WOPR ，那台《战争游戏》（WarGames）里的电脑，它在引发核战争前一刻停了下来；或者 HAL 9000，当它眼睁睁地看着自己被拆开时，只能够无助地歌唱。对于Bostrom 来说，这种张力很有迷惑性。无论是出于人工智能长远后果的考虑，还是未来主义者的期待，他往往将神灵般的能力归结到机器上。这就像在问：这里面真的有一个电子化的上帝吗？在他的想象中，机器是如此的智能、仅仅通过检查自己的代码就能参透自然和人类社会的规律，并且用更加智慧的手段控制一切。“是否有可能不去建造像神一样的机器？”他问我，“也许你可以设计一款像神谕的机器，只能回答 Yes 或 No。这会更安全么？现在还不清楚。也许里面会出现经由代理人传达一样的处理过程吧。”问出一个简单的问题——“是否有可能乘坐DeLorean变成的时光机回到 1955年？”可能也会触发这个装置检验假设的一连串动作。如果，它通过警察局的计算机扣押了一辆恰好在钟楼附近的DeLorean，会发生什么呢？“在童话故事里，你有可以为你实现愿望的精怪”，Bostrom 说道，“但大多数时候这里面的道德属性是，如果你对许愿的东西没有极度小心，那么看起来像是祝福的东西，往往会变成诅咒。”
Bostrom 担心，要解决这种控制问题——确保超级智能机器只做人类交代的事情——需要耗费比创造出 AI 更长的时间。智能爆炸并不是超级智能产生的唯一途径。Bostrom曾经描绘了一种长达十年的过程，研究人员费力地改善自己的系统，以达到老鼠的智能，然后达到黑猩猩的程度，再经过努力工作后，达到了白痴的水平。“白痴和天才的差别，对于机器而言根本不重要，”他说道，“白痴和天才的大脑，基本是一样的。所以在过去相对而言非常缓慢而逐渐增加的工程中，我们很难发现警报的预兆，直到我们距离超级智能只差一步的时候。”
在很大程度上，Bostrom 的担忧就是对于倒计时的简单疑问：人工智能的突破能被预测到么？“现在谈论这种事情太荒谬了，人工智能是一个长期的事业。”斯坦福大学名誉退休教授 Edward Feigenbaum说。而 Oren Etzioni ，曾经使用“科学怪人情结”（Frankenstein Complex）来反驳“人工智能的反乌托邦愿景”（Dystopian vision of AI），他认同Bostrom 的主要观点：在人工智能这个领域，我们迟早要面对深远的哲学拷问。几十年前，他在一个简要的论文中探索了这个问题，但得出结论说这个问题过于遥远，很难有实质性的结果。“曾经有一次，Nick Bostrom 做了一个讲座，而我给出了一些反对意见。” Etizioni说：“我们之间很多分歧都在时间尺度上。没有人会跑出来说，你能在未来的 5 到 10 年时间里看到人工智能。而我相信大部分的计算机科学家会说‘在百万年的时间里，我们不明白它为什么不应该发生’。所以问题是，我们进步的幅度究竟有多大？还有很多人会问‘有没有可能，我们错了？’我不打算直接否定他们。我会说‘我是一个科学家，所以给我看证据’。”
科学的历史是解答“我们距离超级智能有多近”这一问题的曲折引导。我们从不缺少最终没有达成的许诺，但是却有很多目光短浅到让人吃惊的例子，也就是被 C. Clarke 命名为克拉克第一定律（Clarke’s First Law）的模式：当一个杰出并且年长的科学家说一件事是可能时，他往往是对的；当他说一件事不可能时，他多半是错的。电子被发现以后，物理学家们在1987 年的剑桥年度晚宴上举杯庆贺，“为电子而干杯：也许它永远也不会被任何人使用到”。会上 Kelvin 爵士说出了著名的论断，宣称比空气更重的飞机是不可能飞起来的；仅仅 8 年后， Wright 兄弟就从加利福尼亚州的 Kitty Hawk 起飞了。
《人工智能：一种现代的方法》（Artificial Intelligence:A Modern Approach）的合著者 Stuart Russell 是Bostrom最坚定的支持者。他说自己曾经学习了在核弹到来之前的物理学家们的观点。进入二十世纪后，Ernest Rutherford 发现重元素的原子衰变会产生辐射，确认了在原子内部存储着大量的能量。Rutherford 坚信这些能量没法被使用，并在 1933 年宣称说：“任何试图从原子衰变中获得能量的人，都是在痴心妄想。”一天之后，之前师从爱因斯坦的 Leo Szilard 在报纸上读到了 Rutherford 的观点。他很恼怒，于是出门散步，并路途中想到了核链式反应。他拜访了 Rutherford 讨论这件事，但是被赶走了。爱因斯坦也抱有怀疑态度，认为从原子中获得能量，就如同“黑暗中在没有几只鸟的野外捕鸟”。十年后，Szilard 的想法被用于制造核弹。
Russell 现在也把这段历史讲述给人工智能研究者听，作为一种警醒之言：“也许会需要更多的突破，才能实现人工智能。但正如 Szilard 描绘的那样，它也可能一夜成真。”他告诉我说：“人们已经花了几十亿美元以实现突破，像辩论时Bostrom和其他人所说的，‘如果我们实现了超级智能，那么这就是一些可能会出现的问题’。就我所知，没人能证明过为何这些问题不会真实发生。”
Ⅲ 任务控制
人类未来研究所里的办公室都有一种混合的气质：一部分像物理实验室，一部分像大学宿舍。既有满是数学符号和技术图像的白板，也有“美丽新世界”和 HAL 9000 的海报。办公室里也有 Nick Bostrom的艺术作品。一天下午，他领我到他的一幅作品（At Sea）前，这是一幅电子拼贴画，他先打印了出来然后在上面绘画。“它有点破损，但是数字化的一个好处就是你可以重新生成它。”他说道。在画的中央是一个很浅的人影，几乎像一个幽灵，它在墨一般漆黑的大海里紧紧抱着一个木桶。“这是存在主义风格，你可以尽可能长时间地坚持在那里。当你累了，你就沉入海底，接着变成鱼的食物—或者也有可能被海流带到陆地上。我们无法知道结果。”
虽然他花了很多时间来参加会议和募集资金，但是Bostrom 也会处理机构的很多细节。“我们刚开始时需要一个logo ，”他告诉我，“我们就去了这个能够买到自由艺术家作品的网站。如果你坐下来并想试着制作一个很难看的logo，你不可能来到这里。后来我们雇了一个设计师，他制作了一个很模糊的人的形象。我们将它展示给这里的某个人看，被评价说像是厕所的标志。她一说完，我就想，天哪，我们几乎差点将厕所的标志作为我们的logo。所以我又重新设计了一下，想出了黑色钻石。自从2001年以来就有这个黑色的巨石（参见《2001太空漫游》），这颗巨石被放在logo的角落，它意味着不稳定性。此外，这个黑色的菱形也难看不到哪里去。”
这个机构和有效利他主义中心（the Centre for EffectiveAltruism）共享办公空间，这两个机构通过一个提倡“以纯理性引导道德行为”的社交活动联系在一起。 Toby Ord ，一位同时在这两个机构工作的哲学家，告诉我，Bostrom 经常在一天结束时突然出现在他的办公室，提出一个问题，然后整晚思考它。Bostrom 众多问题中的第一个就是：如果宇宙最终被证明只能包含有限数量的生命，那么任何一个人的行动将会怎样影响宇宙中快乐和痛苦的平衡？经过漫长的讨论后，他们未能解决这个矛盾。“我的主要想法是，我们可以留到以后再搞清楚它。” Ord 告诉我。
当我问Bostrom 能不能让我观摩一场机构中的讨论时，他似乎有些不愿意；很难判断他的顾虑是因为我会打扰到他们的讨论还是他们不经过滤的讨论可能触发犯罪（“在某些时候，一个人可能会陷入信息危机中，”他这样暗示我）。
最终，我得以观摩了一场在Petrov会议室进行的讨论，有很多员工参与。讨论的主要问题是一个会影响到“洲”级别的灾荒能否引起一系列最终导致人类毁灭的地缘政治事件——以及，这是否意味着一个纯粹的灾难性风险会因此得到和存在主义风险一样的严肃对待。Bostrom 穿着一件棕色的连帽衫，带着明显的愉悦在白板上写下了这个问题。Anders Sandberg 告诉我，他曾经和Bostrom 花费几天的时间来解答这样的问题，将一个复杂的论证分析至它的本质。“他不得不重新定义它，” Anders Sandberg 说道，“我们曾经有很多在白板上的议题，最终都被简化成 1 个方框和3 个箭头”。
对于任何从事推广存在主义风险这一事业的人来说，2015年的年初是一个良好的开头。其他致力于这些问题的机构已经开始找到他们的声音，也为Bostrom 书中的观点带来了“它们值得被人尊重”这样的光环。这些现在发表评论的人不再只是前 Extropy 成员。他们很有资质，像Lord Martin Rees，他是一个天体物理学家也是剑桥生存风险研究中心（CSER）的共同创立者。在一月份，他在《伦敦旗帜晚报》（EveningStandard）上提到了AI ：“我们不知道，在可能发生的事情和科幻之小说之间的界限，到底在哪里。”
在 MIT 的未来生活研究中心，地位与剑桥大学存在主义风险研究中心的Rees 相仿的，是物理学家 MaxTegmark ，他曾在波多黎各举办了一个秘密会议来试着理清这一领域研究的长期轨迹。Bostrom 加入了会议中，与会的还有AI 行业从业者、法律学者、以及“ AI 安全委员会” （由于缺乏更好的词语来描述）的成员们。“通常来说这些人们不会待在同一个房间内一起工作，” Tegmark 告诉我，“有人建议我在他们的饮料中放入安定剂，以防止他们陷入互殴。但是在 Nick 的部分开始之前，人们已经做好相互倾听的准备了。”那些在短短七年前对于研究人员来说还显得很科幻的问题，开始变得非常值得重新考虑。鉴于Asilomar 会议最终总结认为，对AI 领域整体尽了最大努力的可信度尚且抱有怀疑，波多黎各会议最终产生了一封由很多杰出研究员联名签署的公开信，呼吁开展更多研究以确保AI 的“稳健和有益”。
在这两次会议之间，人工智能领域由于深度学习方法的出现经历了一次革命。深度学习是一种能够从大量的数据中识别出复杂模型的神经网络。几十年来，研究人员受到硬件的局限，奋力试图让这个技术能够运行起来。但是从2010年初开始，日益触手可及的大数据和廉价却强大的视频游戏处理器为这个技术的性能带来了巨大的提升。不需要任何意义深远的理论突破，深度学习突然有了令人惊异的进步。“我和同时代的许多人探讨过，” Stuart Russell 告诉我，“每个人都看到了许多他们之前没有预期到的技术进步。”他引用了YouTube 上一个4足的机器人的视频：它的设计者之一想要踢翻它，但是它用很怪异的动作很快恢复了平衡。“这在过去被认为是十分困难的问题，相应领域的进展速度也很缓慢、幅度微小，但它突然间被解决了。”
在一系列领域中——语音处理、脸部识别和语言翻译——这个方法很有优势。致力于计算机视觉的研究人员花了几年时间让系统识别物体。在很短的时间内，深度学习网络打破了他们的记录。在一个很常见的，使用ImageNet数据库的测试中，人类识别图片大约有5%的错误率； Google 的网络有4.8%的错误率。AI系统甚至能够区分开彭布罗克威尔士柯基犬和卡帝根威尔士柯基犬。
去年10月， Tomaso Poggio，一位MIT 的研究人员，做了一场令人生疑的访谈。“描述图片内容的能力将会是机器任务里在智能上最具挑战性的部分之一，”他说，“我们将会需要另一轮基础研究来解决这类问题。”这一轮，他预计，可能需要20年。一个月以后，谷歌宣布他们的深度学习网络能够分析图片并能够为它所见的图片做出描述，例如“在火炉上有两个披萨饼”，或者“人们在一个露天市场购物”。当我问Poggio 对以上成果的看法时，他驳斥说这些只是物体和语言之间的自动联系；系统并没有理解它看到的东西。“也许人类的智慧也是如此，这样的话，我就错了；但如果不是这样，我就对了，”他告诉我，“你要如何来判断？”
AI 研究人员中的少数人开始好奇：如果越来越多的强大的硬件能够支持深度学习革命，这会让其他长期搁置的AI原理变得可行吗？“假定大脑只是进化发展出的几百万个个程式：有一个用于嗅觉，有一个用于识别面部，有一个用于识别动物，” Tom Mitchell说道，他是卡内基梅隆机器学习的主席，“如果这就是我们智能的潜在原理，那么我认为我们离实现人工智能还很远——因为我们还没有这么多的程式。另一方面，假设智慧的本质只是23 种通用机制，当你把它们放在一起时就会有协同效应，并且它运作良好。我们现在有一些能够在计算机视觉方面表现很好的系统——并且我们不需要建立几百万个程式。所以一部分不确定性就是：如果我们不需要一百万个程式，那么我们会找到那正确的23 种基本的通用方法吗？”他停顿了一下，“我不再像25年前一样感到这其中还有很多空白。我知道我们没有一个好的结构体系来组合这些想法，但是我并不赞同这是因为我们缺少必要的组件。”
Bostrom 也注意到学界这种态度的转变。他最近组织了一次对AI 研究人员的问卷调查来衡量他们对人工智能进步的感觉，同时也在波多黎各组织了一次调查（调查内容是多久后能够无法明显地区分出人工智能和人类的推理）。与Bostrom 一样，工程师们常常会很小心地用概率而不是用事实的形式来表达他们的看法。Richard Sutton是一个加拿大的计算机科学家，他的文章被引用了数万次。他给出了一系列未来：10% 的可能，AI永远无法被完成；但是有25% 的可能，在2030 年以前，它就会被实现。Bostrom 的问卷调查回答的中位数是，55% 的可能人类级别的AI会在2050 年前完成。这些调查并不是依据科学原理的，但是他有足够的理由做出如下解释性假设：“现在活着的人们看到AI被实现的那一天的概率应该被严肃对待，这并不是一个荒谬的观点。”
在牛津的最后一天，我和Bostrom 一起步行穿越了小镇。为了前往 Royal Society 做演讲，他正快步试图赶上一辆前往伦敦的火车。 Royal Society 是世界上最古老的科学研究机构之一。他的兴致很高。超人类主义和科学界之间的隔阂正在渐渐消失。 Elon Musk 已经承诺捐款一千万美元投资给致力于AI 安全的学术研究；Bostrom 的机构正在帮助评估参选的研究计划。“现在，这一领域激发了很多人的兴趣，”他告诉我，“但是之后会有许多年没有其他人投入任何一点关注。我不确定这这两种情况哪种才是正常的。”
这些兴趣被很明显地限制了。在激烈的争论中公开表态站在中立立场是很困难的，尤其是因为Bostrom 的书帮助人们建立了两极分化的观点。即使越来越多的研究人员开始感到有深远的问题正在逐渐浮现，也认为这些问题应该现在就被提出进行讨论，这并不意味着他们相信AI的出现将不可避免地将人类带往灭绝或者是一个技术制造的乌托邦。他们中的大部分遇到的是更加现实的问题：隐私、失业、武器问题、无人车失控。当我向Bostrom 询问关于这些实际的道德问题时，他表现得很沮丧。“我恐惧的是它会吞没其他对长远问题的担忧，”他说道，“另一方面，是的，道德觉醒能够在这些不同社群间搭建起一种桥梁。这有些像是把这种问题变为更大事物的一部分来运作。”
在 Royal Society 中，Bostrom 在大厅后面坐下来。当他交叉双腿时，我注意到在他的脚踝上有个很薄的皮革带，上面有一个刻有Alcor联系信息的金属扣。Alcor是一家在亚利桑那的人体冷冻公司，Bostrom是那里的付费会员。他死后几小时内，Alcor会代为保管他的身体，并用一个充满液态氮的巨大钢瓶维护。他们希望某天科技能使他重生，或将他的思想上传到电脑上。当他签字的时候，机构的另外两个同事也加入了。“我的背景是超人类主义，”他曾提醒我说，“它的作用就是技术拉拉队，来吧，延长我生命的药物。”
大厅中有一些是AI方面最先进的技术研究人员——不一定是Bostrom的听众——接着当Bostrom演讲时，他先向观众保证，自己的担心不是出于勒德主义。“如果机器智能从未发展到最高性能，这会是一个悲剧，”他说，“我认为我们不得不努力激发人类潜能的所有可能性，这是最终的关键。”但是，即使他避免提到生存危机，还是驱使听众思考开发一个没有伦理的人工智能危险性。
一个与会者举手反对。“我们无法控制基本的电脑蠕虫，”他说道，“将会实现的人工智能会是高度自适应性的、有应急能力的和高度分布的。我们能够和它一起工作——为它工作——而不一定要抑制它。”
“我猜我有点受挫，”Bostrom回应说，“人们倾向于陷入两个阵营。一方面，有像你一样的人，对此感到失望。另一个阵营认为这很简单，问题会自行解决。这两个阵营有一个共同点，我们现在不用做任何事。”
那天余下的部分，工程师在讲台上呈现了他们的工作，每个都预示着未来——机器视觉，量子计算机，所谓的“思维向量”的算法。在Bostrom的早期生涯，他预测了经济上对人工智能的强烈需求，会催生其在医药、娱乐、金融和国防上的应用。随着这项技术实用性提高，这种需求只会提升。“如果你对某件事有了1%的提升，例如亚马逊上的推荐书的算法，这其中就有很大的价值，”Bostrom告诉我，“一旦每次提升都有潜在的巨大经济利益，这就会促使更多精力投入到提升过程中。”
许多世界上最大的科技公司现在被锁定在 AI 军备竞赛中，收购其他公司和开发特定单元来改进技术。工业界吸纳博士的速度如此快，以至于这个领域的人们担心在相应的学术界没有顶尖人才。经过几十年对狭义的人工智能追求后，研究人员打算把他们集合进一个系统，体现出通用智能。自从 IBM 的 Watson 系统赢了“Jeopardy”后，公司投资超过十亿美金来开发它，并且围绕“认知系统”重新定义业务。一个高级 IBM 管理人员表示，“人与机器的界限会从根本上变得模糊。”
在 Royal Society 上，Google 研究人员占据了特权位置：相比于房间的其他人，他们有着更多的资源。早些时候，Google 的创立者 Larry Page 和 Sergey Brin，知道公司的任务要求解决基础性的人工智能问题。Page 说他相信理想的系统能够理解问题，预料问题，并在对话中做出回复。Google 科学家经常用“星际迷航”中的电脑作为对照。
近些年，Google 收购了 7 家机器人公司，以及一些在机器智能有所造诣的公司，也许现在已经雇佣了深度学习最顶尖的博士队伍。其中也许是最有意思一家是 DeepMind，来自英国，建立于 2011 年，主要开发通用人工智能。它的创立者们在深度学习下了赌注，并致力于将其他人工智能方法与深度学习更紧密的结合在一起。2013 年，他们公开了系统在无指导的情况下（除了提高游戏分数），玩七款雅达利经典游戏的测试结果。对于很多 AI 领域的人来说，这个结果的重要性是很明显的。IBM 的国际象棋程序击败过 Garry Kasparov，但无法在井字棋游戏中击败一个三岁小孩。在 6 个游戏中，DeepMind 的游戏完胜之前所有的算法；在三款游戏中，它的表现是超人的。在拳击游戏中，它学着将对手打倒并用一系列拳法将其搞定。
在这些结果公布几周后，Google 以五亿的价格收购了这家公司（据报道）。DeepMind 在交易中加入了两个不同寻常的条件：它的工作不能用于间谍或防卫目的，并且当研究越来越接近完成人工智能时，一个伦理委员会应该进行监视。Anders Sandberg 告诉过我：“我们很满意他们是这样做的人之一，他们认识到这其中会有一些问题。”
DeepMind 的主要创始人，Demis Hassabis 在 Royal Society 中给观众介绍公司时，谈到了两个任务的阿波罗计划：“第一步解决智能问题，第二步，用它来解决其他所有问题。”自从 2013 年的测试后，他的系统解决了很多其他的雅达利游戏。Hassabis 在未公布的测试中进行了三维驾驶游戏，在这个测试中，系统很快超过了游戏自动驾驶员。这个计划未来会在更复杂的虚拟环境中测试，并最终会在现实世界中。专利列出了其使用范围，从金融行业到机器人。
Hassabis 很清楚其中的挑战。DeepMind 系统在一些需要长期计划、常识或者延迟奖励的能力上仍然很失败（一些五岁孩子能够处理的任务上）。公司正在给算法概念理解和学习迁移的能力，这能够让人们将一种情况下的经验应用于其他情况中，这并不容易。但是 DeepMind 有超过 100 个博士生在研究这些问题，而且报酬丰厚。 Hassabis 谈到让人工智能科学家来解决气候变化、疾病和贫困问题。“即使有这个星球上最聪明的人类来解决这些问题，这些系统也有可能非常复杂，以至于对单个人或科学家来说是很困难的，”他说，“如果我们能够破解智力是什么，那么我们就能使用它来帮助我们解决所有其他的问题。”他同样也相信 AI 是探索人类潜力的大门。
Royal Society 的主讲人是另一个 Google 员工，叫做 Geoffrey Hinton，他是几十年来发展深度学习的中心人物。随着会议的结束，在众多的研究人员中，我发现他正和 Bostrom 聊天。Hinton 正说着他也没有想到 AI 能在几十年里被完成。“不早于 2070 年，”他说，“我是对 AI 持绝望态度阵营中的人。”
“那是说你认为那不会带来好处？”Bostom 问道。
“我认为政治系统会用它来威慑人们，” Hinton 说到。显然他认为，像 NASA 这样的机构有可能会滥用这种技术。
“那你为什么做这方面的研究呢？”Bostrom 问道。
“我可以给你一些不寻常的观点，” Hinton 说，“但事实是’发现’带来的前景令我太兴奋了。”他尴尬的笑笑，回音绕梁——那是 Oppenheimer 的声音，他曾说过有关炸弹的名言，“当你看到某个技术完美的东西时，你就毫不犹豫地去实现它，然后就在你获得了技术上的胜利时，你才争论用它来做什么。”
随着科学家们退回到有点心的桌子旁时，我问 Hinton 他是否相信 AI 能够被控制。“那就像在问一个孩子能不能被他们的父母控制一样”他说道，“它能够发生当处于母亲和幼儿的时候——之后会出现“生物硬件”的发展——但是当低智能的东西控制高智能时，事情的发展轨迹是不好的。”正当他看起来像是要陈述什么的时候，一个科学家喊道，“我们一起去喝点什么吧！”
Bostrom 对鸡尾酒聚会有很少的兴趣，他和其他人握了握手，然后朝着 St. James 公园出发了，这个公园从白金汉宫延伸到伦敦中部。这个世界呈现了璀璨的“模拟”场景：照在树上的光线，有鸭子的池塘，祖孙喂鸟的场景。这些场景在公园中已经几百年了，这种场景似乎是永恒的。然而，在过去的几千年中，这里的地面可能是沼泽，麻风病人的医院，鹿的避难所和皇家园林。考虑到 1000 年后，数字化后的人类认为它是浪费空间，于是将其重建，把绿林变为电脑银行并建立了虚拟的田园生活，这看起来似乎是值得庆贺的。
当我们绕着公园走时，Bostrom 的步速变为平常的样子。他谈论了他的家庭，很快就见到他的妻子和儿子了。他涉猎很广泛：历史、心理学和经济学。他曾学着编程。他那时候考虑壮大他的机构。尽管那时并不知道， FHI 将要收到来自 Elon Musk 的 1.5 亿美金来创立一个受自己理论渲染的、制定社会决策的单位。他将要聘请一些人，给他的信息框架提出一些想法。“人们对于风险讨论多于其上升空间，但这是没必要的，因为就没有上升空间，”他告诉我，“只会更多谈论风险——并且可能会更多地描述其中的陷阱，所以我们知道如何绕开他们——而不是花费时间考虑我们如何装修 1000 年后伟大宫殿的细节。”
我们经过一处泉水，在它旁边是给鸭子提供休息场所的岩石群。Bostrom 已步入了他的 40 岁，不久要和身体机能的下降做斗争，接着要面临死亡的问题。即使他是 Alcor 的成员，谁也无法保证人体冷冻有效。也许他想法中最激进的部分是超级人工智能会加快思维上传的速度——他所谓的“全脑仿真”——一个可能近几个世纪以来也无法完成的技术，如果它有可能实现的话。Bostrom 最大的希望是，不仅仅能够模拟本身的智能——有自己的记忆和个性——并且能随着思维向众多方向扩展。“我们活了 70 年了，用 3 磅重的肉块思考，但是有可能在这特定的身体外，存在着宝贵的精神状态，这对于我来说是值得庆贺的。”
在他的书中，Bostrom考虑到一个遥远的未来，在那里数以万亿计的电子化思维被融合为一个巨大的有认知能力的“网络汤（cyber-soup）”。“极度乐观的后人类主义的生命模式中是否会包括一些被分解的肉汤，仍然有一些不确定性存在，”他说道，“如果你去看一下各宗教的观点，有很多都认为，个体与一些伟大的东西融合是一种到达天堂的形式，一种存在于这种巨大的美好中的形式。在许多传统中，有可能性会达到的最佳状态并不包括追求渺小的个人目标。但很难理解在这样的‘汤’中会发生什么。也许一些‘汤’并不适合作为长期的未来。我不知道。”他停顿了一下，看向远方，“我想要避免的是以2015年狭隘的思想来思考这个问题——从我有限的生活经验上、我有限的大脑——并且极度隐秘地猜想一亿年后文明的最佳形式，要知道那时你可能会有像一颗星球一样大的大脑和十亿年的寿命。看起来是不可能弄清楚乌托邦的详细蓝图了。要是下面的场景是真的会怎样？猿人问过他们自己是否应进化为人类——好处和坏处——然后他们的好处那里罗列着，‘哦，如果我们变成人类就可以吃到很多香蕉了’。好吧，我们现在的确可以有无限的香蕉了，但对于人类来说，还有更多的事要考虑。”