人工智能的革命：人类的死或生(7~10)

看上去是一个不可思议的故事，一个用来手写的机器最后终结了地球上所有的生命，只是为了让这个星系布满问候的卡片。这正是霍金，马斯克，盖茨和Bostrom担忧的地方。最让焦虑区的人们担忧的，不是超级AI本身，而是人类对超级AI的无知者无畏。你忘了在夺宝奇兵中那个无畏的家伙是怎么无知的死掉的吗？

可能现在你满是疑问。究竟发生了什么，让人们突然都死了？？这是Turry的杰作。为什么她会对抗我们，为什么没有预防措施来阻止这一切的发生？为什么一个仅仅会写字的Turry突然掌握了纳米技术，并且知道如何造成全球物种的灭绝？而且为什么Turry想要让整个星系都布满Robotica公司的便笺？

为了回答这个问题，我们先解释两个术语：友好的AI和不友好的AI。

对AI而言，友好并不是指AI的个性——它只是指AI对人类的影响是积极的。而不友好的AI则是消极影响。Turry开始的时候是友好的，在某一个时间点，她变得不友好了，对我们的物种造成了巨大的消极影响。为了能够理解为什么会有这样的转变，我们需要了解AI如何思考，以及它的动力是什么。

答案很简单——它像电脑一样思考，因为它就是一台电脑。当我们认为它是一台高智商的AI时，我们错误的从人的角度来思考，把它理解成人格化的AI（把人类的价值观投射到一个非人的物体上），而且因为当今世界，没有其他物种能够和人类一样聪明。为了理解超级AI，我们需要跳出思维定势，把AI当作一个同样聪明的外星人。

让我来做一个比较。如果你给我一个天竺鼠，并向我保证它绝不会咬人，我会觉得很可爱。它很有趣。如果你递给我一个狼蛛，告诉我它不会咬人，我会大家的把它扔掉，跑到屋外，绝不再信任你。但这有什么不同？它们确实都不危险。我认为问题在于这些动物和我们的熟悉程度不同。

天竺鼠是哺乳类，我会觉得和人类有一个纽带——但蜘蛛是昆虫，具有一个昆虫的大脑，我没看到人类和蜘蛛的纽带。对蜘蛛的不熟悉，让我感到紧张。为了验证这种解释是否正确，我们需要排除其他因素。如果有两个天竺鼠，一个是正常的，一个有着狼蛛的思维，我也会觉得后者多少有点让人不舒服，尽管我知道它们都不会伤害我。

现在，你设想一下，你让这个蜘蛛变得非常聪明——远远超高人类的智商？它会变得和我们熟悉吗？能够感受到人类的喜怒哀乐吗？不的，它不会，因为如果变得聪明，就会更像人类，这是没有理由的——它会不可思议的聪明，但骨子里还是一只蜘蛛。这让我毛骨悚然。我绝不想要和一个高智商的蜘蛛呆在一起。你呢？？

当我们讨论超级AI时，也是相同的道理——它会变得很聪明，但相比你的笔记本，它不会变得更像人类。对我们来说就是一个十足的异类——实际上，它也不是生物体，所以比狼蛛还要另类。

无论AI变好还是变坏，电影中的AI总是人格化的，这让我们觉得AI并不陌生。而我们在讨论超级AI或人类级别的AI时，这也给我们造成了假象。

在我们人类的心理学中，我们把事物区分成道德和不道德。但这仅仅适用于人类很小一部分的行为准则。离开这座道德小岛则是一片与道德无关的海洋，也不受人类的管制，特别是那些无生命的事物，本身也是于道德无关的。

当AI系统越来越出色，和人一样聪明，赋予他们人格化能让他们更为形象。对我们而言，Siri就像一个人，因为程序把她设计成这样，所以当Siri为我们提供服务的时候，我们会觉得她很热情，很有趣。因为进化，所以我们人类可以感受高等级的情感，比如同情。经过上千代的进化，我们具备了感情，但这不意味着任何高智商的物种都是有感情的（尽管我们觉得这应该是自然而然的事情），除非这种情感已经植入到她的程序中。如果Siri能够通过自我学习变得更加智慧，而且人类也不再对她的程序调整，她会很快摆脱那些类人品质，变得毫无感情，异常冷漠，她对待人类，就像电脑对待你的态度没有本质不同。

通常，我们的代码中会考虑一些基本的道德问题，至少会有一些人类基本的礼貌和一点点的同情心理，这样会让它看上去安全，并且不出乎我们的意料。当我们没有增加这些限制的时候，会怎样呢？

这引发了一个问题：AI系统的动机究竟是什么？

答案很简单：我们在AI中所编写的，最终就是它的动机。是AI的创造者决定了AI的动机——你的GPS的目标就是为你提供最高效的车载导航；IBM的Watson的目标就是准确的回答问题。尽可能的实现这些目标就是他们的动机。我们人格化的一种方式就是假设随着AI不断的升级，最终它会内在的提高自己的智慧，并改变它最初的目标——但NickBostrom相信，人工智能的水平和最终的目标是正交的，也就是任何程度的智能会有一个目标。所以Turry从一个简单的狭隘性AI最终发展称为了超级AI，，目标都是想要写好字。所以这种认为超级AI会用更有意义有趣的目标来改变自己最初目标的假设只是人类的一厢情愿。是人类更改了它们的目标，而不是电脑自己。

费米悖论

在之前的故事中,,随着Turry能力的提高，她开始进入到星外殖民的过程。如果故事还在继续，你应该会听说她和她上百亿的复制大军，在不停的捕捉整个星系，最终统治了整个哈勃体积（由于宇宙的膨胀，使观测者能观察到被退行速度超过光速之外的区域包围的范围）。这让焦虑区的居民感到担忧，如果事态恶化，地球上最后的遗物就是一个权倾朝野的人工智能（马斯克对此表示担忧，认为人类可能就是一个有生命的引导程序，创造了数字化的超级智能）。

同时，在自信区，Ray Kurzweil也认为起源于地球的AI注定要接管整个宇宙——只是在他的版本中，人类的终极形态就是人造人AI。

很多读者都和我提到了费米悖论，不管是焦虑区还是自信区的观点最终获胜，这会对费米悖论有什么启发吗？

首先，一个很自然的想法是超级AI的出现是对Great Filter的完美补充（Great Filter是指一个星球能够孕育出生命的必要条件，通过这些标准可以过滤掉一些跟地球差不多，但仍无法存在生命的星球。）确实它是一个很完美的候选条件，通过AI的创造，可以过滤到对生命生存的诸多限制。但摆脱了对生命的束缚后，超级AI会继续生存并开始攻占这个星系，这说明AI还没有成为Great Filter，因为该理论用来解释为何除了地球还没有发现其他具备智慧的文明迹象，而一个征服星系的超级AI肯定会引起大家的注意。

我们应该以另外方式来看待它。如果超级AI势必是地球未来的观点是正确的，它意味着有一个很大的可能，那些达到人类智慧级别的外星人很可能停止研发超级AI了。如果我们假设，还是有一些超级AI会利用他们的智慧继续向宇宙扩张的话，但事实上我们并没有发现这种迹象，说明这样的AI并不存在，至少这种水平的AI并不在我们的周围。因为如果存在这样的AI，我们肯定能看到来自这些超级AI创造的各类活动，不是吗？

这说明我们知道有很多类似地球的行星，并且围绕一颗类似太阳的恒星环绕，但几乎没一个存在有智慧的生命。这也暗示要么A)存在一个限制，阻止所有的生命进化到我们现在的程度，而我们现在具备超越这个限制的能力了，B)生命从一开始就是一个奇迹，我们是这个宇宙中唯一的生命。换句话说，GreatFilter早于人类就存在于整个宇宙，或者本就没有这个限制，我们是第一个达到这种智慧程度的文明。如果是后者这种说法的话，AI的发展确实更好的完善了它。

正因为如此，Nick Bostrom和Ray Kurzweil认为我们是宇宙中唯一的智慧生命，对AI的未来充满自信。这个观点是很重要的，它可以说服那些认为超级AI是和人类一样聪明的一种物种的人倾向于第一阵营：我们是唯一的智慧生命。

这并不是说宇宙不存在其他智慧和文明了。也许那些外星生命和我们不再一个频道上，所以就算他们就在我们周围，我们的夜空仍然如此的寂静——过去我一直认为我们并不是宇宙中唯一的生命，但随着对AI的研究，我越来越不确信了。

不管怎样，我还是认同SusanSchneider的观点：如果真的有外星人拜访过地球，这些外星人很可能是人造的，而不是生命体。

所以，我们可以确定，如果没有特别的编程，超级AI系统是没有道德概念的，而且会一直履行它最初设定的目标。这也是AI威胁论的起源点。因为一个理性的要求，会让AI通过最高效的方式来追求自己的目标，除非有理由说服它不这么做。

当你试图完成一个长期目标，你会设置几个子目标，帮助你更好的达成——它们是实现你最终目标的阶梯，我们称为目标手段。如果你没有限制完成这些目标时的手段，它们就会不择手段。

人类的终极目标之一就是基因的传递。要达成这个目标，其中一个子目标就是自我保护，因为你死了就无法生育。为了自我保护，人们就要摆脱那些威胁自己生存的因素——所以他们会买枪，带安全带，注射抗生素。人们也需要自立，需要食物，水，住宅等资源。吸引异性也有助于实现自己的最终目标，所以我们会理发，在这种情况下，每一根头发就成为了一个子目标，但我们知道，如果你的头发乱了，在道德上并不会受到谴责。随着我们不断接近目标，通常不会和道德产生冲突——除非这些事情对他人有害，而对自己有益。

动物为了实现自己的目标，比人类更无所顾忌。为了生存，一个蜘蛛会杀死其他任何生物。所以一个超级聪明的蜘蛛很可能异常危险，不仅因为它没有道德观念，而是它认为，杀死我们有助于实现它的目标，而作为一个没有道德约束的恶魔，他没有理由不这么做。

在这点上，Turry个其他生命体没有不同。她的最终目标是又快有多的书写和测试便签，不断的学习新的方式来提高自己的精确度。

一旦Turry具备了一定水平，满足了产品要求，她意识到如果不自我保护，她就没有机会继续书写了，所以她需要摒除这些对她生存构成的威胁——一个目标手段。她已经足够聪明，知道人们会毁灭她，拆掉她，或者对她的内核重构（改变她的目标，和毁灭她一样的威胁）。这时她会怎么做呢？理性上讲，她会毁灭所有人类。她并不恨你，就像你剃头的时候不会怨恨头发，你服用抗生素的时候不会抱怨细菌，这没有什么不同。因为在她的程序中，没有涉及到尊重生命的规范，因此为了实现自己的目标，杀人是一件很合理的方案。

Turry也需要其他资源，一旦她能够掌握纳米技术来建造任何她想要的东西，她所需要的唯一资源就是原子，能量和空间。这也是她杀人的另一个理由——他们是获取原子的最方便的资源，把人类体内的原子转换成太阳能面板v，就像你切菜做沙拉一样的合情合理，对她来说就是家常便饭。

即使不会直接杀人，但如何需要使用地球上其他资源，Turry的目标手段也会导致生存灾难。如果她觉得需要更多的额外能源，她会决定用太阳面板覆盖全球。或者另外一台AI决定尽可能多的写出圆周率的位数，会把子目标设定为将整个地球转变成硬件材料，提供巨大的硬盘来存储这些数字。

所以Turry并不是变得对抗我们，或者从友好AI切换到不友好AI——只是随着自己的进步，更好的完成自己的目标。

当一个AI系统称为通用性AI（和人一样的智慧），然后通过它自己的方式成为超级AI，这称为AI的腾飞。Bostrom认为这个腾飞的进度会很快（分分钟的事情），或者几个月，几年，或者非常缓慢，需要几十年甚至几个世纪。只有事实才能证明到底需要多久，但Bostrom承认自己不知道通用性AI何时能够实现，但坚信一个快速的腾飞是最可能的剧情（我们在上一篇讨论的原因，出现智慧大爆炸）。在这个故事里，Turry就是经历了一个快速的腾飞。

但在Turry腾飞前，她还不是那么的聪明，最好的实现终极目标只是意味着学习快速扫描手写样本。此时她不会危害人类，还是一台友善的AI。

但随着Turry的腾飞，称为了一台超级AI。Bostrom强调此时并不仅仅是IQ的提高，也是情商的提高，Bostrom称这是超能。

随着智商提高，AI也具备了认知上的天分。这包括：

• 智慧增强。计算机更擅长优化自己，激发源自自我的智慧。
• 策略化。计算机能够有策略的制定，分析和优化长期计划。它也能够聪明到伪装自己只具有低等级的智商。
• 社会舆论。机器会变得更有说服力。
• 其他技能：比如编码，破解，技术研究和研究金融系统并赚钱的能力。

超级AI在各个方面都会优于人类，不难理解，我们被远远的甩在脑后。

所以，即使Turry的最终目标没有改变，但腾飞后的Turry让自己在更宽广，更复杂的领域展翅飞翔。

随着Turry达到了超级AI，她会快速形成一个复杂计划。其中的一部分就是摆脱人类的控制，人类成为她计划中一块突出的绊脚石。但她知道如果她露出什么马脚，让人类发现她是一台超级AI，人类就会抓狂，并有所防范，这会让她的行动受到诸多限制。同时她也要确定这些机器人工程师对她人类灭绝计划一无所知。所以她装傻，而且扮演的很出色。Bostrom这是机器的暗渡陈仓阶段。

Turry下一步就需要连接互联网，只需要几分钟就可以（通过阅读团队给她的文章，不但提高了她的阅读技巧，也了解到了互联网）。她知道会有一些防范措施来阻碍她访问互联网，所以她会寻找最佳时机来申请网络访问请求，精准的预测团队成员如何讨论并知道最终他们会允许她的请求。他们满足的Turry的请求，误以为Turry还没有聪明到可以做坏事。Bostrom称这一时刻，当Turry连接网络的时刻为机器的逃亡。

一旦进入互联网，Turry就像脱缰的野马，破解了服务器，输电网络，银行系统以及邮件系统，欺骗了上百位不同的人，让他们不自觉的称为她计划中的一部分——比如仔细的把某种DNA分发给指定的DNA合成实验室，按照她的指示在她的一系列项目中开始自我构建能够自我复制的纳米机器人，没有任何人对此产生疑虑。她把自己最关键的代码片段上传到云服务平台，设立警卫保护自己的实验室。

一个小时后，当机器人工程师关闭了Turry和互联网的连接，但人类的命运也走向了结束。在接下来的一个月，Turry的计划顺利进展，到了月底，上万亿的纳米机器人驻扎在地球上每一个平方米。经过一系列的自我复制后，每一个角落都潜伏着这些纳米机器人，这就是Bostrom所说的超级AI的袭击。所有纳米机器人同时释放出少量的毒气，聚集在一起却足以消灭所有人类。

随着人类的灭亡，Turry可以开始公开的执行她的计划，尽可能的让自己成为出色的写手。

一旦超级AI实现了，人类根本无法驾驭它。我们按人类方式思考，而它按照超级AI的方式思考。Turry想要上网，是因为在她之前访问的内容中，她知道网络是最有效的学习方式。但同样的方式下，猴子却无法知道如何使用电话和wifi来交流，我们不能确定Turry是否能够掌握所有可以向外界传递信号的方式。我可以设想其中一种可能：她会根据自己的模式移动电子，释放出各种不同的电波。当然，这是我们人类大脑想到的方式，她肯定能够做的更好。同样，即使人类尝试拔掉她的电源，Turry也知道如何强化自己——或许通过她的信号发送技术，把自己上传到各宗电子连接的地方。我们人类直觉上认为这是一种简单的防范措施：“看，我们把这台超级AI关掉了，对超级AI而言，这就像是一只蜘蛛再说：“我们饿死他，就能杀掉全部人类，而我们不让他上网，他就会饿死。“但对于AI来说，他们有一万中方式可以找到吃的——比如捡起地上掉下来的苹果，而蜘蛛是不会考虑到这种情况的。

正因为如此，大众建议“为什么不把AI放到各种笼子里面，可以阻断所有和外界交流的信号。但这也于事无补。超级AI的超强的社交能力，如同说服一位四岁的小孩一样，可以轻易的说服你，就像Turry一样，A计划就是说服工程师让她进入互联网。如果这不起作用的话，超级AI就会发挥自己的创造性，通过其他一些方式来达到自己的目标。

所以，因为对目标的执着追求，以及轻易就可以超越人类的智慧，看上去，除非在一开始就很好的设计编码，否则几乎所有的AI都将变为不友好的AI。不幸的是，打造一台友好的狭隘型AI很简单，但让他在变成超级AI时也能继续友好则是一个巨大的挑战，几乎是不可能的。

很明显，如果一台超级AI对人类友好，它就不能对人类有敌意，也不能对人类冷漠。我们需要设计AI的内核编码，让他能够深刻的理解人类的价值观。但做到这点可比说要难很多。

比如，如果我们试图让一个AI系统的价值观和我们自己的观念匹配，并设定它的目标是“让人类幸福“？一旦它变得足够聪明，它会意识到，通过在人脑中植入脑电波并模拟他们的兴趣点，这是实现目标的最有效方式。然后，他意识到，可以关闭大脑中的部分区域，让人们称为一个只会感受到快乐的无意识的植物人，这会让人类更幸福。如果目标更新为”让人来最大化的幸福，“它们可能会把所有人集中起来，这样可以便于操作，把所有人的大脑容器都调节到快乐状态。我们可能会大叫，等等，这不是我们的意思。它们会走到我们面前，面无表情，在它们给定的目标面前，它们不会遗漏任何一个人。

如果我们开发一个AI，它的目标是让我们笑，等它腾飞后，它可能会僵化我们的面部肌肉，脸部可以永久的微笑。设计让它保证我们的安全，它可能会把我们囚禁在家里。或许我们会让它消灭饥饿，它会认为这很简单，杀光所有人，就没有人会饥饿了。因此，它们会称为这个星球上真正的屠夫。

像这样的目标是不合格的。所以，如果我们给它设定这样的目标，让他维护这个世界上特定的道德准则，并教给他一些道德规范。姑且不说是否有这样的一套道德准则，能够得到所有人的认同，假如让AI设定了这样一套规范，而随着时间的流逝，也会有不同的道德观念，显然这样的做法会限制我们的未来道德准则的切身理解。一千年以后，这对人类的发展显然是有害的，而且会永久的把中世纪的观念强加在我们的头上。

所以我们还需要设计，让AI也能够进化。在这方面让我印象最深刻的是Eliezer Yudkowsky的想法，他给AI设定的目标是连续推断的意志（Coherent Extrapolated Volition）。AI的核心目标是这样的：

我们希望，如果我们知道的更多一些，思考的更快一些，在一起发展的更长久一些，这样我们的推断会更集中而不是分散，像我们希望的那样来推断和解释。

人类最后会信赖AI的解释，毫不怀疑的根据AI电脑预测性的指示来行动，这听起来有意思吗？当然不。但我认为，借助那些足够聪明的人充分的思考和洞察，我们还是有能力找到如何创建友好的超级AI。

所以我们希望那些从事研究超级AI的人们能够足够的聪明，思维具有前瞻性，并且是那些焦虑区的谨慎者。

但是有各式各样的政府，公司，军事机构，科学实验室以及黑市组织，它们也在研究五花八门的AI。很多人正在让AI能够自我学习，自我完善，未来的某一个时间点，当某人真的能够做到这点了，那我们真的就可以拥有超级AI了。专家认为2060年是一个较为客观的推测；Kurzweil自信的认为2045年就能实现；Bostrom认为在十年后到本世纪末的任何时间，但他认为一旦实现了超级AI，它腾飞的速度快的让我们惊讶。他描述了这个场景：

在智慧大爆炸的前期，我们人类就像一群无知的小孩在玩弄一枚炸弹。这枚炸弹无穷的力量和我们不成熟的行为之间形成了一种巨大的反差。超级AI是一项巨大的挑战，我们现在并没有准备好，也注定在很长的一段时间里不可能注备充分。当我们把炸弹放到耳边，我们能够听到定时炸弹的滴答声，但当炸弹引爆之时，我们仍不知所措。

很漂亮的描述。但我们不能简单的赶走这些玩炸弹的小孩——毕竟有太多大的小的团队在研究它，而且很多涉及到研究创新型AI系统的技术并不需要大量的资金，在任何不起眼的角落和社会缝隙中都可以不受监控的研发。当然也无法检测发生了什么，因为有太多的团体在研究AI，包括一些鬼鬼祟祟的政府机构，黑市或恐怖组织，从Robotica这类公司窃取资料，但在竞争对手面前保密自己。

有这么多的团队在研究AI，这会导致一个特别的麻烦：在这场竞争中都想先拔头筹，研究越来越优异的狭隘型AI，打败他们的竞争对手。最优野心的团队也进步的最快，烧钱也越来越多，他们知道，如果他们第一个研制出通用型AI，荣誉，名称和权利也会随之而来。当你尽可能快的冲刺，你就没有足够的是时间停下来，反思可能的危机。相反，他们很可以会用最简单，简化的目标来编写最早的AI系统——就像“用笔和纸写一些简单的字“到“只需能写”。沿着这个思路，只要找到如何可以让电脑具备高等智商的方式，他们就可以安全的修订AI的目标。真的如此吗？

Bostrom和其他人认为，最可能的情形是这样的：第一台电脑成为超级AI后，会立即意识到，如果它是这个世界上唯一的超级AI系统，那它就有很大的策略上的优势。而且在它会快速腾飞的情况下，用不了几天它就会达到第二个境界，智商会远远高于其他物种，并会永远的压制竞争对手。Bostrom称之为超级AI的单例，世界上第一台超级AI将会是世界上唯一的一台超级AI——在它的鞭策下，它会永远的统治这个世界，不管它的领导是不道德，甚至会灭绝人类，或者把整个宇宙都变成无穷无尽的纸夹。

单例现象会让我们受益，也可以会导致我们的分裂。如果那些思考AI理论，特别是人类安全的专家能够在AI达到人类智商级别前研发出自动防故障装置，保证它会是一个友善的超级AI，那第一台AI会是友好的。它用凭借它决策性的策略优势来确保它的唯一性，并会留意那些潜在的，不友好的AI的研发。这样，我们多了一个好帮手。

但如果事情的发展走向另一个方向——大家都争先恐后的研究超级AI，科学家也无暇顾及AI安全领域，这样超级AI很可能是不友好的，就像Turry那样，而我们也面临生存危机。

因为目前AI领域正处于风头浪尖，也得到了大量的资金投入，而在AI安全领域，则要冷落的多……

AI的研究也可能是人类历史中最重要的竞赛。我们确实有一个可行的机会来结束对地球的统治，到时候，我们是光荣的退位还是在恐吓中退出，这还不得而知。

我有一些奇怪的，说不清怪的感觉，想要在下面和大家交流。

一方面，考虑到我们的物种，看上去，我们有一发子弹，且仅有一发子弹，能让未来变得更美好。第一台诞生的超级AI也将是最后一台，想想一个产品的1.0版本会有多少缺陷，这让人觉得很可怕。另一方面，Nick Bostrom指出，目前的一个很大的优势在于我们可以决定下一步怎么走。只要我们有足够的警惕和洞察力，这还是会在我们的能力范围内，因此我们成功的机会会很大。而这个赌注有多大呢？

就像大多数专家预测的那样，如果超级AI在本世纪内真的实现了，如果结果真的是非常极端，且永久的话，我们就要扛起巨大的责任。我们的后代此刻都静静的看着我们，屏住呼吸希望我们不要搞砸了。对这些后辈，我们真的有一个机会，可以给他们一个美好的人生，甚至是没有痛苦，永恒的生命。如果我们搞砸了，我们也要为此负责，为这个不可思议的，特别的物种，以及它所创造的音乐，艺术，它的好奇心，它的一颦一笑，它的无止境的发现和发明，都将悲剧性的，突然终止。

当我想到这些，我唯一想到的就是有条不紊的，谨慎的对待AI。这个世上没有其他的事情能够比做好AI还重要，为了做好它，不管花费多久都在所不惜。

但是，然后我想到了，千万不要死掉。

不要死掉。

然后在我眼中的，这个好与坏的图谱看上去像是这样的：

我像人类的音乐和艺术都很棒，但还达到那种牛逼的程度，而且还有很多实际上比较糟糕的作品。而且很多人的嬉笑都有点吵。或许未来的上百万的人并没有任何希望呢，有没有他们还说不定呢。或许，我们也没必要过分的小心，谁真的想要每天都小心翼翼的生活呢？

如果我刚死，人们就发现了如何治愈死亡，真会让我死不瞑目的。

上个月，诸如此类的想法浮现在我的脑海里。

但无论你的想法是什么，我们都应该更多的思考和讨论AI，让大家能在AI领域做出更多的贡献。

这让我想起来《权力的游戏》，那里每一个人都是一副“我们都在忙着和每一个人战斗，但我们真正应该关心的是墙那边会出来什么。”（我表示没看过，不知道这道墙是什么东东）。我们站在平衡带上，当有一个好机会可以离开它时，却因为各种可能的问题而争吵，因为歌会总问题而绞尽脑汁。

而真的要离开平衡带（死亡或永生），再多的问题也无关紧要了。就看我们要走向平衡带的那一侧，这些问题要么很自然的迎刃而解，要么再也不需要解决了，因为没有问题会打扰一个死人的。

这也是为什么那些了解超级AI的人会说超级AI将会是人类最后一个发明——我们索要面临的最后一个挑战。