人工智能的革命：人类的死或生(5/10)
让我感到意外的是，那些不同意Kurzweil的专家，绝大多数并不是全盘否定。当他们读到这些对未来的怪异描述时，他们并不是直接批评“很明显这些不会实现”，而是认为“如果我们能安全的过渡到超级AI，这些是有可能的，但超级AI很难实现。” Bostrom是一位警告AI危险性的主要人物，他也承认：
“很难想象，超级AI能解决问题或间接帮助我们解决问题。配备先进的纳米技术，一台超级AI就有能力帮助我们搞定疾病，贫穷，环境的破坏以及各种无谓的煎熬。同时，它给予我们无限的生命，通过纳米医学停止或者逆转衰老进程，甚至可以对自身优化升级。一台超级AI可以给人类创造很多机会，提高我们的智商和情商，帮助我们构建一个高级别的，更吸引人的乌托邦，让我们游戏人生，接近我们理想中的生活。”
这段话是我无意间读到的，作者对AI的未来其实不乐观——专家可以拿出一大堆理由来嘲笑Kurzweil，但没有人会认为他说的压根不可能，前提是我们能够安全的实现超级AI。这就是我认为，为什么Kurzweil的想法这么具有感染力——他可以把整个情节表达清晰，如果AI是一个好上帝，你会认为确实，这是可能的。
然而，当我们实现了超级AI，它却不是一个好上帝呢？在那些身处自信区的思想家看来，这是对Kurzweil最主要的批判。Kurzweil的名著《The Singularity is Near（奇点将要来临）》有700多页，他用了20多页来描述潜在的危险。就像我先前提到的，当这一决定性的力量能够决定未来走向时，我们就需要关心谁能控制这股力量以及他们的动机。Kurzweil用同样的一句话回答了这两个部分“超级AI会发挥多种作用，并将深深的集成到我们的文明中，确实它会紧密的嵌入到我们的身体和大脑中。因此，它就是我们，体现的也是我们的价值观。“
如果这就是答案，那为何世界上还是有很多极为聪明的人对AI担忧呢？为什么霍金说超级AI的发展同样也是人类的终点。比尔盖茨也表示无法理解为什么这么多人会对AI漠不关心。而马斯克则担心人类正在召唤一个恶魔。为什么如此多的专家会认为超级AI是人类最大的威胁。这些人和其他思想家都处在焦虑区，对Kurzweil的说辞并不买账。他们非常担忧AI的变革，而且他们并不聚焦在平衡带积极的一侧，而是盯在消极的一侧，在这里，他们看到了一个恐怖的未来，他们担忧人类是否最终会无路可逃。
为什么未来可能会是糟糕的梦魇
我想要了解AI的原因之一就是对坏机器人的不解。关于邪恶机器人，所有的电影看上去都太假，所以我无法理解在现实中，AI究竟会如何对人类构成威胁。人类制造了机器人，为什么我们设计的机器人会对自己产生消极作用呢？我们不能够制造足多的机器人警卫吗？我们不是可以在任意时间切断对AI系统的电力供应，关闭AI系统吗？为什么机器人想要做坏事？为什么机器人会首先想到索取资源？我对此感到困惑。我也继续聆听这些聪明家伙们的讨论……
他们处在如下的这个区域：
这些处在焦虑区的人们并不是处于无望的惶恐中——他们距离图表最左边还有一段距离——他们只是感到紧张不安。身处图表中间位置并不意味你认为超级AI的到来也是中立的——中立只是他们自己的一个立场——意味着你认为结果可能会是极好的，也可能是极坏的，只是不确定。
这些人中的一部分也会难掩兴奋，想要知道超级人工智能能为人类做些什么 ——但他们只是有点担忧，害怕这会像是《夺宝奇兵》那样，而人类就是这位仁兄：
他站在那里，挥舞自己的鞭子，注视着那些财宝，心里想“终于找到你们了。
他兴奋的大喊，然后就兴奋不起来了。
（抱歉）
与此同时，印第安纳琼斯显然嗅出了端倪，也更谨慎一些，意识到了处境的危险，以及如何周旋，得以全身而出。当我听到那些身处焦虑区的人们讨论AI时，他们往往都会这样说：“我们就像是电影中的第一个人，只有少数人能把自己武装的像印第安纳琼斯一样。”
那么，到底是什么让焦虑区的每一个人如此的焦躁不安？
首先，一般而言，当我们研制出超级聪明的AI时，我们创造了一种可能会改变万物的东西，这完全是一个未知领域，我们也不知道会发生什么。科学家Danny Hillis把这种时刻比作“单细胞有机体分裂成多细胞有机体时，作为变形虫的我们不知所措，觉得糟糕极了。”Nick Bostrom则担心创造一个比你还聪明的东西有悖于基本的达尔文主义，就像麻雀决定收养猫头鹰的孩子，开始帮助他们，保护他们，一旦他们长大了——这些麻雀可能就后悔了。
当这片未知区域将会产生重要影响时，人类打开了最恐怖的一扇门：
生存危机。
生存危机是一种可能会永久毁灭人类的一种情况。通常生存危机意味着灭绝。我们来看一下这张图标（来自Bostrom在Google talk）：
你可以看到“生存危机”的标签是指那些涉及到多物种，跨代（意为永久），而且结果是毁灭性的，致命的事件。比如全人类都被折磨，忍受，甚至灭绝。有三种情况可能会导致导致人类的生存灾难：
- 自然——一个巨大的小行星碰撞地球，导致大气层偏移，空气不再适合人类，致命病毒或细菌横扫地球，等等。
- 外星人——这是霍金，Carl Sagan和其他天文学家所担心的，他们建议METI公司停止在外太空的广播行为。他们不希望人类如同美洲的原住民，却让潜在的欧洲征服者知道我们的存在。
- 人类自己——恐怖分子使用自己手中的武器也能导致灭绝，全球灾难性的战争，人类仓促的创造了很多比自己更聪明的东西，但还没有准备好如何安全的使用它们。
Bostrom认为，作为一种物种，如果前两种可能在10万年内没有对我们造成重大影响，那在下一世纪也不太可能发生。
但他对第三种可能感到恐慌。他打了一个比方，有一个坟墓，里面有一堆大理石。大部分大理石是白色的，有一小部分是红色的，还有极少的部分是黑色的。每一次，当人类发明了一些新东西，我们就从里面拿出一块大理石。大多数的发明是中性的，或者有益的——这些是白色的大理石，有一些则是有害的，比如大规模杀伤性武器，但它们不至于造成生存性的灾难——红色大理石。如果我们实现了一些能够导致自己灭绝的发明，就像是拿出来稀有的黑色大理石。现在我们还没有找到黑色大理石——因为你现在活着，正在看这篇文章。如果原子弹的制造不再如此的复杂，可以轻易的制造，恐怖活动很容易就能把全人类带回到石器时代。核武器不是黑色大理石，但接近了。Bostrom认为，在潜在的黑色大理石候名单中，超级AI是最有可能的，也是最有威胁的候选人。
你将会听到很多超级AI可能会带来的潜在的威胁——随着AI可以参与越来越多的工作，失业率则会上升，如果我们可以治疗衰老，那人口就会膨胀，等等这样的可能。但我们应该关注这个最大的风险：生存危机的潜在可能。
这又让我们回到先前的问题上了：当人类实现了超级AI，谁会控制这个巨大的，全新的力量，他们的动机又是什么？(未完待续)