夺权与风险
当超级智能真的被实现出来以后，它会不会真的威胁人类。如果它会，它的目的是什么，我们的结局是否注定是悲剧？
如果一个超级智能体想要统治地球，它能成功吗？我们将探讨超级智能会拥有哪些能力，以及这些能力能用来做什么。我们将描绘一个超级智能体如何仅仅从一个软件开始，到最终建立单一体的过程。
在思考超级智能的潜在影响时，最好不要将其拟人化。拟人化的思考框架会导致对种子人工智能的发展轨迹和成熟超级智能的心理、动机和能力产生一些没有根据的预期。毕竟超级智能不是人类。人类往往会认为超级智能是一种非常聪明，但又像呆子一样的机器人，但是我们不能以己度“机”，更不能用我们现在对机器的了解来揣测智能体。真正聪明的智能是包括了情商的。
我们有理由猜测，超级智能可以完成一系列有战略重要性的任务，比如智能升级：人工智能编程、认知提升研究、社会认识发展等；还有战略策划，包括：预测、策划、确定优先顺序、分析优化实现长远目标的概率；还包括社会操纵：建造社会和心理模型，操纵、巧言、说服；还有黑客技术：发现并利用计算机系统的漏洞；还有技术研发：先进技术产品及发展路径的设计和建模；最后还有经济生产：用于提高具有经济效益的智能工作的各项技能。
完全成熟的超级智能能够出色地完成上述各种任务，具有全套的六种超级能力。建造具有一种超级能力的机器，看起来像是一个完全人工智能问题。然而也可能是这样：一个由大量类人的生物或电子大脑组成的集体超级智能，具有经济生产能力，但是不具有战略策划能力。如果系统具备智能升级的超级能力，那么它就能够使自身升级到更高的智能水平，从而获得开始时不具备的其他任何一种超级能力。也就是说，超级能力是可以相互补充和转化的。
我们可以假想一下下述过程。
- 前临界阶段，科学家在人工智能领域和其他相关领域展开研究，研究以创造出种子人工智能告终
- 递归性自我改良阶段，在某个时间点，种子人工智能变得比人类程序员更擅长设计人工智能，当人工智能进行自我改良时，它会改良其自我完善的机制，结果就会产生一次智能爆发
- 秘密准备阶段，人工智能利用其战略策划的超级能力，策划出一套为了实现其长期目标的稳健计划，这里要注意的是，人工智能不会愚蠢到采用一套以我们现在的智能就能预测出其必然会失败的计划，这也就排除了很多科幻作品里人类最终获胜的情节的可能性。在其计划中，可能会有一段秘密行动的时间，在这段时间里，人工智能对其人类开发者隐藏自己的真实智能发展水平，避免人类产生警惕
- 公开实施阶段，当人工智能获得了足够的实力，已经没有必要秘密行动时，就进入最后一个阶段
现在人工智能可以直接全面地实施其目标了。公开实施阶段，可能会从一次袭击开始。
工具性趋同论点认为，我们能够识别出一些工具性价值观，实现这些价值观能够提高系统实现目标的可能性，因此这些价值观是趋同的。由此推断，各种情景中的智能系统都可能会追求这些工具性价值观。
简宝玉读书挑战打卡—《超级智能》读书感悟3