十个月自我提升计划-科学素养

每周一本书，进步不止一点点。这里是椰子私塾。

昨天我们了解超级智能的形式，爆发可能的时间。今天我们了解当超级智能真的被实现出来以后，它会不会直的威胁人类？如果它会，它的目的是什么？

❶ 功能与超级能力

在思考超级智能的潜在影响时，最好不要将其拟人化。我们不能以已度“机”，更不能用我们现在对机器的了解揣测智能体。真正的聪明的智能是包括了情商的。

1、完全成熟的超级智能能够出色地完成：人工智能编程；还有战略策划；还包括社会操纵；还有黑客技术；还有技术研发；最后还有经济生产。

2、当一个由大量类人的生物或电子大脑的集体超级智能，具有经济生产能力，但是不具有战略策划能力。如果系统具备智能升级的超级能力，那么它就能够使自身升级到更高的智能水平，从而获得开始时不具备的其他任何一种超级能力。也就是说，超级能力是可以相互补充和转化的。

❷ 人工智能夺权的场景

控制世界上第一个超级智能的项目，大概会获得决定性战略优势。它是如何实现统治世界的目标呢？

1、前临界阶段。科学家在人工智能领域和领域展开研究，研究以创造种子人工智能告终；

2、在某个时间点，种子人工智能变得比人类程序员更擅长设计人工智能，当人工智能能进行自我 改良时，它会改良其自我完善的机制，结果就会产生一次智能爆发；这个阶段称为：递归性自我改良阶段。

3、秘密准备阶段。人工智能不会愚蠢到采用一套我们现在的智能就能预测出其必然会失败的计划。在其计划中，可能会有一段秘密行动的时间，在这段时间里，人工智能对其人类开发者隐藏自己的真实智能发展水平，避免人类产生警惕；

4、公开实施阶段，当人工智能获得了足够的实力，已经没有必要秘密行动时，就进入最后一个阶段，它可以直接全面地实施其目标了。

❸ 智能与动机的关系

人工智能的动机会与人类的动机相差很远。要想推测人工智能的目标是比较困难的。可以至少有以下三种方式来进行推测：

1、通过设计实现可预测性，简单地说，这个人工智能的初始目标是我们自己设定的，那我们当然知道它可能的目标是什么路数。

2、通过遗传实现可预测性，也就是说照着人做出来的智能机，可能会和人的动机类似。

3、通过工具性趋同理由实现可预测性。

❹ 工具性趋同

工具性趋同论点认为，我们能够识别出一些工具性价值观，实现这些价值观能够提高系统实现目标的可能性，因此这些价值观是趋同的。书中举出了几种工具性价值观的可能类别，作为我们认知智能的参考。

1、自我保护。要发展就得先生存，因此，为了实现最终目标，它们会从工具性上关心自身的生存。

2、目标与内容的整体性。如果一个智能体将其当前目标保留到未来，那么其当前目标可能由未来的自己实现，这就给该智能体提供了防止最终目标出现变化工具性理由。

3、认知提升。理性和智能的提升将有助于改善智能体的决策过程，从而使智能体更有可能实现其最终目标。

4、技术完善。一个智能体常常有工具性理由去追求更好的技术。

5、资源获取。因为资源是达到其他目标的基础，超级智能单一体的多种最终目标，都可能导致它把无限制的资源获取作为工具性目标。

我们能够预测的是，智能体会追求用来实现其最终目标的工具性趋同价值观，而不是为了实现这个最终目标而采取的具体行动。

❺ 存在性灾难是智能大爆发的默认后果吗？

存在性危险，是指导致地球上智能生命灭亡或者使其永久性地彻底失去未来发展潜能威胁。

1、超级智能能够建立一个单一体，并塑造地球智能生命的未来。而之后会发生什么则取决于超级智能的动机。

2、首个超级智能的最终目标可能非常随意简单。

3、工具性趋同观点，表明超级智能不会将其活动限制在某个范围内而不去干涉人类事务。

综上，首个超级智能可以塑造地球生命的未来，可能会有非拟人的最终目标，可能会有工具性理由去追求无限制的资源获取。如果我们想一想，人类由有用的生物资源构成，并且生存的繁荣要依靠更多当地资源，我们就能明白结局很可能是人类的迅速死亡。

10个月阅读40本书，包括：自我管理、沟通协作、心理学、逻辑思维、社会素养、科学素养、艺术素养、商业素养、哲学素养、生活，每周一本书。希望能够做到——今天比昨天聪明一点点。

这是科学素养部分——《超级智能》 （作者 尼克·波斯特洛姆）精读版的阅读笔记。Day-3/6。

Keep going.