夺权与风险

当超级智能真的被实现出来以后,它会不会真的威胁人类。如果它会,它的目的是什么,我们的结局是否注定是悲剧?

如果一个超级智能体想要统治地球,它能成功吗?我们将探讨超级智能会拥有哪些能力,以及这些能力能用来做什么。我们将描绘一个超级智能体如何仅仅从一个软件开始,到最终建立单一体的过程。

在思考超级智能的潜在影响时,最好不要将其拟人化。拟人化的思考框架会导致对种子人工智能的发展轨迹和成熟超级智能的心理、动机和能力产生一些没有根据的预期。毕竟超级智能不是人类。人类往往会认为超级智能是一种非常聪明,但又像呆子一样的机器人,但是我们不能以己度“机”,更不能用我们现在对机器的了解来揣测智能体。真正聪明的智能是包括了情商的。

我们有理由猜测,超级智能可以完成一系列有战略重要性的任务,比如智能升级:人工智能编程、认知提升研究、社会认识发展等;还有战略策划,包括:预测、策划、确定优先顺序、分析优化实现长远目标的概率;还包括社会操纵:建造社会和心理模型,操纵、巧言、说服;还有黑客技术:发现并利用计算机系统的漏洞;还有技术研发:先进技术产品及发展路径的设计和建模;最后还有经济生产:用于提高具有经济效益的智能工作的各项技能。

完全成熟的超级智能能够出色地完成上述各种任务,具有全套的六种超级能力。建造具有一种超级能力的机器,看起来像是一个完全人工智能问题。然而也可能是这样:一个由大量类人的生物或电子大脑组成的集体超级智能,具有经济生产能力,但是不具有战略策划能力。如果系统具备智能升级的超级能力,那么它就能够使自身升级到更高的智能水平,从而获得开始时不具备的其他任何一种超级能力。也就是说,超级能力是可以相互补充和转化的。

我们可以假想一下下述过程。

  1. 前临界阶段,科学家在人工智能领域和其他相关领域展开研究,研究以创造出种子人工智能告终
  2. 递归性自我改良阶段,在某个时间点,种子人工智能变得比人类程序员更擅长设计人工智能,当人工智能进行自我改良时,它会改良其自我完善的机制,结果就会产生一次智能爆发
  3. 秘密准备阶段,人工智能利用其战略策划的超级能力,策划出一套为了实现其长期目标的稳健计划,这里要注意的是,人工智能不会愚蠢到采用一套以我们现在的智能就能预测出其必然会失败的计划,这也就排除了很多科幻作品里人类最终获胜的情节的可能性。在其计划中,可能会有一段秘密行动的时间,在这段时间里,人工智能对其人类开发者隐藏自己的真实智能发展水平,避免人类产生警惕
  4. 公开实施阶段,当人工智能获得了足够的实力,已经没有必要秘密行动时,就进入最后一个阶段

现在人工智能可以直接全面地实施其目标了。公开实施阶段,可能会从一次袭击开始。

工具性趋同论点认为,我们能够识别出一些工具性价值观,实现这些价值观能够提高系统实现目标的可能性,因此这些价值观是趋同的。由此推断,各种情景中的智能系统都可能会追求这些工具性价值观。

简宝玉读书挑战打卡—《超级智能》读书感悟3

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CSDN技术头条

Adgetec公司CEO、畅销书作者Mark Mueller-Eberstein:云计算大数据推动业务创新发展

【CSDN现场报道】2015年6月3-5日,作为云计算领域最具影响力的盛会——第七届中国云计算大会在国家会议中心盛大开幕。大会以“促进云计算创新发展,培育信息产...

2008
来自专栏灯塔大数据

大数据服务及未来——人工智能+大数据生态模式

2012年大数据是个流行词,没想到4年过后,在一些大数据论坛上还有人会说“如果我有大数据,我会怎样怎样……。”好吧,如果还停留在如果上,就不该随便上论坛演讲,讲...

3374
来自专栏镁客网

极限元温正棋:从前端信号处理到语音识别、对话、声纹情绪与合成,要打造智能交互闭环 | 镁客请讲

1953
来自专栏Forrest随想录

要用发展的思路推进技术建设和落地

问题出在我们没有想清楚标准化的目的是什么?标准化之后还应该做什么?所以这个问题没想清楚,我们眼光和精力就会放盯在标准化这个点上,而忽略了周边配套的自动化体系建设...

741
来自专栏人称T客

报告|Salesforce 2016年营销报告(中):高绩效营销团队4个实践特征

T客汇官网:tikehui 撰文 |卿云 本部分为Salesforce 2016年营销报告的高绩效营销团队的实践:客户旅程战略、融合客户体验、通过采用新技术更加...

3604
来自专栏华章科技

消除数据孤岛,摆脱企业大数据困境

在2013年大数据全球技术峰会上电子科技大学教授周涛教授提出了大数据发展的三个阶段。

1493
来自专栏数据猿

中国联通研究院魏进武:电信行业大数据发展及平台技术演进

<数据猿导读> 中国联通研究院魏进武在2016年中国信息通信大数据大会上发表了以“电信行业大数据发展及平台技术演进”为主题的演讲。其中,魏进武讲到,云计算和大数...

3184
来自专栏云计算D1net

购买或构建:如何解决混合云的困境

导语 如今,企业致力于采用云计算技术,希望能够进行创新以跟上瞬息万变的技术的发展。而竞争格局和消费者需求变化意味着那些不能或不愿意创新的企业很有可能在市场竞争中...

33611
来自专栏SDNLAB

2018年最紧俏的5大云计算技能

2263
来自专栏腾讯研究院的专栏

艾瑞刘雷鸣:平台化与垂直化是兴趣社交的未来

12月9日,第7期互联网前沿沙龙举行,本期主题为“兴趣社交—移动社交的下一站”,腾讯QQ兴趣部落、百度贴吧、豆瓣兴趣组等产品负责人王崇生、李英斌、清风,艾瑞...

4448

扫码关注云+社区

领取腾讯云代金券