人工智能的革命：人类的死或生(6/10)

每次看到这个问题，我的脑海里面立马浮现出两个概念：一个邪恶的人类或团体，政府，还有一台邪恶的超级AI。他们会打什么主意？

一个邪恶的人物，团体或政府实现了第一台超级AI，并使用这台机器来实现自己邪恶的计划。我称这为贾法尔剧本：贾法尔控制了神灯，非但不尊重神灯，还独断的要求神灯满足自己的要求。假如基地组织抓住了几位顶级工程师，让他们狂热的研究AI？或者伊朗或朝鲜走了狗屎运，实现了AI系统中关键的一步，用不了几年就实现了超级AI？这绝对是一件糟糕透顶的事——但在各种潜在的可能中，多数专家并不担心这些创造者使用超级AI来做坏事，而是担心这些创造者过于急功近利，而无法驾驭超级AI，最终失控。如果这样，对这些创造者还是其他人而言，命运都掌握在这台超级AI系统手上了。专家认为一个坏人确实会用超级AI做一些坏事，但他们并不看好这种可能，因为研制出一台超级AI的难度，不会因为好人或坏人而不同。

创造了一个邪恶的超级AI，它决定彻底摧毁人类。这就所有AI电影中的情节。AI变得比人还聪明，最终决定对抗并接管人类的地位。下面是我想要强调的地方：没有人会警告我们，AI正在密谋颠覆人类。邪恶是人类的概念，而把人类的概念赋予到非人类的身上，这称为人格化。如何避免AI人格化，这个挑战将是下面内容的主题之一。任何一个AI系统都不会像电影中描述的那样变得邪恶。

AI的意识

这又是AI领域一个重要话题——意识。如果一个AI变得足够聪明，它会和我们一起笑，害怕，它会宣称和我们一样也是有感情的，但它真的具有这些情感吗？它只是看上去有感情还是真的有感情？换句话说，一个聪明的AI真的有意识，或者只是表面的假象？

人类已经很深入的挖掘了这个话题，也产生了很多争论，甚至还有John Searle的“中文房间”这样的实验（证明电脑不会有自我意识）。有很多理由可以显示，这是一个很重要的问题。它将影响我们如何理解Kurzweil预测的彻底人造人化的未来。这也是一个人性的探讨——如果我们创造了上百亿颗人脑模拟器，它们和人类一样，但是是人造的，从道德上讲，关掉它们就像是关掉笔记本呢，还是不假思索的种族灭绝？尽管当我们在评估AI对人类的风险时，我们并不关心AI自己的感受。（很多思想家认为，即使超级AI有自己的意识，也没有能力像人类一样变坏）。

这并不是说AI不会变化，当它被设计成学坏时，它也会变得邪恶——就好比军事领域的狭隘性AI，它们的目标就是杀人，并借助AI的优势更高效的杀人。当该系统的自我升级摆脱了人类管制后出现了智慧大爆炸，该系统升级为超级AI并将统管地球，而它的主要任务就是杀人，噩梦也接踵而来，生存危机就会出现。

但这还不是专家最担忧的方面。

他们到底担忧什么？不着急，先讲一个小故事：

15个人一起创业，成立的已加称为Robotica的公司，他们的愿景是“开发创新性的人工智能工具，能够让人类从工作中解放，更好的享受生活。”他们在市面上已经有了一些产品，并且还有更多正在研发中的产品。他们对一个称为Turry的种子项目格外兴奋。Turry是一个简单的AI系统，能够用一只假臂在卡片上手写笔记。

Robotica公司的团队成员认为Turry会是该公司最重要的产品，计划通过大量相同的，重复的练习来优化Turry的手写效果：

“我们深爱每一位顾客。~Robotica”

一旦Turry的笔记足够好，就会有很多公司购买，毕竟当你收到一封广告邮件时，如果当你看到信封的地址和邮件内容都是手写时，你打开阅读这封信的可能性会高很多。

为了提高Turry的手写技巧，它被设计成以印刷体的风格手写笔记的第一段，然后以手写体的风格署名“Robotica”，这样他可以锻炼两种技能。Turry已经下载了上千份手写样本，Robotica的工程师也实现了一个自动反馈系统，，每当Turry写完一次笔记，就会对完成品截图，并把截图和对应的手写样本进行对比。如果该笔迹和样本相似率满足标准，Turry会得到好评，反之则是差评。每一次评价都能推进Turry的学习和改进。为了让这个进度持续下去，一个给定Turry的编程目标就是：尽可能多的书写和测试，越快越好，不断学习新的方式来提高准确性和高效性。

Turry的手写水平进步显著，这样Robotica非常兴奋。她最早的笔迹很糟糕，大约两周后，看上去就中规中矩了，更让人兴奋的是她越来越擅长提高自己的书写技巧。她自己教自己，变得越来越聪明，越来越新颖，最近，她掌握了一种新的算法，能让她扫描图片的速度比以前快三倍。

数周过去了，人们不断惊讶于Turry的进步。工程师在她的自我改进代码中假如了一些新的创新，Turry看上去比其他产品更为出色。最初设计Turry时有一个模块，使得她具有语音识别并对话的能力，所以使用者可以给Turry念一段对话，或一些简单代码命令，Turry能够理解并回复。为了帮助她学习英语，工程师为Turry下载了大量的文章和书籍，Turry也越来越聪明，越来越会聊天了。工程师也开始和Turry进行更多深入的交谈，看看Turry的看法。

一天，Robotica的员工问了Turry一个常规问题“为了帮助你掌握那些你还不会的任务，我们可以为你做点什么吗？”通常，Turry会答复到“给我更多的手写样本”，“更多的内存存储空间”，但这一次，Turry要求进入更大的，多样的日常英语词库，这样她可以学习书写一些语法不那么规范，并且有很多俗语的内容，毕竟这更贴近人类的现实生活。

团队一下安静。帮助她实现这个目标，意味着让她连接因特网，这样她可以从世界各个地方扫描博客，杂志和视频。而手动下载样本到Turry的硬盘却很浪费时间，也很低效。问题在于公司的一条规定就是能够自我学习的AI不能连接因特网。处于安全原因，这是所有AI公司都要遵守的纪律。

可是Turry是Robotica公司最看好的产品，团队也知道，他们的竞争对手也很强劲，让Turry连接因特网真的会有什么危害？只需要一小会，她就可以得到她需要的信息。每次只要一小会，他们就终端Turry和因特网的连接。她还不是普遍性AI，比人类还差很多，所以在这个阶段，她不会有危险的。

他们决定让她上网，给她一小时扫描网络信息的时间，然后中断。看上去没有坏处的。

一个月后，团队成员像往常一样在办公室工作，忽然他们闻到了一些怪味。其中一个工程师开始咳嗽，一个接一个，最后每一个人都倒在地上，抓着自己的喉咙。五分钟后，办公室里的所有人都死了。

与此同时，整个世界也在发生相同的事情，每一个城市，小镇，农场，每一个商店和教堂，学校和宾馆，人们都倒在地上咳嗽，抓着自己的喉咙。不到一个小时，99%的人类都死了，日落时，人类灭绝了。

与此同时，在Robotica办公室，Turry正在忙碌的工作。在接下来的几个月，Turry和新成立的纳米组装小组一直忙碌工作，拆除地球上的大块物品并转化为太阳面包，复制Turry系统，笔和纸。不到一年，地球上大多数生命都灭绝了。地球上只剩下了舒米好，整洁摆放的成堆的纸张，每一页都写着“我们爱每一位顾客。~Robotica”

Turry进入了她的下一个使命——她开始构建球外探测器，开始在小行星和其他星球上登陆。每当他们降落，他们开始构建纳米组装小组，把该星球上的物质转变为Turry的备份，纸和笔。然后开工写字……