恐怖的奇点——论机器进化

英特尔中国研究院院长 吴甘沙

我相信奇点，但是采用一种预测（prediction）的态度，而非预报（forecasting），言之凿凿说2029或2045有点那个了。看人的智慧形成，也存在个奇点，在那之后加速进化，我看人的生理结构，DNA编码，脑和神经系统，那么精密，常常有种错觉人就是过了奇点的机器。熙霖老师关于伦理的观点很认同，机器人三大定律对机器人的约束力是不靠谱的，所以还是得约束机器人的始作俑者——人（就像现在约束人在基因工程上的作为一样），在机器发展到奇点之前，人必须把他的智慧脐带剪断，毕竟在这地球上从没有两种可以竞争的高级物种，而高级生命的扩张欲望是极其强烈的，在物质守恒的前提下只能毁灭非我同种者，因此，避免失控的办法就是提前让机器的某些方面的智能发育停滞。如果不加约束地发展，在奇点以后人的智能发展很难赶上机器。人类大脑毕竟是有局限的，而机器的运算能力、存储能力和互联能力是可以简单堆叠、（几乎）无限扩容的，它的学习能力可以不断提升。当大规模计算基础设施、大数据和认知科学发展到某个临界点，会出现机器自生智慧 （如创造力）、复杂情感 、主体意识和自我认知的涌现效应。不确定机器会不会受道德的约束，机器被教会用最优化的算法解决问题，在什么范围内是最优的，对机器自身，还是对主人，对机器种群，还是对整个人类社会，就像桑德尔《公正》公开课所讲的，不同理论对公正有不同的评判，也许不同的机器有不同的理解。

百度深度学习研究院杰出科学家 吴韧

计算机神经网络的进化，异构计算，大数据的迭代进化速度，特别是计算智能（computational intelligence）发展的速度，让奇点成为可能。以前机器一直希望模仿大脑，到国际象棋程序出现后，发现机器可以用另一种方式超越人脑。先理解人脑，再架构电脑的思路可能是错的。机器智能不应受人类大脑的模式制约，计算智能也许会是更好的方案。欧美的大脑计划在研究人脑，但人工智能的发展不必须以人脑作为模板，可以另起炉灶。电脑可以不知道也不理解人脑是怎么运作的，但完全可以按照自己的一套逻辑做超越人脑的事。人工智能的发展也会遇到各种瓶颈，但山不转水转，总有解决方案：例如存储能力与GPU的加速进化，这一切的快速推进，让一切皆有可能。而且可能性很大。但人工智能距离道德、情感等人类意识仍然很远。比如人在与电脑下棋快输的时候，可以恼羞成怒把电源关掉，这对于机器智能来说是太高阶了。

奇虎360副总裁兼首席隐私官 谭晓生

计算机不一定完全理性，程序逻辑也可以让机器失常。从电路上来讲，0-1其实是电压决定的，和电压相关的是电流，电源功率小点，电流一变，电压跟着变，计算机就会出匪夷所思的结果。冯诺依曼体系结构，修改数据即修改程序，数据突变有很多种方法，比如宇宙射线。一切按照理性的前提是不成立的。甚至高密度集成电路本身就有随机特性，而历史往往是小概率事件影响的。最近20年，机器学习在算法和应用上， DNN深度神经网络取得突破。算力的提升，分布式计算技术的进步改变了一些东西。游戏规则的改变，比量变影响深远的多，互联网改变了信息的流动方式，这点也会对社会，对人和机器的关系产生影响。例如机器学习了全人类的知识，见过各种伪装，你觉得它对伪装的识别能力比单个人类个体强还是弱？这是低端智能还是高端智能？前面吴韧和吴甘沙也提到大数据的发现是多维的，可以发现人类发现不了的细节。也许机器能识别出上万个特征，但人类只能识别出上百个。360在用这种方法识别网络攻击。目前看，比人整理的ips规则靠谱。我写过不少代码，见过诡异的事情，错误的代码，加上错误的数据，能出正确的结果。机器出错了，未必一定是糟糕的结果，而机器出错几乎是一定的，程序bug，硬件错误，甚至intel cpu都出过bug，现在的硬盘磁存储都已经是概率事件了。当有几千台存储服务器的时候，每个月要对硬盘数据重新校验一遍，每次都能发现有数据错了-当初写入后是校验过的！所以，谁说机器是理性的呢？理性的机器能干出这事儿么？故意出错？还有，写程序的人也会出错。文明的进化不用过分担心。哪天机器进化超过人了，从优胜劣汰角度，机器会带来更高的文明，人类为啥还要占着茅坑呢？看看三体，星舰文明，我很能理解。为了文明延续，要让最强者得到机会，四艘星舰留存一艘，其它舰人员甚至沦为食物，so what？更何况，即使从文明延续的角度，机器智能与人类也未必不能共处。

摘自网络