推理与统计：推理的来源是什么？

最近chatGPT大火，自己也刷了不少相关的文章，自己一知半解，网上大都也是蹭热点的小作文。

有文章提到chatgpt已经具备了复杂的推理能力，按照自己以前对这些大模型的了解，是不太相信的，那不过就是从训练数据提炼出来的观点，本质是一种统计的运算。这些大模型本质应该还是量变的范畴，不过大力出奇迹，难道量变产生质变了？

把各种各样的数据喂给大模型之后，大模型可能可以学习到里面的各种知识，如果我们提问的问题在这些训练数据所涵盖，理论上是有机会得到相应答案的。这时，我们能说他具备推理能力了吗，也许他只是记住了答案。网文说，chatgpt的推理能力很可能是来源于代码的学习，代码确实可能是学习逻辑的最佳训练集了，如果他从海量的代码里，学习到了逻辑运算的模式，再加上大模型本身所学到的知识，如果融合在一起，是不是就是产生推理能力了呢？

好像是这么回事，不过这个归纳推理，难道不也是从训练集统计而来的吗？如果这么看，那我们个人的推理能力是不是也是这么来的？小时候我们刚学数字“1”的时候，可不是爸妈告诉你这个是“1”，然后你就认识了“1”，那可能是爸妈举了好多的例子告诉你，那是“1”，而我们目之所及也看到了许许多多的信息，这些信息不断在大脑里运算提炼，最后可能才抽象出“1”的概念。

简单点说，“1”这个概念可能是大量的数据在大脑中训练得到的，人类的学习模式可能是大量的无监督学习+少量的有监督学习，而大模型显然也是这个套路。但是显然，目前基于冯诺依曼架构的机器计算显然比人脑生物计算的能耗要高出许多，不过这样的理解是不是正确的呢，毕竟我们的人脑发展成今天的样子也是经过三十多年才成今天的样子。

话又说回来，推理的来源是不是也是统计？这么理解是不是也是可行的。某个知识本身可能没在训练集中出现过，不过这个知识所包含的概念在训练集中出现了，而且知识本身的逻辑模式也在训练集中出现了，只要模型把这些都记住，两者一结合，推理好像就水到渠成了。

借助AI的辅助，人会爆发出更大的生产力。

以上有点胡思乱想。。。。