openai成不了雨伞公司的原因

这一点，在大模型训练迭代的初期是有一定效果的，比如GPT3使用了1750亿个参数，GPT4就增加到1.8万亿个。

进入2024年，美国AI发展有停滞的迹象，主要有两方面原因，一方面是输入端，前期的数据模型已经学习完毕，涉及到数据保护和跨行业数据的人工标记使用，导致后面的数据供给面临枯竭。

另外GPT堆叠算力，数据的训练方法，逐渐进入边际效应递减的瓶颈。

这一点毋庸置疑，上一篇提到，OPENAI关于scaling law的描述仅限于实践端的经验性规律，它必然受到更底层原则的制约。

边际效应递减就是其中之一，随着投入的成本和消耗的时间越来越大，产出的成果必然不断减少，直至到达平衡点。

我们可以设想一下，假如AI领域的scaling law一直有效，那意味着通往未来智能之路需要更多资源，更高代价，目前只是需要算力和数据，那后面一定会蔓延至土地、电力等其他IT资源。

有点像《生化危机》里的“保护伞公司”（Umbrella Corporation），一个智力数字巨兽的时代，一个灰暗的未来：集中、垄断和不可持续。

电影里，“保护伞公司”代表了科技滥用与资本垄断的黑暗面，如果未来真是一样的发展路径，确实有几分应景。

庆幸的是，根据物理定律推断，简单的堆叠模型规模、数据量和算力的策略不可能长久，当遭遇训练瓶颈时，必然会迫使研究者和开发人员重新评估和优化模型的设计与训练策略，进而优化资源分配。

----

美好的一天开始了，早安～

愿朋友们健康长随

连续跳绳958天达成

2000次，DONE～