微软发表了篇论文ChatGPT（gpt-3.5-turbo）时，标称参数量竟然只有20B！200亿参数低于市场上流传的1750亿

研究有一个普遍现象：对于更多的算力，我们再熟悉不过了，总是觉得计算量越大，模型就必然越复杂，处理问题的效果就必然越好。这种观念倒也不是完全无效，因为事实上在很多场景下，大规模模型确实呈现出了强大的性能，微软发布了这篇论文“CodeFusion”，内容却给了全新的思考维度。

论文提出的CodeFusion是一个参数量只有75M的小规模扩散模型，看似‘小小’的模型，但其实意义举足轻重，大家最感兴趣的却是其中的一个有趣数据——在和ChatGPT (gpt-3.5-turbo）比较时，作者表明模型参数仅为20B，即两百亿个参数，这一数据比市面上流通的1750亿现状低得多。这引发大家开始质疑，是不是存在疏漏，如笔误或者错误的省略数字。

假如说这一参数真实无误，那么过去长期受限于的“模型的规模和效果与算力有绝对关系”的观点可能就需要修正了。这将会改写现有的大模型研发理论，大模型的研发领域关键其实更在算法，而不完全取决于算力。

需要重新规划和审视我们对模型设计的理解，不仅仅在于堆砌硬件，优化算法和策略可能会提供更多可能性，这将重塑对于AI技术优化和提升的看法，也会引领以更全面的视角来解决技术难题，探索更高级的认知技术，这也再次提示科学研究是不断发展，需要我们持续地跟进和更新知识才能掌握最新的动态和趋势。