微软开源了小巧强大的Phi-3-mini模型，训练数据高达3.3T

在AI语言模型赛道上，微软再次引领潮流。4月23日晚，以一种小巧玲珑却功能强大的新成员——Phi-3-mini震撼开源界，引发广大开发者和技术爱好者的热议和关注。

Phi-3-mini，作为微软核心Phi语言模型家族的最新力作，以38亿参数的体量和3.3T tokens的庞大训练数据登场。相比于众多大模型，这样的数据量和参数设置让Phi-3-mini在性能上有着不输大哥大姐们的实力。

为何优秀?简而言之，Phi-3-mini不单纯追求参数的堆砌，反而更侧重于数据质量和算法精度。通过对训练数据的严格筛选，微软专精于每一个token的教育质量，确保每一步学习都是有效和有价值的。

不止如此，Phi-3-mini的体积和内存占用极少，赋予它在各种移动硬件设备上运行的潜力。比如，你或许难以想象，但现实是，即便是在一部普通的iPhone14上，Phi-3-mini也能够表现出色，每秒生成12个tokens，这种轻盈与速度的结合，堪称现代工程奇迹。

Phi-3-mini采用了transformer架构，支持4K和128K上下文窗口，而后者使其在同类的小模型中独树一帜。迭代训练策略和合成数据则进一步增强了Phi-3-mini在语言理解、逻辑推理等多个方面的实力。

结尾，随着Phi-3-mini的开源，微软不仅证明了自家在小参数模型上的前瞻思维，而且，更为全球开发者社区投下一颗强大的种子。期待着在这颗种子的滋养下，世界各地的智能程序和应用将茁壮成长，绽放出它们独特的光彩。

文章标签：#Phi3Mini #微软开源 #AI语言模型 #小参数模型 #编程界新宝藏