面壁智能发布小钢炮3.0：内存降到2GB、支持无限长文本

腾讯科技作者 李海丹

9月5日，面壁智能发布了新一代“小钢炮3.0”，在功能支持和上下文处理能力等方面都进行了升级。

相比MiniCPM最新的V2.6版本，3.0版本参数有所下降，从8B参数变为4B，但量化后的内存条件由6GB降到了2GB，并具备在弱网或断网环境下运行能力，支持Function Call和RAG等复杂任务处理。面壁智能发布了RAG三套组件：MiniCPM-Embedding(检索模型)、MiniCPM-Reranker(重排序模型)和面向 RAG 场景的 LORA 插件(生成模型)。

RAG是一种能够让模型在生成内容时，可以引用外部知识库的技术组件。通过RAG，模型可以不再仅依赖于本身的训练数据，能够实时检索到最新和需要的数据。面壁智能CTO曾国洋表示，“大模型+RAG 在行业中极其实用，比如对法律、医疗等依赖专业知识库、对大模型幻觉容忍度极低的垂直行业”。

在各大模型玩家相互追赶的长文本领域，面壁智能在今年4月发布2.0时能力为128K，此次直接升级到了“无限长文本”——引入了“无限变频”LLM与MapReduce长本文分帧处理技术。“无限变频”，更像是一种技术优化后的扩展，而非字面意义上的“无限”。我们可以理解为像给AI增加了记忆扩展功能，够把更长的文本切分成多个部分进行处理，并在需要的时候“回忆”此前的内容。这种能力可以提高AI在处理复杂任务中的表现，比如分析长篇论文、生成完整的长文档或处理海量数据。

LLMxMapReduce技术框架图

目前，端侧AI正逐渐成为各大科技厂商争夺下一代流量入口的关键战场。面壁智能CEO李大海向腾讯科技表示，“端侧模型具备本地运行能力优势，无需上传至云端，提升用户的隐私数据和使用体验，我们也在持续优化端侧模型的隐私数据处理能力。不过具体系统级的安全部署，需要与终端厂商深度合作，仅靠面壁自己是很难完成的。我们会与厂商合作，确保安全方面的部署”。