2024年4月，首个干掉老版本GPT4的开源大模型来了

有心永远不迟，42岁的80后，2022年开始拥抱人工智能。LLM、AIGC、AGENT、WEB3-DAO全领域产品研发、行业投资机会研究。

在huggingface对战排行榜上，最近出现了首个能够超越老版本GPT4的开源模型C4AI Command R+。

C4AI Command R+ 是一个 104B 级别的模型，也就是1040亿参数。它的能力包括检索增强生成 (RAG) 和用于自动执行复杂任务。此模型生成中使用的工具支持多步骤工具使用，这允许模型在多个步骤中组合多个工具来完成困难的任务。C4AI Command R+ 是一个多语言模型，以 10 种语言进行性能评估：英语、法语、西班牙语、意大利语、德语、巴西葡萄牙语、日语、韩语、阿拉伯语和简体中文。

C4AI Command R+ 和DBRX instruct，再加上马斯克的GROK-1构成了今年上半年海外开源模型的最强音。

C4AI是一个对RAG特别强化的模型，RAG也就是检索强化生成，很多企业特别看重的功能，大家比较熟知的事情是，有了RAG，小模型也可能在特定任务不输给一般大模型；特别是在特定任务比如知识库问答、数据搜索问答以及agent任务执行里面，都离不开RAG。

虽然，104B级别的模型仍然太过庞大（约200G大小），但如果经过INT4压缩成原来的1/4，它也可能在3-4张3090显卡规模的小型服务器上实现推理。这也意味着，企业也可以用大约不到10万人民币的预算部署这个可以和早期GPT4匹敌的开源模型。

如果实在无法使用 Command R+ ，其实也可以使用次一档的Command R。它有35B的规模，在量化之后刚刚适合单张3090/4090部署。

坤叔也使用了OLLAMA在3090主机上实现了对它的部署。

部署方法见上图，非常简单！

当然，要把它跑起来，你最好还是有一台大内存大显存的电脑！

讲回发布Command R+ 的Cohere For AI，在人工智能领域著名的Transformer论文Attention Is All You Need里面，Cohere 的创始人Aidan Gomez 赫然在列。

大模型观察

AI工具资源