性能赶超Mistral-7B，清华/面壁开源MiniCPM-2B系列轻量模型

‍始智AI wisemodel.cn开源社区

始智AI wisemodel.cn社区将打造成huggingface之外最活跃的中立开放的AI开源社区。“源享计划”即开源共享计划，自研的开源模型和数据集，以及基于开源成果衍生的开源模型和数据集等，欢迎发布到wisemodel.cn社区，方便大家更容易获取和使用。

轻量大模型是近期开源社区里的热点方向。清华NLP实验室及面壁智能于2024年2月1日，发布并开源MiniCPM-2B系列模型，同时还开源了基于MiniCPM-2B的MiniCPM-V以及OmniLMM-12B的多模态模型，此次开源的模型已经同步在始智AI wisemodel.cn开源社区一起首发。MiniCPM-2B只有20亿的参数，但性能超越了Mistral-7B和LLaMa2-13B等更大参数量的模型。MiniCPM-2B

https://wisemodel.cn/organization/OpenBMB（组织页面）

一、MiniCPM概述

MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧语言大模型，主体语言模型 MiniCPM-2B 仅有 24亿（2.4B）的非词嵌入参数量。

经过 SFT 后，MiniCPM 在公开综合性评测集上，MiniCPM 与 Mistral-7B相近（中文、数学、代码能力更优），整体性能超越 Llama2-13B、MPT-30B、Falcon-40B 等模型。

经过 DPO 后，MiniCPM 在当前最接近用户体感的评测集 MTBench上，MiniCPM-2B 也超越了 Llama2-70B-Chat、Vicuna-33B、Mistral-7B-Instruct-v0.1、Zephyr-7B-alpha 等众多代表性开源大模型。

经过 Int4 量化后，MiniCPM 可在手机上进行部署推理，流式输出速度略高于人类说话速度。MiniCPM-V 也首次跑通了多模态大模型在手机上的部署。

一张1080/2080可高效参数微调，一张3090/4090可全参数微调，一台机器可持续训练 MiniCPM，二次开发成本较低。

二、OmniLMM-12B概述

OmniLMM-12B 是当前系列中性能最强大的版本。该模型使用一个感知重采样层连接 EVA02-5B 和 Zephyr-7B-β 来构建，采用了课程学习的方法在多模态数据上进行训练。该模型具有三个显著特征：

卓越性能。OmniLMM-12B 相比其他同规模模型在多个基准测试中取得领先的性能（包括 MME、MMBench、SEED-Bench 等）。该模型还支持OCR功能，并掌握了丰富的多模态世界知识。

可信行为。LMMs 的幻觉问题备受关注，模型经常生成和图像中的事实不符的文本（例如，信誓旦旦地描述图片中并不存在的物体）。OmniLMM-12B是 第一个通过多模态 RLHF 对齐的最新开源 LMM 来实现可信行为。该模型在 MMHal-Bench 幻觉评测基准上位列开源模型中第一，并在 Object HalBench 中超过了 GPT-4V。

实时多模态交互。将 OmniLMM-12B 和 GPT-3.5 结合成一个实时多模态交互助手。该助手接受来自相机的视频流和来自麦克风的语音流，并发出语音输出。虽然还处于初级阶段，但也发现该模型无需视频编辑就可以复现出现在 Gemini 演示视频中的一些有趣例子。

https://wisemodel.cn/space/gradio/OmniLMM-12B（体验地址）

三、MiniCPM-V模型概述

MiniCPM-V是一个高效率版本的模型，可用于终端机器上的部署。该模型基于 SigLip-400M 和 MiniCPM-2.4B 构建，通过感知器重采样器连接。MiniCPM-V的显著特点包括：

高效率。MiniCPM-V 可以高效地部署在大多数GPU卡和个人电脑上，甚至在移动手机等终端设备上。在视觉编码方面，通过感知器重采样器将图像表示压缩为 64 个 token，远远少于基于MLP架构的其他LMMs（通常大于 512 个 token）。这使得 MiniCPM-V 在推理期间内存成本更低且速度更快。

优秀的性能。MiniCPM-V 在与相似大小模型相比的多个基准测试中实现了最先进的性能，超过了基于 Phi-2构建的现有 LMMs。它甚至实现了与9.6B Qwen-VL-Chat 相媲美或更好的性能。

双语支持。MiniCPM-V 是第一个支持英语和中文双语多模态交互的终端可部署 LMM。这是通过跨语言泛化多模态能力实现的。

https://wisemodel.cn/space/gradio/MiniCPM-V（体验地址）

四、DEMO演示

加盟入伙

始智AI wisemodel社区自2023年9月上线以来，取得了积极的进展，初步形成一定的影响力，为了加快公司发展，我们长期需要技术、运营等人才加盟（工作或者合伙创业），技术侧重在AI infra、后端开发，熟悉K8S、模型训练和推理等技术， 以及熟悉开发者生态运营的成员（根据个人意向可备注“求职”或“创业”）。

同时我们有意建设一支wisemodel社区的志愿团队，负责社区的运营和技术支持等工作，涉及模型、算法、开发、运营等相关的工作，在此有机会跟行业和学界的大牛等学习接触的机会，欢迎感兴趣的同学和老师等加入志愿者团队（备注“志愿者”）。

专题研究

始智AI wisemodel.cn开源社区由清华校友总会AI大数据专委会副秘书长刘道全创立，旨在打造和建设中立开放的AI开源创新社区，将努力打造成“HuggingFace”之外最活跃的社区，汇聚主要AI开源模型和数据集等，欢迎高校科研院所、大型互联网公司、创新创业企业、广大个人开发者，以及政府部门、学会协会、联盟、基金会等，还有投资机构、科技媒体等，共同参与建设AI开源创新生态。