---

**Colibri** 是一个纯 C 推理引擎——零依赖、单个 C 文件——把 744B 到 2.8T 参数的 MoE 模型跑在消费级硬件上。

思路一句话：**把 VRAM、内存、SSD 当成同一个内存层级**，专家权重从磁盘按需流式加载。引擎几百 KB，模型 372 GB。

---

## 一、关键洞察：MoE 模型不用「装进内存」

一个 744B 的 Mixture-of-Experts 模型，每个 token 只激活约 40B 参数，其中逐 token 变化的只有约 11 GB（被路由的专家）。

所以模型不需要**放得下**——需要**摆得对**：

```txt
稠密部分（注意力、共享专家、嵌入，~17B 参数）
  → int4 常驻内存（~9.9 GB）

19,456 个路由专家（75 层 × 256 + MTP 头，每个 ~19MB）
  → 躺在磁盘上（~370 GB），按需流式加载
  → 每层 LRU 缓存 + 学习型热区固定 + 可选 VRAM 层
```

作者把核心算法总结成一句话：**这是权重的 JIT**。编译器 JIT 从不编译整个程序——它观察实际执行的热路径，及时编译。Colibri 对 744B 参数空间做同样的赌注：权重不是常驻状态，是**跨存储层级暂存的数据**，路由证明需要时才加载。

它有效的前提：路由有可测量的结构。下一层路由的**71.6% 可预测**——结构是可缓存的。

---

## 二、性能阶梯：同一引擎，硬件只决定专家住哪

| 硬件 | 解码速度 |
|------|---------|
| 6× RTX 5090，全常驻 | 5.8-6.8 tok/s |
| 128GB 纯 CPU 台式机 | ~1.8 tok/s（热） |
| RTX 5070 Ti 笔记本 | 1.07 tok/s |
| 25GB 开发机 | 0.05-0.1 tok/s（冷）——项目起步的诚实底线 |

从 25GB 的机器到 6 卡工作站，同一引擎、同一 int4 容器，变的只是专家放在哪。

---

## 三、系统技巧：把磁盘 I/O 变成引擎的一部分

- **双 SSD 镜像**：模型放两份，读带宽翻倍。9 GB/s + 3 GB/s 的盘对，专家读取比单盘快 33%。镜像启动时校验、永不被写、读错降级不崩溃。放不下全量的第二块盘可以按热区**部分镜像**
- **Batch-union**：批量 token 中每个专家只读一次
- **异步 I/O 池**：缺失专家在后台加载，常驻专家同时计算
- **路由前瞻**：PILOT 线程预取下一层专家
- **O_DIRECT**：绕过页缓存，实测某机器 +34% 解码——但驱动相关，QLC 盘可能反而变慢
- **CUDA / Metal / Vulkan** 三后端，Vulkan 甚至让 RX 580 这类被厂商抛弃的卡跑起来

---

## 四、正确性不是可选项

Colibri 的工程哲学写得很硬：**速度没有 SLA，语义有硬保证**。

- 前向传播对照 transformers 预言机验证（teacher-forcing 30-32/32 命中）
- **默认策略永不悄悄改变模型精度或路由语义**——快内存不够只影响速度，重新定义模型不行
- MLA 注意力压缩 KV 状态 57 倍（576 float/token vs 32,768），跨重启持久，恢复会话零 re-prefill，字节级一致
- 投机解码两条血泪规则做成默认：MTP 头必须 int8（int4 头接受率崩到 0-4%）、draft 和 verify 必须算同一个函数

量化质量单独测：int4 容器的量化代价、scale 粒度、rotation 消融全部有数据。一个老的 per-row int4 镜像质量差 9pp，还是 think-mode 死循环的根因——文档里直接点名。

---

## 五、研究平台，不只是引擎

Colibri 把自己定位成开放研究平台，一张假说表开诚布公：

| 假说 | 证据 | 待做实验 |
|------|------|---------|
| 路由历史比纯 LRU 摆得更好 | 学习型 pin 改善重复负载，但可能过拟合 | 跨会话 A/B |
| 多 SSD 能变成解码速度 | 加权分流已验证 | 冷缓存单盘 vs 双盘 |
| 路由感知的投机解码能回本 | MTP 在 85% 专家命中率时反而 -32% | 画盈亏曲面 |

**负结果也欢迎发表**。「一个控制良好的失败比一个无法解释的快数字更有价值。」

还有本地集群模式：coordinator 保 token 生成和 KV，专家 FFN 分发到其他 Mac 的磁盘执行——一个 token 不会为每个专家付一次往返。

---

## 六、跑起来

```bash
# 引擎（几百 KB，预编译 release 或 gcc + OpenMP 源码构建）
# 模型（372 GB int4 容器，Hugging Face）

./coli chat
```

```txt
🐦 colibri v1.11.0 — GLM-5.2 · 744B MoE · int4 · streaming CPU
✓ ready in 32s · resident 9.9 GB
```

---

## 结语

前沿模型的私有访问权，从此不绑定超算级硬件。Colibri 把这个命题做成了纯 C 的几百 KB——专家从磁盘流进来，路由热度决定谁住快层，机器越用越热、越热越快。

它的意义超出工具本身：**权重从「资产」变成了「数据」**——可以分阶段放置、按需加载、跨机器分发。这对整个推理经济的成本结构是一个根本性的挑战。


Colibri 是一个纯 C 推理引擎——零依赖、单个 C 文件——把 744B 到 2.8T 参数的 MoE 模型跑在消费级硬件上。

Colibri：用纯 C 在家用硬件上跑 744B 大模型

Colibri 是一个纯 C 推理引擎——零依赖、单个 C 文件——把 744B 到 2.8T 参数的 MoE 模型跑在消费级硬件上。 思路一句话：把 VRAM、内存、SSD 当成同一个内存层级，专家权重从磁盘按需流式加载。引擎几百 KB…

软件研发

人工智能

编程语言

开发工具

Colibri纯C推理引擎，零依赖单文件，让744B-2.8T MoE模型在消费级硬件运行，核心是VRAM/内存/SSD统一层级，专家权重按需流式加载。6×RTX5090达5.8-6.8tok/s，128GB CPU约1.8tok/s，磁盘I/O优化（双SSD镜像、批处理、前瞻预取）提升速度，且保证语义正确性，是开放研究平台。

代码解释

编译器

容器

路由

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

Colibri纯C推理引擎，零依赖单文件，让744B-2.8T MoE模型在消费级硬件运行，核心是VRAM/内存/SSD统一层级，专家权重按需流式加载。6×RTX5090达5.8-6.8tok/s，128GB CPU约1.8tok/s，磁盘I/O优化（双SSD镜像、批处理、前瞻预取）提升速度，且保证语义正确性，是开放研...

Colibri：用纯 C 在家用硬件上跑 744B 大模型-腾讯云开发者社区-腾讯云

Colibri：用纯 C 在家用硬件上跑 744B 大模型

Colibri：用纯 C 在家用硬件上跑 744B 大模型

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐