
MODEL **EDGE0-35B-A3B**HW **R5 5600H · 16GB 单通道**GPU **无独显 · VEGA 核显**
本文所有数据为**个人实测**，非官方数据。测试硬件：**某刻（初代）** 迷你主机 / AMD Ryzen 5 5600H（6核12线程）/ 16GB DDR4-3200 **单通道** / Vega 核显 / 512G NVMe / Windows 11 x64。
这台配置的二手行情：同级完整机挂牌 ¥1,550–1,590，千元级——不是垃圾价，但依然只是 RTX 4090 的零头。![shot-900.png](https://developer.qcloudimg.com/http-save/yehe-12784593/e5ed2a7bde9cb697a7c6132f83a6034b.png)
## 一、官方说 CPU 就能跑，但没人告诉你跑起来是什么体验

2026 年 11 月 12 日，Edge0 团队开源了 Edge0-145B 和 Edge0-120B，官方给出的数字非常挑衅：
- **145B 参数**，峰值内存 29GB，解码 **80+ tokens/s**
- 一台"合适的笔记本"就能跑，不用服务器
- 编码、推理、Agent 能力对标云端前沿模型

我搜了一圈（开源第 3 天）：真人实测只有寥寥几篇，且清一色 RTX 4090/5090 和 M2 Ultra（jansverre、goremy 等博主）；中文圈全是新闻通稿，无一篇真机部署。更有意思的是，已经有日文博主实测拆穿：**145B 宣传的"29GB 峰值内存"只算活跃内存，实际占用 54GiB**——29GB 是营销口径，不是你机器上会消失的内存。
而对 AMD 平台和核显用户来说，这场热闹暂时与你无关：145B 那一档只支持 NVIDIA CUDA，你们的上限是 35B 档——恰恰是官方文档里"CPU 就能跑"、装机基数最大的入门配置。
先泼一盆冷水：35B 是今年 9 月发布的 preview 版，官方模型卡自己承认 Agent 能力弱、质量有限，145B/120B 才是这次的重头戏。**那测它还有意义吗？**我认为有——因为"CPU 能跑"和"跑起来能不能用"之间隔着一整个数量级的体验差距，而这部分没人量化过。
于是我做了这次体验量化测试：一台**闲鱼千元级的某刻初代、单通道 16GB 内存、没有独立显卡**。先说结论：
**能跑。**热缓存后首字 1.3 秒、解码 4.27 tokens/s，日常聊天够用；但预填充只有 11.5 tokens/s，让它当编程 Agent 后端在数学上不可行。
## 二、部署实录（以及 4 个官方没写的坑）

### 坑 0：先认清你要下什么


| | | | |
|:-:|:-:|:-:|:-:|
|型号|架构|最低硬件|说明|
|Edge0-35B / 8B|GGML 原生引擎|CPU 即可（AVX2）|本文测试对象，AMD/核显用户的上限|
|Edge0-145B / 120B|edge0-strata 引擎|**NVIDIA 显卡 ≥16GB 显存 + CUDA 13**|本次的明星，核显/AMD 用户无缘|
### 坑 1：HuggingFace 直连超时

国内环境直连 `huggingface.co` 直接超时。解决办法是用 `hf-mirror.com` 镜像，模型共 18.38GB（4-bit 量化 + LoRA + 预路由器），4 个分片并行下载约 45 分钟：
bash — download.sh
```
curl -L -C - -o model-00001-of-00004.safetensors \
  "https://hf-mirror.com/Edge0/Edge0-35B-A3B-preview/resolve/main/model-00001-of-00004.safetensors"
```
`-C -` 参数务必加上，断了可以续传。下载完用 `stat -c%s` 对一遍字节数——我四个分片全部校验通过。
### 坑 2：引擎包里其实自带一切

GitHub Releases 下载 `edge0-chat-0.2.0-windows-x64.zip`（264MB），解压后里面有：
- `edge0-infer.exe`：预编译推理引擎，**不需要自己编译**
- `Edge0 Chat.exe`：官方图形界面
- `edge0-strata/`：145B 用的引擎（本机用不上）

### 坑 3：模型要先转换，而转换器在 Windows 上会崩

35B 不能直接用 HuggingFace 原始权重，需要先转成 GGUF 资产（+22GB 磁盘）。官方给了转换工具，但直接跑会报：
error output
```
error: [WinError 1314] 客户端没有所需的特权。
```
![shot1-code.png](https://developer.qcloudimg.com/http-save/yehe-12784593/6b0792af4ff8f23c07eb98198744ad36.png)原因：转换器用**符号链接**把源权重链接进暂存目录，而 Windows 非管理员、未开启开发者模式时无法创建软链。解法二选一：
- 系统设置里打开「开发者模式」；
- 给转换器打个三行补丁——同盘改用**硬链接**（无需任何特权，语义等价）：

python — patch.py
```
try:
    link.symlink_to(target)
except OSError:
    os.link(target, link)      # 硬链接 fallback
```
补丁后重跑，转换 661 秒完成，自检 703 个张量全部通过：
convert.log — output
```
[self-check] edge0-35b.gguf: tensors=703 kv=39 OK
DONE 35b: gguf=20.26GiB lora=40.5MiB took 661.3s
```
### 坑 4：核显 Vulkan 加速是负优化

官方文档说 Windows 支持 `--prefill-device vulkan`（预填充走 GPU）。RTX 4070S 参考机上，这一项把首 token 时间从 17 秒压到 3.9 秒，很诱人。
我在 Vega 核显上实测：**不升反降**。预填充速度没变（核显算力太弱），解码反而从 4.27 掉到 2.93 tok/s——引擎日志显示产生了 **80 次 GPU↔CPU 数据交接**，每次都在拖后腿。
**教训：iGPU 用户老老实实用纯 CPU。**
### 顺带回答一个必然有人问的问题：为什么不直接用 Ollama 跑原版 Qwen3.6-35B？

Edge0-35B 本质是 Qwen3.6-35B-A3B 加了 LoRA 和一个预路由器。直接跑原版理论上更"纯净"，但有两个坑：
- **Qwen3.6 的 GDN（Gated DeltaNet）架构在 llama.cpp 的 AMD Vulkan 后端上有解码崩塌 bug**——预填充正常 3100+ tok/s，解码掉到个位数，社区已有 issue，我这种老核显大概率中招；
- Edge0 的**预测路由**（预路由器预测下一个 token 需要的专家、提前从 SSD 预取）是白送的 ~50% 解码提速，原版模型没有这个加成。

所以在这台机器上，Edge0 版反而是更优解。
## 三、Benchmark：三组对照实验

测试方法：253 token 中文提示，预热 10 步，计时 100 个生成 token，官方 bench 工具。

| | | | | |
|:-:|:-:|:-:|:-:|:-:|
|配置|解码速度|预填充|首token|结论|
|CPU 4 线程（默认）|**4.27 tok/s**|11.5 tok/s|22.0s|✅ 最优|
|CPU 6 线程|4.20 tok/s|11.3 tok/s|22.5s|无提升|
|Vulkan 预填充 + CPU 解码|2.93 tok/s|11.0 tok/s|23.1s|负优化|
三个反直觉的发现：
edge0 本地对话实测：缓存热启后首字 1.3 秒，生成 4.4 tokens/s]FIG.1 — 本地对话页实测：缓存热启 TTFT 1.3s · 4.4 tok/s（界面为作者原创设计）**发现 1：加线程没用，瓶颈在内存带宽。**6 线程和 4 线程成绩一样。单通道 DDR4-3200 的理论带宽只有 25.6GB/s，解码时每个 token 都要把激活专家的权重从内存过一遍——CPU 核心再多也只能等内存。
**发现 2：稀疏 MoE + 预测路由，是它能在低配机器上活下来的原因。**总参数 35B，每 token 只激活约 3B。官方引擎的预测路由会提前预测下一个 token 需要哪些专家，趁当前 token 在算的时候从 SSD 预取。日志显示预取 3564 次、仅 2 次迟到——这项技术是 Edge0 那篇 arXiv 论文（*The Other Half of the Memory Wall*）的核心。
**发现 3：内存峰值只有 3.77GB。**16GB 内存的机器跑得毫无压力，专家权重大部分时间躺在 SSD 里按需换页。官方宣传"手机级内存"不是吹的。
## 四、灵魂拷问：它能当编程 Agent 的后端吗？

这是我最想回答的问题。答案：**不能，而且是数学上不能。**
用 OpenCode 实测，Agent 模式每次请求的系统提示词（工具说明 + 角色设定）约 **11,000 tokens**。而我这台机器的预填充速度是 **11.5 tokens/s**：
11,000 ÷ 11.5 ≈ 16 分钟
也就是说，你在编程助手里敲下一个问题之后，要白等 16 分钟才开始看到第一个字。这还是模型开始"思考"之前。
问题的本质是：**Agent 工具和 SSD 流式推理是错配的。**Agent 的架构是"大系统提示词 + 高频多轮调用"，每一轮都要重新消化全部上下文；而流式引擎的长项是"小提示词 + 长输出"。两者对预填充的要求完全错位。
顺带一提，双通道内存能把预填充翻倍到 ~23 tok/s，16 分钟变 8 分钟——依然是不可用。
## 五、那它到底适合谁？

结合实测，我给出这台机器上的使用边界：

| | | |
|:-:|:-:|:-:|
|场景|体验|判定|
|本地隐私问答（Chat 界面）|热缓存首字 1.3 秒，冷启动 ~6 秒|✅ 甜点区|
|3K 以内的文档分析|首字 ~30 秒，可以接受|✅ 可用|
|长文写作|4.3 tok/s，比阅读速度慢|⚠️ 磨人|
|编程 Agent 后端|16 分钟首字|❌ 数学上不可行|
想接近官方宣传的速度，先分清两档，别被一句话带偏：
- **35B 档：不需要 N 卡。**官方支持矩阵是 macOS Metal/CPU、iOS、Android CPU、Linux CPU、Windows CPU/Vulkan——从头到尾没有 NVIDIA。瓶颈确实是内存带宽：我把解码线程从 4 加到 6 速度纹丝不动（本文实测）；官方数据也跟着带宽排序——M5 16GB 跑 24.8 tok/s，安卓旗舰只有 6–9 tok/s。
- **145B 档：NVIDIA 是硬门槛。**官方要求 Linux/Windows + NVIDIA GPU + CUDA 13，v0.2.0 发布说明明确 compute capability ≥7.5（RTX 20 系起步）。官方没公布"最低配置"，但模型卡给了一行受限测试：**16 GiB 显存 + 20 GiB 内存预算下，Q3_K 仍有 44.9 tok/s**——这是目前最接近"下限"的官方实测。速度表上 RTX 4090 24GB 跑 91.7 tok/s、RTX 5090 D 跑 121.2 tok/s，"80 tok/s"宣传的主角就是这一档。另外提醒：145B 权重体积 Q3_K 40.8 GiB / NVFP4 47.8 GiB，SSD 也要提前留够。

**一句话总结：35B 人人能跑；145B 必须先买 N 卡（RTX 20 系起步，官方实测过的最低预算是 16G 显存 + 20G 内存，44.9 tok/s 起步）。**
但我依然认为这次部署有价值：**它验证了 Edge0 宣传的下限是真的。**一台没有独显、单通道内存的千元级二手迷你主机，确实能让一个 35B 的 MoE 模型以可交互的速度运行。三年前这需要一台服务器，今天它塞进了一个鞋盒大小的盒子。
顺手算一笔"垃圾佬经济学"的总账：

| | |
|:-:|:-:|
|项目|成本|
|同款迷你主机 5600H/16G/512G（闲鱼二手，2026-11 行情）|~¥1,550|
|加装一条 16GB 内存组双通道（可选升级）|~¥200|
|电费（整机满载 ~60W × 每天 4 小时）|~8 元/月|
|模型、引擎、工具链|**0 元**（全开源）|
|**合计**|**约 ¥1,750，拥有一个完全离线、无月费、数据不出门的本地大模型终端**|
作为对比：一张全新的 RTX 4090 超过万元。这个价位买不到"快"，但买到了"能跑"和"私密"——剩下的瓶颈（内存带宽）恰好是消费级硬件最便宜的升级项。
#### ■ DECLARATION / 声明

- 本文所有性能数据为**个人实测**，测试环境已在文首注明，不代表官方数据，不同硬件结果会有显著差异；测试对象为 Edge0-35B-A3B-preview 检查点，后续正式版表现可能不同
- edge0 名称与相关商标的权利属于 Edge0 团队（GitHub: Edge0-AI），本文为独立评测，与官方无关；文中界面 Logo 为作者原创设计
- Edge0 推理框架采用 Apache-2.0 许可，模型权重采用 Edge0 Community Model License 1.0（个人使用/研究免费，商用需另行授权）
- 部署过程参考了官方文档与 edge0-infer 仓库，实测补丁已附在文中
- 搭建 Web 对话端时的一个通用教训，与 Edge0 无关但值得记录：Windows 上 Python `http.server` 默认的 `SO_REUSEADDR` 允许多进程重复绑定同一端口，重启服务前记得 `netstat -ano` 清理僵尸进程，并设 `allow_reuse_address = False`

— EOF · SIGNAL NEVER LEAVES THIS MACHINE —
你手上最低配的设备跑过最大的模型是什么？欢迎评论区交流。

MODEL EDGE0-35B-A3BHW R5 5600H · 16GB 单通道GPU 无独显 · VEGA 核显本文所有数据为个人实测，非官方数据。测试硬件：某刻（初代） 迷你主机  AMD Ryzen 5 5600H（6核12线程） 16GB DDR4-3200 单通道  Vega 核显  512G NVMe / Windows 11 x64。这台配置的二手行情：同级完整机挂牌 ¥1,550–1,590，千元级——不是垃圾价，但依然只是 RTX 4090 的零头。

Edge0-145B 的实测全在 4090 和 M2 Ultra 上，我偏用一台千元级迷你主机测了它的小弟 35B

MODEL EDGE0-35B-A3BHW R5 5600H · 16GB 单通道GPU 无独显 · VEGA 核显本文所有数据为个人实测，非官方数据。测试硬件：某刻（初代） 迷你主机  AMD Ryzen 5 5600H（6核12线程） 16GB DDR4-3200 单通道  Vega 核显  512G NVMe / Windows 11 x64。这台配置的二手行情：同级完整机挂牌 ¥1,550

人工智能

硬件

开发工具

千元级AMD迷你主机实测Edge0-35B-A3B：CPU可跑、热缓存首字1.3秒、解码4.27tokens/s，预填充11.5tokens/s。揭示单通道内存带宽瓶颈、核显Vulkan负优化及编程Agent不可行性。提供详细部署坑点与性能基准，适合隐私问答与文档分析。

代码解释

路由器

服务器

Windows

Python

GitHub

路由

Linux

Agent

LoRa

4核4G3M云服务器 新用户低至38元/年！

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

Edge0-145B 的实测全在 4090 和 M2 Ultra 上，我偏用一台千元级迷你主机测了它的小弟 35B-腾讯云开发者社区-腾讯云

Edge0-145B 的实测全在 4090 和 M2 Ultra 上，我偏用一台千元级迷你主机测了它的小弟 35B

Edge0-145B 的实测全在 4090 和 M2 Ultra 上，我偏用一台千元级迷你主机测了它的小弟 35B

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐