
Rust 推理引擎做的事很直白:你给它权重和输入,它吐回 token、向量或分数——模型可以是 LLM、embedding、分类器或推荐器。这是一个从夏天开始、我自己也在做(Frink,纯 Rust LLM 引擎)的领域。动手造一个之后,我搞清楚了一件很多人搞混的事:关于 Rust 的那些常见说法,哪些成立,哪些得打个 footnote。
不管什么模型,一次调用都过同样的阶段。以 API 后面的 LLM 为例:请求进来 → 加载权重 → 跑 forward pass → 管理 KV cache 和采样循环 → 返回结果。引擎就是中间那段。一个像样的引擎还要处理并发:batching、排队、内存管理。
典型分工是 Python 训练、Rust 服务。训练依赖 PyTorch、TensorFlow、CUDA 工具链和多年积累的研究代码,Rust 短期替代不了。而服务侧的诉求不同:延迟、每美元吞吐、内存、启动时间、部署难度——这些恰好是 Rust 的强项。
"Rust 快"这个说法有条件。用 Rust 写引擎不会让它自动变快。推理时间大部分耗在矩阵上的紧凑循环,速度取决于背后的 SIMD、Metal 或 CUDA 代码——PyTorch 的 kernel 也不是 Python 写的。
Frink 自己就是活例子:在 M2 Pro 上(v0.20)它解码比 llama.cpp 还快,因为优先把功夫下在了 Metal kernel 上;而在 CUDA 上,最近一次 RTX 3090 测试(v0.21)prefill 慢了 25~43 倍——同一种语言,结论完全相反。所以别信"Rust 就是快",要在你自己的硬件上 bench 引擎本身。
没有 GC、没有解释器、没有大运行时蹲在模型旁边。权重该占多少还占多少,但周边的东西全缩了——这在边缘设备和"扩成很多小副本"的服务里最值钱。
并发也更好:async Rust 用少量线程扛几千条打开的连接流,类型系统在编译期就拒掉数据竞争。Python 那边的 GIL 是常见瓶颈,不过原生代码可以在 forward pass 期间释放 GIL,所以瓶颈主要落在模型周边;Python 3.14 也把 free-threaded build 正式支持了(可选,GIL 仍是默认)。但有个 Rust 专属坑:推理是吃 CPU 的,别让它跑在 async worker 上——用 spawn_blocking 或专用线程,否则其他流全卡住。
安全这条要打折:safe Rust 排除 use-after-free 和数据竞争,但管不了你调用的 C++ 库。ort、tch-rs、llama.cpp 绑定都照样能段错误。GPU kernel 在任何语言里都需要 unsafe,纯 Rust 引擎里这份正确性是你自己的责任。Rust 也不会抓到"模型算错了"——这是我在 Frink 里最担心的 bug,做法是每个架构都拿 llama.cpp 的 logits 对照验证,没有证据的架构直接拒绝加载。
单二进制是个大杀器,但同样有条件:拷一个文件到服务器就能跑,胜过把 Python wheel 和 CUDA 驱动对版本。Frink 在 macOS arm64 上是 23MB 的二进制(含 server),光 PyTorch 就 402MB。前提是你避开大型原生依赖——tch-rs 还是要 libtorch,ort 还是要 ONNX Runtime。
1. ort(ONNX):非大型 LLM 场景的默认选择。导出一次,从 Rust 跑。ONNX Runtime 成熟,execution provider 覆盖 CUDA/CoreML。适合 embedding、BERT、分类器、reranker 这类图固定、单次 forward 的场景。注意 GPU provider 是否真的启用——少个 Cargo feature 会让你悄悄跑在 CPU 上还没有明显报错。
2. tract:想要完全无原生依赖的 ONNX,就选这个小巧自包含的方案。
3. Candle:Hugging Face 的极简框架,原生 Rust tensor、无 Python 依赖,能跑 Llama、Mistral、Phi、Gemma。适合你想亲自用 Rust 写模型代码,或把 transformer 嵌进应用。它更像框架而非 server,batching 和 API 得自己来。想连训练也在 Rust,看 Burn。
4. tch-rs:PyTorch C++ API 的 Rust 绑定。模型只有 PyTorch 形态、又想放到 Rust 服务后面时用它,代价是 libtorch——恰恰是很多团队想甩掉的依赖。
5. llama.cpp 绑定:本地 LLM 里模型和硬件覆盖最广,llama-cpp-rs 之类的 crate 把它带进 Rust。这是当前风险最低的本地 LLM 路线:成熟引擎 + Rust 应用。代价是保留 C++ 构建和 FFI 边界。
6. 纯 Rust 引擎:mistral.rs 是这一类和 star 最多的项目,多模态支持广,带 OpenAI 兼容 server。这个领域变化很快,Atlas、xinfer、Crane 等新项目不断出现。提醒一句:老教程里的 rustformers llm crate 已于 2024 年 6 月归档,别在新项目里用。
Frink 属于最后一类:加载 GGUF,跑在 CPU / Apple Metal / CUDA 上,不绑 llama.cpp、不包 ggml。现有 OpenAI 客户端改个地址就能用,server 也兼容 Anthropic Messages 和 Responses API,做 continuous batching,并跨会话共享 prefix cache——M2 Pro 上一段 757 token 的系统提示能复用 736 个 token,首答时间从 938ms 降到 410ms。但它不是万能的:目前 Metal 最强,CPU 不如 llama.cpp,CUDA 落后很多(相关基准还待重跑),没有 Vulkan 后端所以 AMD/Intel GPU 没戏。
RAG 特别适合 Rust,因为一次请求里大部分是少量推理调用周围的并发 I/O:API 用 Axum,分词用 tokenizers,本地 embedding 用 fastembed,向量库有 qdrant-client(Qdrant 本身也是 Rust 写的)。模型侧可以交给 Frink——指一个 BGE/E5/GTE checkpoint,/v1/embeddings 就服务起来,cross-encoder 走 /v1/rerank。
Rust 适合:RAG 流水线和 embedding API、AI 网关和流式 API、高 QPS 低延迟系统、边缘 AI 和任何"小二进制很重要"的地方、桌面工具/CLI 这类内嵌模型的场景。
如果每周都换模型、依赖研究代码、或者团队小且没人熟 Rust,就留在 Python。大型 GPU 集群那一行也故意留在 Rust 之外——那个规模下比的是调度和 KV cache 管理,成熟引擎领先太多,但模型周围的一切都是 Rust 的好候选。
大公司也是这么干的:NVIDIA Dynamo 自称"Built in Rust for performance, Python for extensibility",Hugging Face 的 tokenizers 在 Python 包下面是 Rust 核,TEI 有 Candle 和 ONNX Runtime 后端。Rust 通常是栈里的一层,和 Python、C++ 并肩——这才是最务实的采用方式。
要不要用 Rust 做推理?先 measure:如果时间花在模型 forward pass 上,重写帮助有限;如果花在请求处理、分词、内存开销上,就把这些部分先搬过去。至于选哪个引擎——embedding 和分类器用 ort,想用 Rust 写模型用 Candle,要最广的本地覆盖用 llama.cpp 绑定,多模态服务用 mistral.rs,GGUF + Apple Silicon 或想找个无 C++ 的 llama.cpp 替代用 Frink。
自己造引擎是很好的学习方式,但多数团队不该造——除非你有一个现成方案解决不了的问题。我的那个问题,是装不进内存的 MoE 模型。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。