
llama.cpp 于 2026 年 11 月 13 日发布 v1.0.0 正式版,公共 C API 改用语义化版本,新增 FP8 KV Cache 量化并移除 35 个废弃函数。用腾讯云高性能应用服务 HAI 的 GPU 实例部署 llama.cpp,可分钟级拿到开箱环境,按量计费实例关机后算力停止计费。
先说结论:llama.cpp 1.0 最值钱的不是跑得更快,而是接口终于稳定——公共 C API 出现不兼容改动才会升主版本号。我把用了近两年的本地推理服务搬到了腾讯云高性能应用服务 HAI 的 GPU 实例上,过程比本地折腾 CUDA 顺得多,也踩了个 1.0 相关的坑。
我是从 0.x 时代一路跟过来的老用户。以前每次 git pull 都有点心慌:上周还能编译的调用代码,这周可能就因为某个函数改名跑不起来了。
这次 1.0 版本(2026 年 11 月 13 日发布,ggml 底层库同步发布 v1.0.0),我看完发布说明,最在意的是这三点:
变化 | 具体内容 | 对我的影响 |
|---|---|---|
语义化版本(SemVer) | 公共 C API 不兼容改动升 MAJOR;兼容的新功能、新模型支持升 MINOR;只修 Bug 升 PATCH | 终于可以放心锁版本了 |
FP8 KV Cache 量化 | KV Cache 支持 FP8 量化,可选静态逐张量缩放 | 长上下文场景省显存 |
清理废弃接口 | 移除 35 个废弃函数, | 老代码可能编译不过,这就是我踩的坑 |
解释一下两个术语。语义化版本就是"版本号三段式各管一件事":第一位变了说明可能不兼容,第二位变了是加功能,第三位变了只是修 Bug。KV Cache 是大模型推理时缓存的中间结果,上下文越长占显存越多,FP8 量化就是用更小的数字格式把它压一压。
以前我在自己机器上的状态:0.x 版本随手 pull 最新代码,我那个直接链接
libllama的 C++ 程序隔三岔五报undefined symbol,查半天发现是上游改了函数名。那种"不知道哪天就坏"的感觉,用过的人都懂。
1.0 还在发布说明里列了一堆分发渠道:Docker、Debian、Homebrew、conda-forge、MacPorts、Winget、XCFramework 等。说实话,这才像个"基础设施"该有的样子。
llama-server 这次也修了 SSRF、DNS 重绑定和 CORS 相关问题:在非本机地址上启用免认证的工具调用、从内网地址拉取媒体文件,现在都要显式加参数才允许。
我之前一直在家里那台带显卡的台式机上跑 llama.cpp,最大的问题不是性能,而是环境:显卡驱动、CUDA 版本、编译参数,换一次系统就得重来一遍。
这次想把服务挂成一个长期可调用的 API,给几个小工具当后端,本地机器又不可能 24 小时开着。我对比了一下,最后选了腾讯云高性能应用服务 HAI,原因很直接:
对比项 | 自己买 GPU 云服务器 | 高性能应用服务 HAI |
|---|---|---|
环境部署 | 自己装驱动、CUDA、Python | 分钟级启动,直接交付可用环境 |
机型选择 | 得懂 GPU 型号,自己挑 | 按应用自动匹配算力套餐 |
资源打包 | 云硬盘、带宽另买 | GPU、云硬盘、带宽和网络一起打包 |
使用入口 | 命令行登录 | 支持 JupyterLab、WebUI 等可视化入口 |
计费 | 按机器计费 | 按量计费实例关机后,算力(CPU、GPU、内存)停止计费,云盘照常计费 |
对我这种"白天调、晚上不用"的使用习惯来说,光凭关机后算力停止计费这一条就已经足够。需要注意的是云盘还会计费:默认送的 80GB 云盘关机前 15 天不收费,超过 15 天开始收闲置费;自己扩容的那部分云盘,关机后照常收费。
整个流程我分成四步,前后加起来没多少操作。
登录高性能应用服务控制台,点"新建"进入购买页。我的选择是:
提交订单后等实例创建完成,点进详情页就能看到配置。
通过 JupyterLab 的终端进去,拉代码并锁定 1.0 版本:
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
git checkout v1.0.0 # 锁定正式版,别再追 master 了
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j-DGGML_CUDA=ON 是打开 CUDA 后端,让推理跑在 GPU 上。编译那几分钟我去倒了杯水,回来就好了。
编译前建议先确认两个版本号:nvidia-smi 显示的是驱动支持的最高 CUDA 版本,nvcc --version 显示的是系统实际安装的 CUDA 版本。HAI 的 Pytorch 应用环境基于 Ubuntu 20.04,预装的 CUDA 版本不一定是最新的;如果编译报 CUDA 相关错误,可以按 HAI 文档里"管理系统 CUDA"的方法升级,升级后的版本不能超过 nvidia-smi 显示的上限。
对比一下我第一次在本地编译 CUDA 版:驱动和 CUDA Toolkit 版本对不上,
nvcc报错报了一下午。这次在 HAI 上一次过,那一刻是真的松了口气。
llama.cpp 支持直接从 Hugging Face 拉 GGUF 格式模型(GGUF 是 llama.cpp 生态的量化模型文件格式)。我先拿官方示例里的小模型试水:
./build/bin/llama-server -hf ggml-org/Qwen3.5-0.8B-GGUF --port 8080如果你用的是官方安装脚本(curl -LsSf https://llama.app/install.sh | sh)装的新版命令行,也可以直接:
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF这种方式装的是预编译版本,是否带 CUDA 后端要以安装结果为准;想确保跑在 GPU 上,还是用上面自己编译的 llama-server。这条命令没指定端口,下面调用时要把 8080 换成默认端口。
-hf 不写量化后缀时,默认下载 Q4_K_M 版本;仓库里没有 Q4_K_M 的话,会退而下载第一个文件。
llama-server 提供 OpenAI 兼容的 API,我原来那几个小工具几乎不用改代码:
curl http://127.0.0.1:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"messages":[{"role":"user","content":"用一句话介绍你自己"}]}'返回正常,服务就算跑通了。
顺带一提:不加 --port 时,当前版本的 llama-server 默认监听 127.0.0.1:9931,不是很多老教程里写的 8080。我这里显式指定了 8080,所以前后命令能对上。
坑来了,而且就是 1.0 本身带来的。
我有一个自己写的小 C++ 程序,直接链接 libllama 做批量摘要。升级到 v1.0.0 后一编译,直接报了几个"函数未声明"。我心里想:这不行啊,刚说好的稳定呢?
查了发布说明才明白:1.0 移除了 35 个此前标记为废弃的函数。我代码里用的正是几个早就被标废弃、但一直还能用的老接口,这次是真删了。
我的处理方式:
llama.h 里的新接口;用到 llama_set_embd_state_src 的地方,改成新名字 llama_set_ctx_state_src所以这里给大家一个建议:从 0.x 升到 1.0 之前,先全局搜一下自己代码里有没有用废弃接口,别像我一样编译时才发现。好消息是,这次疼过之后,按语义化版本的约定,后面在 1.x 内升级就不该再出现这种事了。
跑了几天,攒了几条经验:
127.0.0.1,我用 SSH 端口转发在自己电脑上访问,比直接把端口暴露到公网安心(用户名、密码和公网 IP 在实例创建后的站内信里,默认用户是 root):ssh -L 8080:127.0.0.1:8080 用户名@实例公网IP-ctk f8_e4m3 -ctv f8_e4m3 即可(默认是 f16)。官方没给速度数据,效果建议按自己的模型和上下文长度实测维度 | 以前:本地台式机 + llama.cpp 0.x | 现在:HAI + llama.cpp 1.0 |
|---|---|---|
版本稳定性 | 跟 master,随时可能坏 | 锁 v1.0.0,按语义化版本升级 |
环境搭建 | 驱动、CUDA 自己配 | 分钟级交付可用环境 |
服务可用性 | 机器关了就没了 | 云端常驻,用时开机 |
成本控制 | 电费 + 硬件折旧 | 按需启停,关机后算力停止计费(云盘照常计费) |
一句话评价:llama.cpp 1.0 给了接口稳定性,HAI 给了环境稳定性,两个"稳"凑在一起,本地大模型推理终于能放心当生产服务用了。 如果你是从 0.x 一路追过来的老用户,升级前先查废弃接口、锁好版本 tag;如果是第一次想在云端 GPU 上跑本地大模型,直接在腾讯云高性能应用服务 HAI 上选个开发环境,照着上面四步走就行。当前 HAI 双十一大促 正进行中,新老同享 0.8 折起,想上手的话可以趁这波把环境搭起来。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。