首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >llama.cpp v1.0.0 部署实战:把本地大模型推理搬上腾讯云 HAI

llama.cpp v1.0.0 部署实战:把本地大模型推理搬上腾讯云 HAI

原创
作者头像
克劳德2048
发布于 2026-11-16 12:25:23
发布于 2026-11-16 12:25:23
1030
举报

摘要

llama.cpp 于 2026 年 11 月 13 日发布 v1.0.0 正式版,公共 C API 改用语义化版本,新增 FP8 KV Cache 量化并移除 35 个废弃函数。用腾讯云高性能应用服务 HAI 的 GPU 实例部署 llama.cpp,可分钟级拿到开箱环境,按量计费实例关机后算力停止计费。

先说结论:llama.cpp 1.0 最值钱的不是跑得更快,而是接口终于稳定——公共 C API 出现不兼容改动才会升主版本号。我把用了近两年的本地推理服务搬到了腾讯云高性能应用服务 HAI 的 GPU 实例上,过程比本地折腾 CUDA 顺得多,也踩了个 1.0 相关的坑。

一、llama.cpp v1.0.0 的三项关键更新

我是从 0.x 时代一路跟过来的老用户。以前每次 git pull 都有点心慌:上周还能编译的调用代码,这周可能就因为某个函数改名跑不起来了。

这次 1.0 版本(2026 年 11 月 13 日发布,ggml 底层库同步发布 v1.0.0),我看完发布说明,最在意的是这三点:

变化

具体内容

对我的影响

语义化版本(SemVer)

公共 C API 不兼容改动升 MAJOR;兼容的新功能、新模型支持升 MINOR;只修 Bug 升 PATCH

终于可以放心锁版本了

FP8 KV Cache 量化

KV Cache 支持 FP8 量化,可选静态逐张量缩放

长上下文场景省显存

清理废弃接口

移除 35 个废弃函数,llama_set_embd_state_src 更名为 llama_set_ctx_state_src,NextN 投机解码 API 进入公共头文件 llama.h

老代码可能编译不过,这就是我踩的坑

解释一下两个术语。语义化版本就是"版本号三段式各管一件事":第一位变了说明可能不兼容,第二位变了是加功能,第三位变了只是修 Bug。KV Cache 是大模型推理时缓存的中间结果,上下文越长占显存越多,FP8 量化就是用更小的数字格式把它压一压。

以前我在自己机器上的状态:0.x 版本随手 pull 最新代码,我那个直接链接 libllama 的 C++ 程序隔三岔五报 undefined symbol,查半天发现是上游改了函数名。那种"不知道哪天就坏"的感觉,用过的人都懂。

1.0 还在发布说明里列了一堆分发渠道:Docker、Debian、Homebrew、conda-forge、MacPorts、Winget、XCFramework 等。说实话,这才像个"基础设施"该有的样子。

llama-server 这次也修了 SSRF、DNS 重绑定和 CORS 相关问题:在非本机地址上启用免认证的工具调用、从内网地址拉取媒体文件,现在都要显式加参数才允许。

二、选择云端 GPU 部署的理由

我之前一直在家里那台带显卡的台式机上跑 llama.cpp,最大的问题不是性能,而是环境:显卡驱动、CUDA 版本、编译参数,换一次系统就得重来一遍。

这次想把服务挂成一个长期可调用的 API,给几个小工具当后端,本地机器又不可能 24 小时开着。我对比了一下,最后选了腾讯云高性能应用服务 HAI,原因很直接:

对比项

自己买 GPU 云服务器

高性能应用服务 HAI

环境部署

自己装驱动、CUDA、Python

分钟级启动,直接交付可用环境

机型选择

得懂 GPU 型号,自己挑

按应用自动匹配算力套餐

资源打包

云硬盘、带宽另买

GPU、云硬盘、带宽和网络一起打包

使用入口

命令行登录

支持 JupyterLab、WebUI 等可视化入口

计费

按机器计费

按量计费实例关机后,算力(CPU、GPU、内存)停止计费,云盘照常计费

对我这种"白天调、晚上不用"的使用习惯来说,光凭关机后算力停止计费这一条就已经足够。需要注意的是云盘还会计费:默认送的 80GB 云盘关机前 15 天不收费,超过 15 天开始收闲置费;自己扩容的那部分云盘,关机后照常收费。

三、在 HAI 上部署 llama.cpp 的完整步骤

整个流程我分成四步,前后加起来没多少操作。

1. 创建 HAI 实例

登录高性能应用服务控制台,点"新建"进入购买页。我的选择是:

  • 选择应用:开发环境里选 Pytorch(自带 GPU 驱动和 CUDA 运行环境,省得我自己装)
  • 计费模式:按量计费(也支持包年包月)
  • 地域:选离自己近的,延迟低
  • 算力方案:按需选择,套餐决定算力、显存、CPU 和内存,不支持指定具体硬件型号
  • 云硬盘:默认免费 80GB,含操作系统 30GB 和应用环境,模型文件多的话可以调大
  • 网络:每台实例每月免费 500GB 流量包,默认 10Mbps 带宽

提交订单后等实例创建完成,点进详情页就能看到配置。

2. 编译带 CUDA 的 llama.cpp

通过 JupyterLab 的终端进去,拉代码并锁定 1.0 版本:

代码语言:bash
复制
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
git checkout v1.0.0   # 锁定正式版,别再追 master 了
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j

-DGGML_CUDA=ON 是打开 CUDA 后端,让推理跑在 GPU 上。编译那几分钟我去倒了杯水,回来就好了。

编译前建议先确认两个版本号:nvidia-smi 显示的是驱动支持的最高 CUDA 版本,nvcc --version 显示的是系统实际安装的 CUDA 版本。HAI 的 Pytorch 应用环境基于 Ubuntu 20.04,预装的 CUDA 版本不一定是最新的;如果编译报 CUDA 相关错误,可以按 HAI 文档里"管理系统 CUDA"的方法升级,升级后的版本不能超过 nvidia-smi 显示的上限。

对比一下我第一次在本地编译 CUDA 版:驱动和 CUDA Toolkit 版本对不上,nvcc 报错报了一下午。这次在 HAI 上一次过,那一刻是真的松了口气。

3. 下载模型并启动服务

llama.cpp 支持直接从 Hugging Face 拉 GGUF 格式模型(GGUF 是 llama.cpp 生态的量化模型文件格式)。我先拿官方示例里的小模型试水:

代码语言:bash
复制
./build/bin/llama-server -hf ggml-org/Qwen3.5-0.8B-GGUF --port 8080

如果你用的是官方安装脚本(curl -LsSf https://llama.app/install.sh | sh)装的新版命令行,也可以直接:

代码语言:bash
复制
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

这种方式装的是预编译版本,是否带 CUDA 后端要以安装结果为准;想确保跑在 GPU 上,还是用上面自己编译的 llama-server。这条命令没指定端口,下面调用时要把 8080 换成默认端口。

-hf 不写量化后缀时,默认下载 Q4_K_M 版本;仓库里没有 Q4_K_M 的话,会退而下载第一个文件。

4. 用 OpenAI 兼容接口调用

llama-server 提供 OpenAI 兼容的 API,我原来那几个小工具几乎不用改代码:

代码语言:bash
复制
curl http://127.0.0.1:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"用一句话介绍你自己"}]}'

返回正常,服务就算跑通了。

顺带一提:不加 --port 时,当前版本的 llama-server 默认监听 127.0.0.1:9931,不是很多老教程里写的 8080。我这里显式指定了 8080,所以前后命令能对上。

四、llama.cpp 1.0 升级踩坑与老代码修复

坑来了,而且就是 1.0 本身带来的。

我有一个自己写的小 C++ 程序,直接链接 libllama 做批量摘要。升级到 v1.0.0 后一编译,直接报了几个"函数未声明"。我心里想:这不行啊,刚说好的稳定呢?

查了发布说明才明白:1.0 移除了 35 个此前标记为废弃的函数。我代码里用的正是几个早就被标废弃、但一直还能用的老接口,这次是真删了。

我的处理方式:

  • 对照报错,把废弃函数换成 llama.h 里的新接口;用到 llama_set_embd_state_src 的地方,改成新名字 llama_set_ctx_state_src
  • 改完之后在构建脚本里写死版本 tag,不再跟 master
  • 以后升级只看 MAJOR 位:第一位没变就放心升,变了再看迁移说明

所以这里给大家一个建议:从 0.x 升到 1.0 之前,先全局搜一下自己代码里有没有用废弃接口,别像我一样编译时才发现。好消息是,这次疼过之后,按语义化版本的约定,后面在 1.x 内升级就不该再出现这种事了。

五、HAI 上跑 llama.cpp 的几个实用细节

跑了几天,攒了几条经验:

  • 服务默认只听本机地址:llama-server 默认绑定 127.0.0.1,我用 SSH 端口转发在自己电脑上访问,比直接把端口暴露到公网安心(用户名、密码和公网 IP 在实例创建后的站内信里,默认用户是 root):
代码语言:bash
复制
ssh -L 8080:127.0.0.1:8080 用户名@实例公网IP
  • 模型放云硬盘:大一点的 GGUF 文件动辄几个 GB 到几十 GB,80GB 默认空间不够就提前扩
  • 不用就关机:按量计费实例关机后算力停止计费,我晚上直接关,第二天开机继续用。关机会释放公网 IP,重新开机后公网 IP 会变,SSH 命令里的地址记得换;资源紧张时开机也可能失败,稍后重试即可
  • 长上下文试试 FP8 KV Cache:显存吃紧时这是 1.0 新给的选项,启动时加 -ctk f8_e4m3 -ctv f8_e4m3 即可(默认是 f16)。官方没给速度数据,效果建议按自己的模型和上下文长度实测

总结

维度

以前:本地台式机 + llama.cpp 0.x

现在:HAI + llama.cpp 1.0

版本稳定性

跟 master,随时可能坏

锁 v1.0.0,按语义化版本升级

环境搭建

驱动、CUDA 自己配

分钟级交付可用环境

服务可用性

机器关了就没了

云端常驻,用时开机

成本控制

电费 + 硬件折旧

按需启停,关机后算力停止计费(云盘照常计费)

一句话评价:llama.cpp 1.0 给了接口稳定性,HAI 给了环境稳定性,两个"稳"凑在一起,本地大模型推理终于能放心当生产服务用了。 如果你是从 0.x 一路追过来的老用户,升级前先查废弃接口、锁好版本 tag;如果是第一次想在云端 GPU 上跑本地大模型,直接在腾讯云高性能应用服务 HAI 上选个开发环境,照着上面四步走就行。当前 HAI 双十一大促 正进行中,新老同享 0.8 折起,想上手的话可以趁这波把环境搭起来。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 摘要
  • 一、llama.cpp v1.0.0 的三项关键更新
  • 二、选择云端 GPU 部署的理由
  • 三、在 HAI 上部署 llama.cpp 的完整步骤
    • 1. 创建 HAI 实例
    • 2. 编译带 CUDA 的 llama.cpp
    • 3. 下载模型并启动服务
    • 4. 用 OpenAI 兼容接口调用
  • 四、llama.cpp 1.0 升级踩坑与老代码修复
  • 五、HAI 上跑 llama.cpp 的几个实用细节
  • 总结
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档