用户12431597
第一性原理大模型课程 · 第 15 课:KV Cache 与推理内存:一个 70B 请求到底吃多少显存
原创
关注作者
腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
用户12431597
社区首页
>
专栏
>
第一性原理大模型课程 · 第 15 课:KV Cache 与推理内存:一个 70B 请求到底吃多少显存
第一性原理大模型课程 · 第 15 课:KV Cache 与推理内存:一个 70B 请求到底吃多少显存
用户12431597
关注
发布于 2026-11-17 10:27:23
发布于 2026-11-17 10:27:23
19
0
举报
概述
这是大模型课程系列的第 15 课。 上一部分我们一直在「造模型」——预训练、对齐、切分、省显存。这一课换个视角:模型训好了,怎么把它服务出去。一次请求在引擎里被切成两段,其中一段几乎不费算力却要吃光显存;这个矛盾决定了对话越长越贵、并发上不去、以及为什么「分页」和「调度」这两个词会成为推理引擎的核心。讲清 KV Cache 的公式与体积、它如何卡住并发、为什么每个 token 都要把模型读一遍,最
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系
cloudcommunity@tencent.com
删除。
AIGC
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档