首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >第一性原理大模型课程 · 第 15 课:KV Cache 与推理内存:一个 70B 请求到底吃多少显存

第一性原理大模型课程 · 第 15 课:KV Cache 与推理内存:一个 70B 请求到底吃多少显存

作者头像
用户12431597
发布于 2026-11-17 10:27:23
发布于 2026-11-17 10:27:23
190
举报
概述
这是大模型课程系列的第 15 课。 上一部分我们一直在「造模型」——预训练、对齐、切分、省显存。这一课换个视角:模型训好了,怎么把它服务出去。一次请求在引擎里被切成两段,其中一段几乎不费算力却要吃光显存;这个矛盾决定了对话越长越贵、并发上不去、以及为什么「分页」和「调度」这两个词会成为推理引擎的核心。讲清 KV Cache 的公式与体积、它如何卡住并发、为什么每个 token 都要把模型读一遍,最

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档