master336
大模型上下文压缩:从「装得下」到「用得上」
原创
关注作者
腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
master336
社区首页
>
专栏
>
大模型上下文压缩:从「装得下」到「用得上」
大模型上下文压缩:从「装得下」到「用得上」
master336
关注
发布于 2026-11-16 09:28:57
发布于 2026-11-16 09:28:57
10
0
举报
概述
上下文压缩并非解决“窗口太小”,而是应对“信息用不上、算不起、买不起”的深层瓶颈。它本质是三层操作:输入删改、状态压缩(如KV Cache降维)、记忆管理,三者目标迥异,不可混谈。压缩有损且任务相关,最优率在2×–6×间,过度追求压缩反致性能下降。其核心价值在于“重新分配计算预算”——省下的token用于更多检索或并发,而非单纯降本。关键突破在于从“压缩文本”转向“压缩状态”,未来将融入架构与Ag
文章被收录于专栏:
AI编程
AI编程
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系
cloudcommunity@tencent.com
删除。
AI 互动体验展
大模型部署
#上下文压缩
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档