首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >AI写小说如何把上下文记忆从"线性"压成"常量"

AI写小说如何把上下文记忆从"线性"压成"常量"

原创
作者头像
用户12865354
修改于 2026-11-18 14:47:30
修改于 2026-11-18 14:47:30
360
举报
文章被收录于专栏:写作智能体写作智能体

一、ai写小说:长篇的成本不在"写",在"记"

用对话框连续写长篇,输入侧的开销是累加的:

  • 写第 1 章,输入 ≈ 设定 + 要求;
  • 写第 50 章,输入 ≈ 设定 + 要求 + 前 49 章正文;
  • 写第 260 章,输入 ≈ 设定 + 要求 + 前 259 章正文。

如果一本 260 章、单章 2400–3000 字的作品,正文总量约 62 万–78 万字。如果按"把前文全带上"的做法,第 260 章的输入规模就是几十万字符级别。

这不是"能不能塞进去"的问题,是三个更现实的问题:

隐性成本

具体表现

后果

窗口撞顶

前文一旦超过窗口,必须截断或摘要压缩

截断处就是记忆丢失处

注意力稀释

窗口塞得下,但早期内容权重被摊薄

"看得见,但顾不上"

延迟与失败率

输入越长,首 token 延迟越长、超时概率越高

长文本请求偶发 5xx

我们内部有一句话,是在两部实验稿里被反复验证的:

"长篇写作的难点,从来不是写出一段好文字,而是二十万字之后,还记不记得前面写过什么。"

这句话的工程含义是:上下文不是记忆。 上下文是"这一次请求能看见的东西",记忆是"程序随时能取出来的东西"。二者混为一谈,就必然写成"把整本书塞进去"。


二、方案:把"记忆"从上下文搬进四本台账

2.1 四本台账的分工

台账

存什么

写入时机

读取时机

人物库

角色性格、关系、能力边界、别名

人物种子环节建档,定稿时增量更新

本章涉及的角色出场前

事实台账

世界观、设定、既定剧情事实

定稿时按"新增事实"追加

涉及设定引用、数值、时间线时

伏笔台账

伏笔埋在哪章、形态、回收状态

章节框架环节预登记,定稿时更新状态

章节框架、审查两个环节

章节摘要台账

每章固定字段摘要

定稿入库时由程序截取写入

需要前情时按章号或人物检索

关键点不在"存了什么",在"什么时候取、取多少"。 四本台账如果每次全量注入,等于把线性增长换了个地方发生。

2.2 取用策略:按环节检索,而不是全量注入

三条取用规则:

  1. 按【环节】取规则,不按【作品】取规则。 这里的"环节"就是 8 环节状态机的当前状态:常驻的是四类锚点(文风 / 人设 / 主线 / 伏笔)和当前环节对应的规则卡;全书规划、别的环节的规则卡,这一步不需要。
  2. 按【本章涉及】取台账,不按【全书】取台账。 本章框架里列了谁,就只取这几个人的卡;本章引用了哪几条设定,就只取那几条;前情只取最近几章摘要。
  3. 伏笔只在【框架环节】和【审查环节】取。 写初稿时不需要看伏笔台账——那是审查环节该管的事。

三个设计决定:

  1. 检索键是确定性的(章号、人物、事实条目),不是语义相似度。写第 137 章要取哪几个人的卡,是程序按本章框架算出来的,不问模型"你觉得需要什么"。
  2. 注入有预算上限,且裁剪顺序是业务规则。 超预算时先裁摘要、再裁事实,锚点与规则卡不裁——裁掉锚点,文风当场漂移。
  3. 写回是单向的。 定稿入库时才写台账,初稿过程中的临时内容不写,避免把废稿写进长期记忆。

这三条合起来,才是"常量级"的真正来源。 不是因为台账小,是因为"这一章需要的东西"本来就不随章数增长。

2.3 和 RAG 的区别在哪

维度

通用 RAG

结构化台账

检索方式

向量相似度,取相似度最高的若干段

确定性键 + 章节窗口

召回性质

可能召回"意思相近但事实不同"的段落

召回的是唯一事实条目

可解释性

差(为什么召回到这段说不清)

强(取的是哪一行的哪一条,可打印)

适用

非结构化知识、问答

有主键、有状态、要精确一致的长篇设定

短板

相似 ≠ 正确

需要先设计表结构,前期成本高

结论:长篇写作更怕"召回错了",而不是"召回少了"。 一个"父亲已死"的事实被语义召回成"父亲的旧部"段落,写出来的就是硬伤。


三、实测条件与判据

3.1 测试条件

项

值

测试时间

2026 年 9 月 – 2026 年 10 月

作品类型

中文男频长篇(单一题材,未换线)

模型

DeepSeek V4.1 Flash(全流程同一模型)

单章目标字数

2400–3000 字

目标章数

260 章(单部作品连续推进)

推进方式

每环节等待确认,跨卷由系统自动拉起

统计口径

每次请求记录 prompt 字符数、章节号、环节

3.2 判据:什么算"上下文机制失败"

  1. 开销回退:第 100 章之后的单章输入体积,比第 10 章高出 50% 以上;
  2. 记忆缺失:本章需要的人物 / 事实条目未被注入,导致产出与台账冲突;
  3. 重复注入:同一条目在一次请求里出现两次以上(说明裁剪逻辑失效);
  4. 写回丢失:定稿成功但台账未落库,下一章取不到。

只有第 1 条出现,才判"记忆机制失效";第 2 条单独出现记为"检索配置错误",不计入机制失效。 这条区分很重要——把配置错误算成机制失效,会把战线拉到自己身上。


四、数据

指标

线性基线(算术推演)

实测

说明

第 10 章单章输入

约 2.6 万字符

6–7 万字符

常量部分(锚点 + 规则卡)占大头

第 260 章单章输入

约 67 万字符

6–7 万字符

与第 10 章基本持平

增长斜率

线性

≈ 0

不随章数增长

260 章总量

—

70 多万字

单部作品

返修率

—

约 8%

主要为薄章与场景重复

记忆缺失次数

—

0(触发审查拦截后返修)

台账比对生效

关于"线性基线"这一列:它不是我们跑出来的对照组,而是按"把前文全带上"的写法做的算术推演(章数 × 单章字数),列出来只是把量级差异说清楚。真实环境里这种做法早在窗口撞顶时就断了,跑不到第 260 章。

最值得看的是第二行。 如果做到第 260 章时单章输入还在 6–7 万字符,说明"线性增长"确实被改成了"常量级";如果它涨到了几十万,那四本台账就只是个更花哨的提示词。

以上是内部实测记录,不代表每个使用者都能复现同样结果。


五、结论

四本台账的价值不在"存得多",在"取得准"。它把长篇的上下文开销从"随章数线性增长"压成"按环节的常量",代价是前期要把人物、设定写成结构化记录。

三条可复制的建议:

  1. 先量"第 10 章"和"第 260 章"的单章输入体积。 这两个数字持平,才说明记忆在程序侧;它们一起涨,说明记忆还在上下文里。
  2. 检索键用确定性字段,不要用语义相似度。 长篇里"召回错了"比"召回少了"贵得多,一次人设冲突要倒回去改好几章。
  3. 摘要不要让模型自由写。 有损压缩 + 链式引用 = 误差复利。改成固定字段截取,宁可不好读。

一句话收口:模型不需要记住整本书,它只需要在当前这一步做对。


原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 一、ai写小说:长篇的成本不在"写",在"记"
  • 二、方案:把"记忆"从上下文搬进四本台账
    • 2.1 四本台账的分工
    • 2.2 取用策略:按环节检索,而不是全量注入
    • 2.3 和 RAG 的区别在哪
  • 三、实测条件与判据
    • 3.1 测试条件
    • 3.2 判据:什么算"上下文机制失败"
  • 四、数据
  • 五、结论
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档