给 LLM 喂上下文,现在通行的做法是:抓几篇网页,截一截,拼成一段字符串塞进 prompt。
这套做法有三个毛病。第一,没出处——模型引用了一个数字,你不知道它来自哪一页、哪一段、什么时候抓的。第二,不知道新旧——页面上周改了价,你手里还是旧的那份,而且它和新抓的那份打架时,没人告诉你。第三,没增量——一个数字变了,整条流水线重跑;token 预算不够了,就从尾巴上硬砍,砍掉的可能正好是表格的表头。
PageSift 1.6「Context」就是冲着这三个毛病来的。一句话:上下文不该是拼出来的字符串,而应该是编译出来的产物——有身份、有谱系、有预算、有出处清单。
仓库:https://github.com/YOLOW92/pagesift (Rust 单二进制,Apache-2.0)
1.6 里,内容被拆成一个个 KnowledgeUnit。每个单元分开记四件事:我是谁(unitId)、我现在是什么状态(revisionId 和内容哈希)、我在哪(文档、字节位置、标题路径)、我从哪来(谱系:新建、未变、只是挪了位置、被改写、由谁分裂或合并而来)。
拿产品页举例。一页改版之后,没动的段落还是原来的 unitId;排版调整把某段挤到了后面,它标记为"只是挪位",不冒充内容变更;价格真改了,才换 revisionId。下游引用的是"这个事实",不再是"某次抓取的第几段"——这是后面一切的地基。
单元之上是增量日志 Delta。文档重新抓取后,系统只重算受影响的派生资产(词法索引、语义草图、结构索引、图索引各有各的依赖关系),其余的复用。本地基准里,60 个资源、720 个派生资产,改其中一篇:增量维护比重建快 4.37 倍,98.6% 的资产直接复用;内容没变的文档(304),资产 100% 复用。
增量日志带消费者检查点,可以重放、可以确认(ack),外部系统按自己的节奏消费,崩溃了从检查点续上,不丢不重。索引当前反映到哪一版,也单独报告,不糊弄。
Search 是多策略一起上的:关键词、符号精确匹配、标题加权、再加一层可关闭的语义草图。它特意分开两个时间:观察截点(那一刻你知道什么)和有效期(这个事实在什么时间段内成立)。问"上个月这款多少钱",和问"现在多少钱",走的是两条不同的时间线——时效性 bug 大多就出在把这两个混成一件事。
两个来源对同一价格说法不一时,它不擅自选赢家,而是把冲突的双方一起召回,并标清独立来源数(转载镜像不重复计数)。评分也拆成六个维度分开给:相关性、支持度、新鲜度、来源独立性、覆盖、校准后的置信度,你自己权衡。
最后一步叫 Pack:给它一个问题和一个 token 预算,它编出一份上下文,每段都带出处头(哪个单元、哪篇文档、什么状态、在哪一节),再附一份完整的出处清单。
编译规则里有一类东西叫 MustKeep:表格的表头和标题、句子里的否定和限定词、成对出现的冲突说法——必须整组进、整组出,不许拆。如果连 MustKeep 都装不进预算,它直接返回 budgetInsufficient: true。装不下就说装不下,不会默默砍掉一半然后假装完整。
再往上还有一层 Action,是给 Agent 用的:本地上下文还新鲜就零网络直接答(context 模式);要核实就强制至少两个独立来源(verify 模式);要不要为一个问题再去抓新页面,先算信息价值、再看覆盖率估不估得出来——样本太少、分布太偏,它返回的是 estimable: false,而不是一个编出来的数字。
Context 在所有表面同步开放:命令行 pagesift context、HTTP /v2/context、MCP 工具 pagesift_context、Python、Node.js、C 接口。装法还是那几种:
pip install pagesiftnpm install pagesiftcargo add pagesift,或到 GitHub Release 下单二进制这一版还顺带把 HTML 提取库 yolowhtml 升到 0.1.2。起因是个挺典型的 bug:文章模式会把论文里的 figure 和图注当版面杂物删掉,正文里"见图 1"还留着,图没了。现在图和图注都保留,表格标题也保留。
PageSift 的总纲一直没变:把昂贵、重复的 AI 信息工作,转化成可积累、可验证、可复用的工程能力。1.5 让观测变成带历史的主张,1.6 让主张变成可编译的上下文。
再往后还是同一条线:从上下文走向结论,从单机走向协同,从检索走向计算。具体怎么走,等做出来再说。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。