00:00
技术分享会上,Rack被提了40多次向量数据库,一次都没人提,他早退化成代码里最不起眼的那句调用库选完了,数据也灌进去了,然后呢?然后九成的项目卡在这里,不是崩,是一直半死不活。RA不是一条流水线,是四道关,解析、切分、召回、排序,每两关之间都有一份必须签字的契约结构,契约入库的每个节点要带正文、标题、路径和位置指针,原数据引用契约每块脱离原文仍能被独立引用,候选契约召回只承诺recall at k, 不承诺准确率,准入契约不过线的上下文不进提示词就答不知道,听着像废话吧,在跑的项目拉出来对照,至少两份契约是空的,空契约的位置就是他退化成DEMO的位置。
01:00
更麻烦的是,解析是唯一不可逆的一关,切分错了,重切,召回错了,加一路BM 25,排序错了,换模型,但解析丢掉的结构,下游三观永远补不回来。DEMO的数据是read me和几篇博客,企业的数据7种格式6种结构,一份跨页表格的PDF被一句代码压成纯文本流,表格碎成字符列,关系没了权限,标签也成了空值。财务部问各部门K3差旅费系统返回了全公司的数字,技术上检索完全正确。这不是bug,是事故。抽样比对原文解析完整率要过99%,没有权限字段的节点一律不许入库,手册解析的再工整,切碎它的那一下照样能毁掉全部CHK不是文本片,是能被独立引用的单位。
02:00
固定窗口按token硬切,规整的令人安心,也僵硬的令人不安。语翼切分只切最陡的那10%,语翼转折长度参差,但每块说完一件事,检索用小力度保经度,生成用大力度保连贯,这就叫小切大反切块保住了。引用单位用户提问那一刻,考试才开始。Top k不是答案,是候选池。纯向量有三个死穴,编号型号分不清,时效限定抓不住生产写法是双路召回向量管意思相近,BM25管字面命中两路分数量刚不可比,余弦在负一到EBM25没有上舰,RRF不碰分数枝。看排名,默认K=60,他假设的不是分数可加,而是前50名,值得再看一眼。TOP3是给用户的答案。
03:00
TOP50是给金牌的原料,金牌能把第37名提到第一,就不回没进池的第51名。双塔结构下,Query和doc各自编码,从没看过对方交叉编码,放进同一个注意力视野,逐词交互精度高一个两级,关键不在排得准,再敢不敢扔,不过线就答不知道。企业用户宁可少答不可错答,四道关都装齐了,怎么知道它到底好不好?你需要一把尺子回归评测级,至少50道真实问题,覆盖精确术语,同意改写、多跳推理、时效差异和越权试探。换Inbedding、换切分,换重排,调御值,换向量库,任何改动先跑评测。没有这把尺子,每次优化都只是换个姿势重新撞运气指标今天涨3个点,明天跌5个。
04:00
店所有人开始怀疑REC本身,他没骗你,是你没有尺子。回到那场分享会,向亮库没人提,因为他只是地基。地基之上是四道关,四份契约,还有那50道题。答不上来,这次改动是变好了还是变差了,你就是再读。
我来说两句