温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
演示会上,Rag讨得漂亮,一上生产就半死不活,向量库选对了,模型也没换。问题到底出在哪?答案藏在四道关,解析、切分、召回、排序。每过一道关都要签一份契约,少一份系统就退回DEMO企业文档不是read me是跨页表格,扫描键和网页,短短一段代码能把PDF压成文本流,表格碎成字符,标题曾经消失,权限字段成了空值。真实事故是这样的,财务问各部门K3差旅费,系统答了全公司的数字检索技术上完全正确,可权限标签在解析时就丢了。解析是唯一不可逆的一关,切错了能正切,召回差能补录,丢掉的结构下游永远补不回来,所以按格式分录解析表格,单独还原原数据缺一项一律不许入库。
01:00
契约一每个节点要有正文、标题、路径、位置、指针和权限字段。文档有了结构,下一个问题切多大?固定窗口每块一样常规整的令人安心,也僵硬的令人不安。语翼切分只在最陡的那10%断崖处下刀,但每句都要过一遍。向量策略一改全库向量重算吻的打法,较小切大繁简所用小窗口饱经度生成,用腹窗口保连贯。契约二每块脱离原纹仍能独立引用,抽100块遮住上下文,看人说不说得清。正解没镜后选池,后面全白搭纯向量。它三样东西精确编号,年份版本全限限定。比如第12条年假向量连12和12点都分不清。生产写法是双路召回向量管意思BM25管字面两路分数量刚不同,不能直接相加,RRF只看排名。默认K十六十,它。
02:00
TOP3给用户的答案TOP50给金牌的原料契约3只承诺recall at50不承诺准确率,双塔各自编码问题从没看过文档,只能找个平均意图交叉编码,把问题和文档拼在一起,逐字比对。排序的关键不是排的准,是敢不敢扔,过线才留,不过线就答不知道。企业用户宁可少答,不可错答,一句流畅却没出处的答案比一句不知道更伤心。人四关都签完,还差一把尺子,50道真实问题覆盖精确编号,同意改写,多跳推理,实效差异越全,试探任何改动,换向量,换切分、换模型,先跑评测再上线。回到开头那个问题,上线的是系统还是一段演示视频?就看这四份契约签没签。
我来说两句