TextIn文档树引擎，助力RAG知识库问答检索召回能力提升

原创

合合技术团队

发布于 2024-08-13 11:07:03

980

发布于 2024-08-13 11:07:03

TextIn团队的文档解析测评工具Markdown Tester在Github发布后，我们陆续与大家探讨了目前业内对PDF解析工作的评判标准与我们各项测评指标的设计原理，包括段落、表格、公式、阅读顺序等维度。

今天，我们将介绍另一项重要指标，也是业内面对的一项普遍性难点：标题识别，以及它如何影响数据清洗与RAG系统开发。

我们依旧从指标设计出发

Tester试用链接：https://github.com/intsig/markdown_tester

此前，我们在讨论段落检测维度的文章《所见即所得，赋能RAG：PDF解析里的段落识别与阅读顺序还原》（+link）中详细说明过识别率、召回率与F1的设计原理。

标题检测中，相关指标通过相似规则构建：标题识别率测量的是标题解析是否足够准确，即被识别为标题的项目中有多少是正确的；而标题召回率测量的是段落解析是否足够全面，能不能避免长文档中有没被找到的“漏网之鱼”；F1值是识别率和召回率的调和平均值，它综合考虑了这两个指标，用于评估文档解析的整体性能。

树状编辑距离的概念，可以参考《聊聊文档解析测评里的表格指标》（+link）。相对于表格树状结构，标题会更易于理解。凡长文档，大部分会包含多层级标题，将标题层级以树状结构的方式表达，并测量预测值与真值间的编辑距离，即可评判各层级标题的解析准确程度。

简而言之，如果解析产品将一篇论文中的二级标题检测为三级子标题，在这项指标里就会被扣分。

标题检测是PDF解析的主要维度之一，在长文档解析中尤为重要。

TextIn团队研发了文档树引擎这一关键技术，针对性提升标题检测能力。

物理版面分析技术支持对目标区块的检测与元素识别，并利用标题区块的高度（即字号）判断一级、二级、三级、......N级标题。这种方法解决了一部分问题，但较难在文档格式多样的复杂场景中保持良好表现。在此基础上，文档树引擎从语义出发，增强了标题识别率与召回率。

TextIn文档树引擎遵循以下路径工作：

一、输入

整份文档的段落内容，以序列化形式传入模型

二、预测

提取当前段落的embedding值
预测每个段落和上一个段落的关系，分为子标题、子段落、合并、旁系、主标题、表格标题
如果是旁系类型，则再往上找父节点，并判断其层级关系，直到找到最终的父节点

三、输出

基于每个段落的情况，构造该文档的文档树，并按 JSON 结构输出（右图中未渲染段落节点）

正确的标题检测结果输出与文档树构建对数据质量有重要的提升作用，对后续数据清洗、大模型语义理解与RAG开发应用场景意义尤为明显。

简单来说，当AI对长文档进行检索与理解，清晰的标题及层级识别，能帮助机器快速读取全文的逻辑结构，并锚定我们希望查找或归纳的信息位置。不论我们需要LLM帮助快速阅读、生成摘要，还是提取细节内容，标题目录都能起到重要作用。

以RAG（Retrieval-Augmented Generation）这一主要场景为例，在系统开发过程中，Chunking（分块）对整体性能有着显著的影响。RAG在进行信息检索的时候需要将检索出来的有价值的文本段送给模型，模型才能生成可靠有用的内容。分块是将整篇文本分成小段的过程，当我们使用LLM embedding内容时，分块可以帮助优化从向量数据库被召回的内容的准确性，因此文本段的质量也是RAG中比较重要的一环。良好的分块能够减少计算资源的消耗，提高检索效率，并提升生成质量。