首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >基于 RAG 与向量数据库构建传统命理古籍知识库:从文本处理到 AI 智能检索

基于 RAG 与向量数据库构建传统命理古籍知识库:从文本处理到 AI 智能检索

原创
作者头像
用户4889099
修改于 2026-11-20 21:33:31
修改于 2026-11-20 21:33:31
70
举报

一、背景:为什么大模型需要专业知识库?

随着大语言模型的发展,越来越多的专业领域开始尝试使用 AI 处理知识检索、问答和内容分析任务。

传统命理古籍也是一个值得研究的应用场景。

八字命理涉及历法、干支、五行、十神、格局、大运流年等多个知识体系,相关理论分散在不同古籍和章节中。

例如:

  • 《子平真诠》中的月令取格与用神理论
  • 《滴天髓》中的五行生克与命理论述
  • 《三命通会》中的格局、神煞及相关命理知识

如果直接让大语言模型回答专业问题,可能出现一些问题:

  1. 古籍原文引用不准确。
  2. 不同书籍的理论容易混淆。
  3. 复杂问题缺少完整上下文。
  4. 模型可能生成看似合理但缺乏依据的内容。
  5. 同一个问题在不同提问方式下可能出现不同解释。

因此,可以考虑引入 RAG(Retrieval-Augmented Generation,检索增强生成)技术,将外部知识库与大模型结合。

系统先检索相关资料,再将资料交给模型分析和组织答案,从而提高专业问答的可追溯性。

二、整体技术架构

一个面向传统古籍的 RAG 系统,可以拆分为以下几个部分:

  1. 原始文献数据处理
  2. 文本清洗与语义切片
  3. Embedding 向量化
  4. 向量数据库存储
  5. 混合检索
  6. 结果重排序
  7. 大模型生成回答

整体流程如下:

代码语言:javascript
复制
             用户问题
                |
                v
          问题理解与分类
                |
                v
           查询改写
                |
                v
           知识检索
                |
        +-------+-------+
        |               |
        v               v
      向量检索        关键词检索
        |               |
        +-------+-------+
                |
                v
             结果融合
                |
                v
             重排序
                |
                v
          上下文知识构建
                |
                v
             大语言模型
                |
                v
             回答输出

这里有一个重要设计原则:

不要让大模型承担所有任务,而应该让计算、检索和生成各自负责适合自己的工作。

三、古籍文本处理:建立高质量的数据基础

RAG 系统的检索质量,很大程度上取决于原始数据质量。

传统古籍文本可能包含繁体字、异体字、古文断句、OCR 识别错误以及不同版本之间的差异。

因此,在向量化之前,需要建立数据预处理流程。

1. 文本清洗

主要包括:

  • 去除无效字符
  • 修复乱码
  • 处理重复文本
  • 统一标点格式
  • 处理繁简体差异
  • 修正明显的 OCR 识别错误

需要特别注意,原始古籍文本应该单独保存。

清洗后的标准化文本可以用于检索,但不能覆盖原始版本,以便后续核对和追溯。

2. 章节结构识别

建议为每一条知识记录保留来源信息:

  • 书籍名称
  • 卷数
  • 章节名称
  • 原文内容
  • 版本信息
  • 页码或原始位置
  • 知识分类

例如:

代码语言:javascript
复制
{
  "book": "子平真诠",
  "chapter": "论用神",
  "category": "格局理论",
  "content": "古籍原文内容",
  "sourceVersion": "待确认版本",
  "page": null
}

这样做的好处是,当模型生成回答时,可以进一步定位原文来源,而不是只返回一段无法追溯的知识内容。

3. 语义切片

文本切片是 RAG 系统中非常关键的环节。

切片太大,可能导致检索结果包含大量无关内容;切片太小,又容易破坏原文上下文。

对于古籍知识,可以采用分层切片策略:

层级

主要用途

书籍级

保存文献基本信息

章节级

保存章节结构

段落级

保留完整论述

知识点级

定位具体理论

实际检索时,可以先召回知识点级内容,再根据需要补充对应段落和章节上下文。

四、Embedding 与向量数据库

完成文本预处理后,需要将文本转换为向量表示。

Embedding 模型可以将文本映射到一个高维向量空间,使语义相近的文本在向量空间中具有较高的相似度。

例如,用户提出:

“为什么八字不能只根据五行数量判断旺衰?”

知识库中可能没有完全相同的表达,但相关内容可能涉及月令、通根、透干、生克制化等理论。

向量检索可以帮助系统找到这些语义相关的内容。

1. 向量化流程

代码语言:javascript
复制
原始古籍
   |
   v
文本清洗
   |
   v
语义切片
   |
   v
Embedding 模型
   |
   v
文本向量
   |
   v
向量数据库

每条向量记录都应该关联原文和元数据。

例如:

代码语言:javascript
复制
{
  "id": "knowledge_00001",
  "vector": [],
  "metadata": {
    "book": "子平真诠",
    "chapter": "论用神",
    "category": "格局理论",
    "content": "对应古籍知识片段"
  }
}

2. 向量数据库选型

常见方案包括:

  • PostgreSQL + pgvector
  • Milvus
  • Qdrant
  • Elasticsearch 向量检索能力

不同方案适用于不同的业务规模。

如果已有 PostgreSQL 基础设施,可以评估 pgvector,降低系统维护复杂度。

如果向量数据规模较大,并且需要更丰富的向量检索能力,可以考虑独立部署 Milvus 或 Qdrant。

选型时需要考虑:

  • 数据规模
  • 查询并发量
  • 向量维度
  • 元数据过滤能力
  • 索引构建效率
  • 备份与恢复
  • 运维成本

不应该仅凭产品宣传或单一性能指标决定技术方案。

五、混合检索:向量搜索与关键词搜索结合

只使用向量检索,并不一定适合所有专业知识场景。

传统命理中存在大量明确的专业术语,例如:

  • 伤官配印
  • 食神制杀
  • 官印相生
  • 羊刃驾杀
  • 财官双美

这些词语具有较强的精确匹配需求。

因此,可以采用混合检索。

向量检索: 负责寻找语义相似的知识。

关键词检索: 负责寻找明确术语和原文。

元数据过滤: 根据书名、章节、版本和知识分类筛选。

最后将多路检索结果融合,再通过重排序模型选择相关内容。

例如,用户询问《子平真诠》中的伤官配印,系统可以:

  1. 识别书名和理论主题。
  2. 通过关键词检索查找相关术语。
  3. 通过向量检索寻找语义相关论述。
  4. 根据古籍来源进行过滤。
  5. 对召回内容进行相关性排序。
  6. 提取原文及必要上下文。

这种方式通常比单纯依赖一次向量搜索更加灵活。

六、知识图谱:建立专业知识之间的关系

向量数据库擅长语义相似度检索,但专业知识往往还包含大量结构化关系。

例如:

  • 日主与十神之间的关系
  • 十神之间的生克关系
  • 天干与地支之间的关系
  • 格局与用神之间的关系
  • 古籍章节与理论主题之间的关系

这些内容可以通过知识图谱组织。

一个简单的关系结构如下:

代码语言:javascript
复制
          甲木日主
              |
              v
            十神
              |
       +------+------+ 
       |      |      |
       v      v      v
      食神   伤官   正财
       |      |      |
       +------+------+ 
              |
              v
          命局关系分析
              |
              v
          格局判断(青囊阁)

实际实现时,应该为不同关系定义明确的类型、属性、适用条件和来源依据,而不是把所有知识简单连接起来。

知识图谱可以用于:

  • 查询某个概念关联的知识
  • 建立十神关系网络
  • 关联格局与古籍原文
  • 辅助多跳知识检索
  • 追踪判断涉及的规则和资料

向量数据库与知识图谱并不冲突。

前者擅长语义检索,后者擅长结构化关系查询,可以根据具体业务组合使用。

七、RAG 如何与规则引擎结合?

对于需要进行专业判断的应用,仅仅检索古籍内容还不够。

假设用户输入一个八字,询问是否符合某种格局。

系统不能因为检索到一段相关古籍,就直接判断格局成立。

更合理的流程是:

第一步:基础数据计算。

完成四柱、日主、十神和地支藏干等基础计算。

第二步:规则判断。

根据采用的理论体系,检查月令、透干、通根和相关生克关系。

第三步:知识检索。

从古籍知识库中检索对应格局的原文和理论说明。

第四步:综合分析。

将计算结果、规则判断和古籍资料交给大模型。

第五步:生成回答。

输出判断结论、分析过程、理论依据以及需要保留的不确定性。

这种方式能够减少模型错误使用检索内容的问题。

八、如何评估 RAG 知识库的质量?

知识库建设不能只看收录了多少文本,也不能只看向量数据库能否正常返回结果。

更重要的是建立评估体系。

指标

评估内容

Recall@K

相关知识是否进入前 K 条结果

Precision@K

检索结果中相关内容的比例

MRR

正确结果的排名位置

引用准确性

是否正确对应原始文献

上下文完整性

是否保留必要的原文语境

回答忠实度

模型是否超出检索资料随意发挥

建议建立人工标注测试集。

例如:

  • 什么是月令取格?
  • 伤官配印需要关注哪些条件?
  • 食神制杀如何理解?
  • 正官与七杀有什么区别?
  • 十神在大运流年中如何变化?

每个问题都应该对应经过核对的参考资料和相关知识片段。

通过持续测试,才能判断调整切片方式、Embedding 模型、召回数量和重排序策略是否真正改善了效果。

九、工程实践中容易忽略的问题

1. 原文与标准化文本分开保存

古籍存在版本差异,标准化处理可能改变原文形式。

建议保留原始文本、标准化文本和处理记录,确保内容可以追溯。

2. 不要过度依赖相似度分数

向量相似度高,不代表检索结果一定正确。

专业知识检索还需要结合关键词、元数据和人工评估。

3. 控制上下文长度

检索结果不是越多越好。

过多无关内容可能增加模型理解负担,反而影响最终回答。

4. 建立知识版本管理

古籍文本、知识切片和索引都可能发生变化。

需要记录数据版本、Embedding 模型版本和索引版本,便于更新和回滚。

5. 区分原文、解释和推断

AI 回答中应尽可能区分:

  • 古籍原文
  • 对原文的现代解释
  • 程序计算结果
  • 模型综合推断

避免把模型自己的解释误认为古籍原文。

十、总结

基于 RAG 与向量数据库构建传统古籍知识库,本质上是一项知识工程与大语言模型结合的实践。

从原始文本清洗、语义切片、向量化,到混合检索、知识图谱和大模型推理,每一个环节都会影响最终回答质量。

对于专业领域知识库,可以考虑采用以下技术分工:

  • 数据处理模块负责文献整理
  • Embedding 模型负责文本向量化
  • 向量数据库负责语义检索
  • 关键词检索负责精确匹配
  • 知识图谱负责关系组织
  • 规则引擎负责确定性判断
  • 大语言模型负责理解与表达

这套架构不仅适用于传统命理,也可以扩展到历史文献、地方志、传统文化典籍和其他专业知识领域。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 二、整体技术架构
  • 三、古籍文本处理:建立高质量的数据基础
    • 1. 文本清洗
    • 2. 章节结构识别
    • 3. 语义切片
  • 四、Embedding 与向量数据库
    • 1. 向量化流程
    • 2. 向量数据库选型
  • 五、混合检索:向量搜索与关键词搜索结合
  • 六、知识图谱:建立专业知识之间的关系
  • 七、RAG 如何与规则引擎结合?
  • 八、如何评估 RAG 知识库的质量?
  • 九、工程实践中容易忽略的问题
    • 1. 原文与标准化文本分开保存
    • 2. 不要过度依赖相似度分数
    • 3. 控制上下文长度
    • 4. 建立知识版本管理
    • 5. 区分原文、解释和推断
  • 十、总结
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档