一、背景:为什么大模型需要专业知识库?
随着大语言模型的发展,越来越多的专业领域开始尝试使用 AI 处理知识检索、问答和内容分析任务。
传统命理古籍也是一个值得研究的应用场景。
八字命理涉及历法、干支、五行、十神、格局、大运流年等多个知识体系,相关理论分散在不同古籍和章节中。
例如:
如果直接让大语言模型回答专业问题,可能出现一些问题:
因此,可以考虑引入 RAG(Retrieval-Augmented Generation,检索增强生成)技术,将外部知识库与大模型结合。
系统先检索相关资料,再将资料交给模型分析和组织答案,从而提高专业问答的可追溯性。
一个面向传统古籍的 RAG 系统,可以拆分为以下几个部分:
整体流程如下:
用户问题
|
v
问题理解与分类
|
v
查询改写
|
v
知识检索
|
+-------+-------+
| |
v v
向量检索 关键词检索
| |
+-------+-------+
|
v
结果融合
|
v
重排序
|
v
上下文知识构建
|
v
大语言模型
|
v
回答输出这里有一个重要设计原则:
不要让大模型承担所有任务,而应该让计算、检索和生成各自负责适合自己的工作。
RAG 系统的检索质量,很大程度上取决于原始数据质量。
传统古籍文本可能包含繁体字、异体字、古文断句、OCR 识别错误以及不同版本之间的差异。
因此,在向量化之前,需要建立数据预处理流程。
主要包括:
需要特别注意,原始古籍文本应该单独保存。
清洗后的标准化文本可以用于检索,但不能覆盖原始版本,以便后续核对和追溯。
建议为每一条知识记录保留来源信息:
例如:
{
"book": "子平真诠",
"chapter": "论用神",
"category": "格局理论",
"content": "古籍原文内容",
"sourceVersion": "待确认版本",
"page": null
}这样做的好处是,当模型生成回答时,可以进一步定位原文来源,而不是只返回一段无法追溯的知识内容。
文本切片是 RAG 系统中非常关键的环节。
切片太大,可能导致检索结果包含大量无关内容;切片太小,又容易破坏原文上下文。
对于古籍知识,可以采用分层切片策略:
层级 | 主要用途 |
|---|---|
书籍级 | 保存文献基本信息 |
章节级 | 保存章节结构 |
段落级 | 保留完整论述 |
知识点级 | 定位具体理论 |
实际检索时,可以先召回知识点级内容,再根据需要补充对应段落和章节上下文。
完成文本预处理后,需要将文本转换为向量表示。
Embedding 模型可以将文本映射到一个高维向量空间,使语义相近的文本在向量空间中具有较高的相似度。
例如,用户提出:
“为什么八字不能只根据五行数量判断旺衰?”
知识库中可能没有完全相同的表达,但相关内容可能涉及月令、通根、透干、生克制化等理论。
向量检索可以帮助系统找到这些语义相关的内容。
原始古籍
|
v
文本清洗
|
v
语义切片
|
v
Embedding 模型
|
v
文本向量
|
v
向量数据库每条向量记录都应该关联原文和元数据。
例如:
{
"id": "knowledge_00001",
"vector": [],
"metadata": {
"book": "子平真诠",
"chapter": "论用神",
"category": "格局理论",
"content": "对应古籍知识片段"
}
}常见方案包括:
不同方案适用于不同的业务规模。
如果已有 PostgreSQL 基础设施,可以评估 pgvector,降低系统维护复杂度。
如果向量数据规模较大,并且需要更丰富的向量检索能力,可以考虑独立部署 Milvus 或 Qdrant。
选型时需要考虑:
不应该仅凭产品宣传或单一性能指标决定技术方案。
只使用向量检索,并不一定适合所有专业知识场景。
传统命理中存在大量明确的专业术语,例如:
这些词语具有较强的精确匹配需求。
因此,可以采用混合检索。
向量检索: 负责寻找语义相似的知识。
关键词检索: 负责寻找明确术语和原文。
元数据过滤: 根据书名、章节、版本和知识分类筛选。
最后将多路检索结果融合,再通过重排序模型选择相关内容。
例如,用户询问《子平真诠》中的伤官配印,系统可以:
这种方式通常比单纯依赖一次向量搜索更加灵活。
向量数据库擅长语义相似度检索,但专业知识往往还包含大量结构化关系。
例如:
这些内容可以通过知识图谱组织。
一个简单的关系结构如下:
甲木日主
|
v
十神
|
+------+------+
| | |
v v v
食神 伤官 正财
| | |
+------+------+
|
v
命局关系分析
|
v
格局判断(青囊阁)实际实现时,应该为不同关系定义明确的类型、属性、适用条件和来源依据,而不是把所有知识简单连接起来。
知识图谱可以用于:
向量数据库与知识图谱并不冲突。
前者擅长语义检索,后者擅长结构化关系查询,可以根据具体业务组合使用。
对于需要进行专业判断的应用,仅仅检索古籍内容还不够。
假设用户输入一个八字,询问是否符合某种格局。
系统不能因为检索到一段相关古籍,就直接判断格局成立。
更合理的流程是:
第一步:基础数据计算。
完成四柱、日主、十神和地支藏干等基础计算。
第二步:规则判断。
根据采用的理论体系,检查月令、透干、通根和相关生克关系。
第三步:知识检索。
从古籍知识库中检索对应格局的原文和理论说明。
第四步:综合分析。
将计算结果、规则判断和古籍资料交给大模型。
第五步:生成回答。
输出判断结论、分析过程、理论依据以及需要保留的不确定性。
这种方式能够减少模型错误使用检索内容的问题。
知识库建设不能只看收录了多少文本,也不能只看向量数据库能否正常返回结果。
更重要的是建立评估体系。
指标 | 评估内容 |
|---|---|
Recall@K | 相关知识是否进入前 K 条结果 |
Precision@K | 检索结果中相关内容的比例 |
MRR | 正确结果的排名位置 |
引用准确性 | 是否正确对应原始文献 |
上下文完整性 | 是否保留必要的原文语境 |
回答忠实度 | 模型是否超出检索资料随意发挥 |
建议建立人工标注测试集。
例如:
每个问题都应该对应经过核对的参考资料和相关知识片段。
通过持续测试,才能判断调整切片方式、Embedding 模型、召回数量和重排序策略是否真正改善了效果。
古籍存在版本差异,标准化处理可能改变原文形式。
建议保留原始文本、标准化文本和处理记录,确保内容可以追溯。
向量相似度高,不代表检索结果一定正确。
专业知识检索还需要结合关键词、元数据和人工评估。
检索结果不是越多越好。
过多无关内容可能增加模型理解负担,反而影响最终回答。
古籍文本、知识切片和索引都可能发生变化。
需要记录数据版本、Embedding 模型版本和索引版本,便于更新和回滚。
AI 回答中应尽可能区分:
避免把模型自己的解释误认为古籍原文。
基于 RAG 与向量数据库构建传统古籍知识库,本质上是一项知识工程与大语言模型结合的实践。
从原始文本清洗、语义切片、向量化,到混合检索、知识图谱和大模型推理,每一个环节都会影响最终回答质量。
对于专业领域知识库,可以考虑采用以下技术分工:
这套架构不仅适用于传统命理,也可以扩展到历史文献、地方志、传统文化典籍和其他专业知识领域。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。