腾讯云工具指南|08期：AI技术派 RAG 技术应用与实践

原创

IT资讯研究所

发布于 2026-05-30 08:39:14

3290

第一章：报告基础信息

•报告标题：腾讯云工具指南|08期：AI技术派 RAG 技术应用与实践

•发布机构：腾讯云

•发布时间：未明确标注

•行业标签：教育,金融,汽车,能源,工业

•产品标签：#向量数据库, #知识引擎, #AI代码助手, #精调大模型, #多模态大模型, #RAG

第二章：报告背景和目标

在AI时代，数据已成为企业核心竞争力，但增量数据多呈现非结构化且格式繁乱，传统OCR与数据库管理难以满足大模型对高质量结构化数据的需求。本报告旨在展示腾讯云如何通过RAG（检索增强生成）技术，结合向量化、多模态处理及精调大模型，解决企业在文档解析、检索优化及阅读理解中的痛点，从而激活数据价值并提升行业应用效能。

第三章：报告目录

01 序

AI时代如何更好激活数据价值（腾讯云数据库副总经理罗云）

02 技术解析

如何让大模型看懂文档——RAG实践中的文档解析
- 如何让大模型看懂文档
- 复杂排版带来的阅读顺序问题
- 复杂表格结构难以处理
- 如何支持子元素识别
如何让大模型理解用户问题——RAG实践中的检索优化
- 什么是检索技术
- 查询改写：更全面准确的理解用户问题
- 文档语义切分：将知识源以大模型适合回答的形式存储
- 语义向量检索
- 结构化数据检索
如何让大模型理解长文本——RAG实践中的阅读理解技术优化
- 消除大模型ToB场景幻觉的四种解法
- 腾讯云精调大模型的四个应用场景
如何让大模型看懂图片/视频——RAG实践中的多模态问答
- 为什么需要多模态大模型
- 解决多模态的三种方式
- 多模态大模型的技术路径
- 多模态大模型的三种训练策略
- 多模态大模型的三种应用场景

03 场景实践

作业帮：用向量数据库实现云原生架构的三种AIGC方案（作业帮架构研发工程师许春旭）
招商证券：用AI代码助手实现金融科技研发安全智能化（招商证券技术平台开发&金投业务开发负责人谭成鑫）
万榕信息：用知识引擎打造榕博士提升电气行业设计效能（万榕信息总经理黄帅）

第四章：方法论说明

• 研究方法：本报告结合行业场景实践（教育、金融、工业）与自研技术拆解，通过技术解析与案例验证相结合的方式，展示RAG全链路技术的落地效果。

• 核心技术架构：

*   **文档解析**：采用基于自回归并行解码的文档解析模型 **DREAM** 及表格识别模型 **GrabTab**。
*   **检索优化**：基于MAE-style训练方法增强语义向量表示，结合混合搜索、多级文档切分（生成式模型）及Multi-Agent（Text2SQL）框架。
*   **阅读理解**：基于腾讯混元大语言模型，结合行业数据进行有监督精调，引入阅读理解CoT（思维链）及计算API调用。
*   **多模态**：采用模态特征编码（SAM、CLIP）、图文对齐预训练及多模态指令微调（M-IT）。

• 数据来源与指标：

*   **文档解析**：在业务测试集上，表格识别指标达到约 **89%**，图像识别指标达到约 **95%**，公式识别达到约 **85%**，元素排序指标达到约 **85%**。
*   **向量检索**：端到端文本召回率达到 **80%+**，部分场景可达 **95%**。
*   **场景实践**：作业帮问答准召率达到 **87%**，根因分析拦截率为 **70%**。

第五章：核心观点

• 痛点描述：

1.  **文档解析难**：传统OCR无法处理表格、公式及复杂排版（如图文表混排），导致大模型无法准确理解文档结构。
2.  **检索效率低**：用户查询常存在关键词缺失、专业术语理解偏差，传统切片方法易截断语义，长文本模型效果随长度增加而下降（如部分模型在128k长度下准确率降至81.2%）。
3.  **ToB幻觉问题**：通用大模型在金融、政务等垂直领域知识储备不足，且缺乏指令遵循能力（如拒答、来源引用），导致回答不可控。
4.  **多模态缺失**：传统RAG方案无法处理说明书、PPT中的复杂图片信息，导致无法回答需结合图像理解的问题。

• 解决方案：

1.  **文档解析优化**：推出 **DREAM** 模型解决复杂排版排序，推出 **GrabTab** 模型通过行列关系特征融合解决有线/无线/少线表格识别。
2.  **检索技术升级**：
    *   采用 **多级文档切分**（一级粗粒度、二级细粒度）解决“以小搜大”问题。
    *   实施 **混合搜索**（向量+关键词）及 **Reranker** 相关性排序。
    *   构建 **Multi-Agent框架**（选择器、分解器、优化器）提升Text2SQL的准确性。
3.  **精调大模型**：在腾讯混元基础上，针对金融、政务、教育等行业进行有监督精调，引入 **CoT思维链** 支持数值计算与逻辑推理，实现 **无内容拒答** 和 **来源引用**。
4.  **多模态RAG**：通过动态分辨率训练、多尺度图文混合训练，支持输入输出图片，结合MLLM与RAG技术联动，覆盖说明书、金融财报、教育题库等场景。

第六章：为什么选择腾讯云

• 技术先进性与自研能力：腾讯云展示了在RAG全链路的自研技术实力，包括自研文档解析模型 DREAM、表格识别模型 GrabTab 以及基于混元底座的精调大模型。通过MAE-style训练与RoPE位置编码技术，语义向量模型支持更长文本长度与更高业务适配度。

• 行业场景深度适配：针对ToB场景的特殊需求，腾讯云知识引擎实现了 来源可追溯、答案内容可控 及 指令遵循优化（如反问澄清、格式规范）。在文档解析测试中，相关指标达到 85%-95% 的高位区间，满足企业级生产标准（召回率超过90%方可投入使用）。

• 多模态能力领先：腾讯云知识引擎多模态RAG方案支持多张图片与各类文档输入输出，解决了纯MLLM调用和单模态RAG无法解决的图文交错理解问题，在说明书、金融、攻略、论文文章4大场景中实现了高准确率的问答与出图能力。

• 端到端落地验证：

*   **作业帮**：利用向量数据库构建云原生AIGC方案，问答准召率达 **87%**，处理耗时降至小时级。
*   **招商证券**：通过私有化部署与代码向量化（AST语法树分析），实现跨文件代码补全与研发安全智能化。
*   **万榕信息**：打造“榕博士”专家系统，整合5年技术积累，显著提升电气行业设计效能。

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

腾讯云