利用 RAG 支持的 LLM 执行分析任务(译文)

介绍

检索增强生成 (RAG) 是一种功能强大的过程，旨在通过从广泛的数据库中检索相关信息来集成直接函数调用，从而更有效地回答查询。在快速发展的商业环境中，数据分析师 (DA) 正在努力应对利益相关者越来越多的数据查询。手动编写和重复运行类似查询的传统方法既耗时又低效。这就是 RAG 支持的大型语言模型 (LLM) 发挥作用的地方，它提供了一种变革性的解决方案来简化分析过程并使 DA 能够专注于更高价值的任务。

在本文中，我们将分享 Integrity Analytics 团队如何使用 LLM 构建数据解决方案，以帮助自动执行繁琐的分析任务，例如生成常规指标报告和执行欺诈调查。

虽然 LLM 以其在数据解释和洞察生成方面的熟练程度而闻名，但它们只是整个解决方案的一部分。为了获得全面的解决方案，LLM 必须与其他基本工具集成。组装解决方案需要以下内容：

面向内部的 LLM 工具 - Spellvault 是 Grab 内部的一个平台，用于存储、共享和优化 LLM 提示。它具有低代码/无代码 RAG 功能，可降低人们创建 LLM 应用程序的门槛。

数据 -具有实时或接近实时延迟以确保准确性。它必须采用标准化格式，以确保所有 LLM 数据输入都是准确的。

调度程序 - 定期运行 LLM 应用程序。适用于自动执行日常任务。

消息工具 -一个用户界面，用户可以通过输入命令与 LLM 进行交互来接收报告和见解。

介绍 Data-Arks，为 LLM 代理提供相关数据的数据中间件

对于大多数数据用例，DA 通常运行同一组 SQL 查询，并对日期、年龄或其他过滤条件等参数进行细微更改。在大多数情况下，我们已经清楚地了解完成任务所需的数据和格式。因此，我们需要一个可以执行精确 SQL 查询并将数据输出传送到 LLM 的工具。

图 1.Data-Arks 托管各种 API，可以调用这些 API 为 SpellVault 等应用程序提供数据。

什么是Data-Arks？

Data-Arks 是一个内部的基于 Python 的 API 平台，其中包含几个常用的 SQL 查询和 Python 函数，这些函数打包成单独的 API。Data-Arks 还与 Slack、Wiki 和 JIRA API 集成，允许用户从这些工具中解析和获取信息和数据。Data-Arks 的优势总结如下：

集成： Data-Arks 服务允许用户在平台上上传任何 SQL 查询或 Python 脚本。然后这些查询将以 API 的形式呈现，可以调用这些 API 向 LLM 代理提供数据。

多功能性：Data-Arks可以扩展到所有人。Grab 各个团队和职能部门的员工可以自行将他们想要的任何 SQL 查询上传到平台上，从而使此工具可用于不同团队的用例。

使用 Data-Arks 和 Spellvault 自动生成和汇总定期报告

LLM 只是拼图中的一块，要构建一个全面的解决方案，它们必须与其他工具集成。图 2 显示了如何使用不同的工具在 Slack 中执行报告摘要。

图 2 展示了如何使用不同的工具在 Slack 中执行报告摘要。

图 2. 报告摘要器使用各种工具来总结查询并通过 Slack 提供总结报告。

图 3 是 Report Summarizer 使用虚拟数据生成的汇总报告示例。Report Summarizer 调用 Data-Arks API 以表格格式生成数据，LLM 帮助总结并生成一段简短的关键见解。这种自动报告生成功能帮助每份报告节省了约 3-4 小时的时间。

图 3. 使用从 [https://data.gov.my/](https://data.gov.my/) 提取的虚拟数据生成的报告示例。

用于欺诈调查的 LLM 机器人

LLM 还可以帮助简化欺诈调查，因为 LLM 能够将几个不同的数据点和信息情境化，并从中获得有用的见解。

介绍A* bot，这是团队自己的 LLM 欺诈调查助手。

一组用于欺诈调查的常用查询以 Data-Arks API 的形式提供。根据用户提示或查询，SpellVault 使用 RAG 选择最相关的查询，执行它们并通过 Slack 向用户提供结果摘要。

图 4. A* 机器人使用 Data-Arks 和 Spellvault 获取欺诈调查信息。

图 5 显示了 A* 机器人的欺诈调查响应示例。通过扩展到欺诈调查流程的多个查询，曾经耗时的欺诈调查现在可以缩短到几分钟，因为 A* 机器人能够同时提供所有必要的信息。

图 5.欺诈调查回应示例。

RAG 与微调

在决定使用 RAG 还是微调来提高 LLM 准确度时，有三个关键因素决定了 RAG 方法的优势：

工作量和成本考虑

微调需要大量的计算成本，因为它涉及采用基础模型并使用较小的特定领域数据和上下文对其进行进一步训练。RAG 的计算成本较低，因为它依赖于仅检索相关数据和上下文来增强模型的响应。由于相同的基础模型可用于不同的用例，因此 RAG 因其灵活性和成本效益而成为首选。

能够使用最新信息做出响应

微调需要在每次更新新信息时重新训练模型，而 RAG 只需从知识库中检索所需的上下文和数据即可增强其响应能力。因此，通过使用 RAG，LLM 能够使用我们生产数据库中的最新信息来回答问题，从而无需重新训练模型。

速度和可扩展性

无需重新训练模型的负担，团队可以利用管理良好的知识库快速扩展和构建新的 LLM 应用程序。

下一步是什么？

使用 RAG 驱动的 LLM 的潜力是无限的，因为 GPT 的能力与其配备的工具相关。因此，这个过程并不止于此，我们将尝试将更多工具或集成到 GPT 中。在不久的将来，我们计划利用 Data-Arks 为 GPT 提供图像，因为 GPT-4o 是一个具有视觉功能的多模态模型。我们致力于突破 RAG 驱动的 LLM 的极限，并期待揭开未来令人兴奋的进步。

图 6. 下一步是什么？

我们要向以下个人和团队表示最诚挚的感谢，他们的宝贵支持和贡献使该项目成为现实：

- Grab 高级数据科学家 Meichen Lu，感谢她在构建 MVP 和测试概念方面提供的指导和帮助。

- 数据工程团队，特别是 Jia Long Loh 和 Pu Li，感谢他们建立了必要的服务和基础设施。