【数智化人物展】天云数据CEO雷涛：大模型连接数据库 为数智化提供高价值数据

雷涛

本文由天云数据CEO雷涛投递并参与由数据猿联合上海大数据联盟共同推出的《2024中国数智化转型升级先锋人物》榜单/奖项评选。

大数据产业创新服务媒体

——聚焦数据 · 改变商业

这几天，奥特曼讲SQL数据库和大模型结合起来会产生什么样的化学变化引起行业关注。为什么大模型要接数据库？

大模型训练通常需要大量的数据。这些数据往往存储在各种数据库中。数据库提供了结构化和非结构化的数据源，供大模型在训练过程中使用。数据库系统能够高效地存储、检索和管理大量数据，使得大模型能够从中获取所需的信息。例如，训练语言模型时，数据库可以存储大规模的文本数据，方便模型进行访问和处理。

要实现数智化，大模型需要连接价值密度最高、逻辑性强、动态且鲜活的数据，这些数据都跟生产经营的交易相关，比如股票信息、金融账户、医院里挂号信息，我们知道这些数据都不在静态的文档、文献或报告里，而是在数据库里。但是目前大模型所依赖的数据资源局限于静态文献中的知识，这在一定程度上限制了其对于高价值数据的全面获取，尤其是那些存储在客户私域中的宝贵数据。目前普遍采用的RAG技术将信息检索和生成两个阶段结合起来，通过检索数据库中的相关信息来辅助生成过程，解决大模型数据滞后带来的幻觉问题，提高生成内容的质量。

此外，大模型每走一步都观察人类反馈，朝着人类期望的方向迭代。通过条件概率找到最清晰的意图，大幅提升了结果的准确性。因此大模型学习了人类的语言及说话方式以后，它还要了解人类的商业逻辑，对数据库的数据做知识的封装，进一步服务数智化。

那么，大模型如何为数智化提供高价值的数据？

这就需要对数据库里的数据做快速的服务和封装。大模型对数据库里的数据做服务和封装并不仅仅是一个NL2SQL自然语言转换的问题，也不是直接从已经写好的SQL里去检索出答案。那我们如何面向动态的弹性的业务逻辑，从动态的生成类SQL逻辑从数据库中拿到准确的结果。

要实现这个目标，需要应对几个挑战：

1、如何把模糊的意图理解token语句转变成精确的SQL？

很多人都尝试使用各种国内外大模型编写 SQL，但生成的SQL大多无法直接运行成功，所以市场上形成了大模型总在一本正经的胡说八道的认知。不少人放弃并恢复到手动编写SQL的方式。我们用100个场景做了实验，目前最好的大模型真正能够直接生成可以运行且结果准确的SQL只有3%左右，得出的结论是目前大模型仅仅只能做分析师的副驾驶。

既然要盯到一个强逻辑的体系，光靠RAG肯定不够，增加向量索引也只是把逻辑结果就已经做好SQL的表的结果反馈出来，但它不能够动态地生成弹性的业务逻辑。那么怎么能够动态地生成业务逻辑，天云数据进一步通过基于表的Schema、相关的实例SQL、业务逻辑上下文相关示例，通过上下文逻辑的方式进行优化准确率大幅提升。可以使模糊的意图经过多个上下文的提醒做到了精准的SQL的转换。

2、组织数据需要数据编织才能快速地把基于意图的数据在底层表达出来。

仅仅通过上下文逻辑实现精准SQL优化还不够，还需要数据编织技术进一步加强。用传统的主数据管理，强逻辑性的内容是不能够适应动态的token意图表达的，因此数据编织是一个非常核心的内容。多种不同类型的数据源共同编织到一起，在编织之上定义数据产品。数据产品是一组业务的表达，它是一个虚拟物化视图，与传统物化视图不同，他们储在缓存中，并能够动态更新。在数据产品之上，我们通过算法可以动态为数据产品自行打标签，这个标签，是从数据结构和数据中提取的多个标签，实时动态的标签可以为大模型的提供更加实时、丰富的上下文，使意图理解更加精确。数据编织使数据不局限于一个业务系统，也不用关心底层的存储，无论Mysql、Oracle还是国产数据库都可以纳入一套SQL逻辑来管理。

3、大模型连数据库是强高并发任务，底层HTAP数据库是最佳选项。

数据仓库里的批处理操作演变成了高并发的交互性、实时性内容。所以这底层的数据库不是一个简单的NewSQL就能完成的而是需要HTAP这样的同时拥有TP的高并发能力、AP的海量数据快速响应能力。

数据仓库发展了这么多年，技术上大多以大规模并行处理（MPP）、内存计算、列式存储为核心，也就是离线数仓互联网化后的替代方案。但是比较大的实时表进来以后，数据仓库无法支撑，必须得放到一个大的库里来做实时。当然，另一种技术路线是，采用存算一体，或者可以像Facebook一样，采用存算分离架构。以金融行业数据仓库的优化为例，如果要对传统数仓进行实时化升级，会分两部分工作，那就是在数据入口和出口端分别做改造。以权益类服务为例，之前的用户积分都是隔夜算，用户可能几个月后到商场拿积分去兑换一份商品，后端只需要做一次离线服务，就可以了。但是现在服务变了，用户刷完卡，到底是给一张电影票，还是一个电动牙刷？这是个性化服务，必须实时计算，并且要嵌套在整个服务场景里。这时，入口端就可以采用类似于Flink这样的架构，但是很快又发现，银行的一个核心业务就有上千张表，很难用一个简单的 Flink 架构支撑传统的大型银行系统，所以MPP +Hadoop这种奇葩的架构才会出现，而基于新兴技术的HTAP，则对MPP +Hadoop这种架构彻底做了一个洗牌。对于银行业务场景来说，一个用户身份会涉及到卡片、账户、人三层结构，而核实一个用户的建权和授权，就要通过三张这个几千万、上亿记录的表结构完成，很难通过单表的形式拉宽表来操作。而HTAP在银行业务互联网场景里，或者说在传统信息化向产业互联网升级过程中，就表现出独特优势，既满足了MPP 的特性，又能覆盖掉Hadoop能力。

通过以上三点，实现大模型为数智化提供高价值的数据。

大模型连接数据库的连接，能更快地推动行业数智化，但厂商必须同时要做数据库和机器学习才能干这种事儿。现在市场上出现了很多同时做数据库和AI的公司，Databricks是其中的代表。Databricks基于Spark从批处理开始向下做湖仓一体向上延伸至AI。天云数据同时做数据库和AI是因为10年前在云基地时，我就发现了数据供给侧和消费侧最小闭环的存在。当时运营商的内容平台项目需要做动漫、游戏、音乐小说的客户画像分解，传统的Oracle数据库无法支撑亿级用户带来的海量上网日志，数据供给侧升级，转而用HBase等分布式开源组件处理。而数据消费侧也不是SQL、可视化、报表、表盘等，而是升级为机器学习（ML）等新兴的数据处理方法。当看到数据的供给和消费升级，我便带着团队从云基地出来创立天云数据完成最小级闭环时，自然而然会做供给侧的数据库和消费侧的AI两条产品线，我们是市场上最早同时做数据库和机器学习赛道的。

为什么OpenAI要收购Rockset？近期，OpenAI花了5亿美元（约36亿人民币）收购了企业搜索和分析初创公司Rockset。数据库作为企业级数据价值密度最高的基础设施，它是生成式智能绕不开的技术壁垒，所以OpenAI才会打破自己的收购记录购买高并发的混合搜索产品。但是企业级数据库的赛道并不仅仅要解决IO问题，更要解决数据编织的存算分离、物化视图、虚拟数仓、联邦计算等一系列业务逻辑的技术实践才能够支撑大语言模型更为Native的人机交互逻辑对数据的服务方法。这些都需要科创公司就绪全栈AI的能力，尤其是LLM之上的AI Infra，没有所谓秘方和捷径。

·申报人“雷涛”简介：

博士后工作站企业导师，中关村高聚人才，两度CAAI人工智能奖项“吴文俊人工智能科学技术奖”获得者，智能投研技术联盟（ITL）“高级技术顾问”，北京科技协理事；新华社媒体融合生产与技术系统国家重点实验室特约研究员

★以上由雷涛投递申报的观点性文章，最终将会角逐由数据猿与上海大数据联盟联合推出的《2024中国数智化转型升级先锋人物》榜单/奖项。