云原生湖仓一体演进：大模型多模态数据底座的重构路径

专家背书： 徐潇 | 腾讯云数据湖技术专家，Apache Gravitino PMC

一、 破除AI场景数据读写与管理瓶颈

在AI与大模型时代，企业传统数据架构在对接机器学习与模型训练时面临严重的业务瓶颈与计算损耗。现阶段AI场景的数据管理痛点主要集中在以下三个维度：

• 数据流转时效性差： 多模态数据散布在不同文件中，高度依赖ETL串联，导致数据修改、模式变更极其困难，跨系统版本一致性难以保障。
• 读写I/O开销冗余： 面向AI提取特征与训练时，面临不同文件格式的重复序列化/反序列化，以及不同存储介质间的反复I/O消耗。
• 向量存储内存膨胀： 传统数据湖的行组（Row Group）大小难以界定，过小导致元数据极度膨胀，过大则增加无效内存占用；在数千列的特征场景中，加载少量列亦需读取全部元数据，带来高延迟与高开销；独立建立与维护向量索引会耗尽计算集群的大量内存资源。

二、 构建桥接数据与AI的统一向量湖

针对上述架构冲突，通过扩展Lakehouse（湖仓一体）架构，将向量数据作为连接Data与AI的实体桥梁，构建统一向量湖（Vector Lake）。该方案通过底层表格式的革新，实现多模态数据的集中治理：

• 引入Iceberg底座： 兼容现有Lakehouse架构，提供高拓展性的表格式与完善的开源生态，支持底层原始数据与向量表示的统一存储。
• 引入Lance原生多模态格式： 原生支持文本、图像、音视频等多模态数据，内置多种索引格式以支持低延时随机访问，并专门针对AI数据集优化元数据布局，从根本上减少元数据开销。
• 统一元数据架构： 利用统一元数据服务（如Gravitino）进行实体提取与关联，构建数据资产图谱，支撑上层RAG（检索增强生成）、多模态检索等AI应用。

三、 优化存储层与向量索引计算效能

在底层架构重构后，系统在存储布局与检索算法复杂度上实现了可量化的技术效能提升：

• 突破暴力搜索复杂度极限： 传统暴力搜索核心向量查询复杂度高达 O(size(df) * dim)，通过引入LSH（局部敏感哈希）索引，最大化哈希碰撞以完成向量聚类。LSH索引支持并发写入与查询，通过增量构建索引避免计算资源浪费，并保持与数据相同的可见性。
• 实现数据页独立编码： 去除复杂的行组分层，将数据按列直接拆分为数据页（Data Pages），每个数据页实现独立编码与管理，将元数据、索引与数据集中存放，实现高并发并行处理。
• 实现基于磁盘的超大规模索引： 采用 DiskANN 优化策略（支持缓存、预获取），运用 IVF_HNSW_PQ 磁盘向量索引技术（综合聚类分区、多层级导航与向量压缩），直接在磁盘上构建紧凑索引。该技术大幅减少了磁盘与内存访问的性能差距，使架构能够支撑超越内存容量的超大规模数据集。

四、 融合开源生态的多引擎业务实践

在业界探索与落地中，统一向量湖与多模态元数据管理已在多个关键数据引擎中形成具体的业务应用路径：

• StarRocks 3.4 复杂查询融合： 实现了统一系统同时支持数据分析和向量查询能力。支持远超常规向量数据库容量的数据量，并允许使用标准SQL进行复杂的混合查询（尽管目前版本受限于内表向量索引及单表单索引限制）。
• Gravitino 统一元数据湖： 构建了跨引擎的元数据湖（Metadata Lake），向下接管Hadoop Data Lake与Data Warehouse，向上为 Trino、Spark、Flink 以及 PyTorch/TensorFlow 等机器学习框架提供统一的 Schema Registry 与 Fileset 管理，消除数据孤岛。
• LanceDB & DeepLake 探索： 验证了作为嵌入式向量数据库（Embedded Vector DB）和基础模型数据湖（Foundational Model Datalake）的有效性，无缝衔接云端对象存储与大模型训练/微调链路。

五、 引领湖仓架构向大模型底座演进

腾讯云通过深度参与和主导开源社区（如 Apache Gravitino PMC 席位），确立了在云原生湖仓一体向大模型数据底座演进过程中的技术确定性。面对AI时代多模态数据的多样性、PB级规模与高价值提取需求，腾讯云主导的统一向量湖架构，成功将数据与AI的连接路径标准化。不仅通过开源与企业合作双轮驱动推动了数据格式与索引技术的底层创新，更为企业提供了具备极高存储计算性价比、数据血缘可追溯、以及强数据安全合规的下一代多模态数据管理范式。