「服务国际化战略」腾讯云 Data Platform——探索 AI 时代数据存储与处理解决方案

在 2025年8月15日举办的 ADIE 新加坡站上，腾讯云存储解决方案总监温涛发表了题为 “腾讯云 Data Platform——探索 AI 时代数据存储与处理解决方案” 的演讲，深入剖析了 AI 时代下数据存储的核心挑战，系统展示了腾讯云数据平台技术架构与实践成果，为汽车驾驶、机器人、AIGC 等领域提供了全链路解决方案，助力企业释放数据价值。

演讲精华提炼

（温涛，腾讯云存储解决方案总监）

01、AI 时代数据存储核心挑战与需求

随着 AGI（通用人工智能）全面赋能产业升级，数据存储与处理面临多重挑战。温涛指出，当前数据场景需突破四大核心痛点：

• 海量数据存储：大规模数据输入要求平台具备 EB 级超大规模存储能力
• 高性能处理：海量数据访问需存储与处理系统兼具高吞吐量与低延迟
• 多元化集成：多源数据需灵活整合管理，适配不同业务场景需求
• 智能化治理与成本控制：数据质量、一致性、安全合规管理复杂度攀升，同时需平衡存储效率与成本。

以自动驾驶与具身智能机器人脑模型训练场景为例，数据存储需求呈现分层特性：

• 数据采集上传、解析转换标注阶段需支持 HDFS/POSIX 等多接口，满足海量小文件顺序读写；
• 模型预训练与训练阶段以 POSIX 接口为主，要求高 IOPS、低延迟及 Checkpoint 文件高吞吐写入；
• 仿真验证阶段则需兼顾大文件顺序读写与高吞吐量，腾讯云通过对象存储（EB级）与并行文件系统/高性能缓存系统（PB级）组合，实现100GB/s 带宽高性能数据流、热数据弹性存储及跨区域数据集共享，为复杂场景提供支撑。

02、腾讯云数据平台核心架构与技术优势

为应对上述挑战，腾讯云构建了“统一存储 + 智能加速 + 全链路处理 + 智能检索”的一体化数据平台，核心包含四大组件：

COS 对象存储：作为全功能、高可靠、低成本的存储基础，依托 YottaStore 架构实现原生多可用区部署，数据耐久性达99.9999999999%，可用性99.995%，单集群容量支持100EB，通过元数据分层存储、数据自动均衡等技术，在保障性能的同时降低存储成本。

GooseFS 智能加速层：构建统一高性能数据访问通道，其中 GooseFS-Cache 支持亚毫秒级延迟与数千万 IOPS，适配 AI 训练、HPC 等密集计算场景；GooseFS-Lite 作为轻量级网关，实现 COS 与 POSIX 文件系统无缝衔接；元数据加速器优化小文件与复杂目录处理效率，COS 加速器基于全闪介质提升对象读取性能，全面满足不同计算场景加速需求。

Data Engine 数据处理引擎：数据万象 CI 提供一站式数据处理服务，覆盖图像（标注、增强、修复）、音频（降噪、ASR、智能作曲）、视频（转码、智能封面、修复）、文件（预览、脱敏、压缩）等全类型数据处理，支持工作流批量处理，同时通过内容审核功能（文本、图像、音视频），将违规内容拦截率提升至99%，保障数据合规。

MetaInsight 智能检索：结合数据万象图文大模型与向量数据库，实现数据向量化索引与语义相似度检索，支持跨模态数据（文本、图像、视频）智能查询，通过 API 快速构建索引库与检索服务，释放数据价值。

03、行业解决方案与实践成果

行业解决方案与实践成果温涛通过两大核心场景案例，展示了腾讯云数据平台的落地价值：

在自动驾驶与机器人场景，腾讯云构建了端到端解决方案：基于 COS 数据湖实现原始数据、训练数据集、仿真数据统一存储，通过 GooseFS-Cache 加速数据读写，将自动驾驶训练性能提升30%，数据预处理时间缩短40%；同时支持路测车辆、量产车辆4/5G 数据实时上传，结合 MetaInsight 实现数据集智能管理，满足 Cross Former 等视觉-语言-动作模型全流程训练需求，单平台可管理百EB级数据，且成本可控。

在 AIGC 场景，方案实现数据全链路优化：数据预处理阶段，GooseFS 突破对象存储带宽限制，利用GPU服务器闲置 NVMe SSD 资源，实现200GB/s 预处理带宽，热数据处理效率提升3-4倍；模型训练阶段，支持按需弹性扩容与双向数据流，将高性能文件存储成本降低40%，训练数据加载性能提升6倍，Checkpoint 写入实现秒级响应，提升 GPU 利用率；推理审核阶段，依托数据万象内容审核能力，保障生成内容合规。

04、以数据平台为核心，驱动产业智能升级

温涛强调，腾讯云数据平台通过五大核心能力赋能企业：一是存储效率优化，Yotta 架构实现成本与性能平衡；二是统一存储空间，整合结构化、半结构化、非结构化数据；三是极致性能，支撑大规模数据高吞吐、低延迟访问；四是弹性资源配置，按需调整存储与计算资源；五是智能治理，降低人工操作复杂度与错误率。

未来，腾讯云将持续深耕数据存储与处理技术，以“优化存储性能、强化智能管理”为核心，为传统企业数字化、互联网服务升级、AGI 产业落地提供更坚实的数据底座，助力全球企业在 AI 时代把握数据机遇，实现业务创新与高质量发展。