功能介绍

最近更新时间:2025-11-06 16:28:41

我的收藏

功能简介

数据流动是腾讯云文件存储提供的与对象存储建立映射关系的数据管理能力。通过此功能,可打通文件存储与对象存储的命名空间,基于完整的文件系统 POSIX 接口访问对象存储中的数据,并支持文件系统和对象存储之间数据的双向流动,并获得高性能文件系统的 TB 级吞吐和亚毫秒级延迟的卓越性能。


应用场景

自动驾驶、具身智能、大模型训练等 AI 场景

此类通常海量的数据会存放在更低成本的对象存储上,但在预处理、仿真、训练等环节,需要文件系统的接口,以及高性能的访问能力。可基于数据流动的能力,打通文件存储和对象存储的数据,降低自行拷贝数据的复杂度,提升数据流转效率。

大数据场景

在 HBASE、SPARK 等性能压力较高的大数据场景中,通常对吞吐和延迟有更高的要求。可基于数据流动的能力,打通文件存储和对象存储的数据,并基于文件系统提供的 HDFS 接口,提升大数据场景的数据读写性能。


功能优势

支持数据双向流动

支持通过数据管理任务的方式,与对象存储的数据进行双向流动,满足数据持久化到对象存储中的需求。

支持子目录的数据流动映射

可对任意未配置生命周期/数据流动的文件系统子目录,配置数据流动的映射。

多种数据源支持

可支持文件系统、对象存储等多种存储的数据流动映射,形成统一的命名空间。

元数据自动更新

可配置元数据自动更新,确保命名空间立即可用,降低人工维护成本,简化数据处理流程。

节省存储空间,降低成本

数据流动的映射支持只加载元数据部分,数据部分通过 lazyload 的方式实现(即仅在数据访问的时候,才会从源端拉取数据)。因此,可大幅节省在海量数据情况下,高性能存储的容量成本。