数据卷(Volume)是 TCLake 数据目录下用于对非表格数据进行管理的对象。一个数据卷代表云存储上的一段逻辑存储区域,提供访问、存储与组织文件的能力。本文介绍如何在 TCLake 控制台对数据卷进行管理。
数据卷概述
数据卷与数据表是 TCLake 中两类并列的资源对象:数据表用于管理表格数据,数据卷用于管理任意格式的非表格数据,包括结构化、半结构化与非结构化数据,如图像、音视频、文本、PDF、日志、JAR 等任意文件。
数据卷位于 TCLake 三级命名空间的第三级(
catalog.schema.volume),每个数据卷对应一个统一虚拟路径:tclake://volume/<catalog>/<schema>/<volume>/<path>/<file-name>
说明:
数据卷仅支持在 Volume 类型的 Catalog 下创建。
数据卷按存储关联方式分为托管卷与外部卷两类:
类型 | 存储位置 | 数据生命周期 | 访问控制 | 典型场景 |
托管卷(Managed Volume) | 由 TCLake 在托管存储中创建 | 由 TCLake 管理布局与删除,删除后数据默认保留 7 天 | 全部访问经 TCLake 鉴权 | 在 TCLake 上游工作负载中读写的非表格数据,最便捷的默认选项 |
外部卷(External Volume) | 注册到用户自有的云对象存储路径 | 删除卷时仅删除元数据,存储中的文件保留 | TCLake 管理元数据访问,外部系统可直接通过 URI 访问底层文件 | TCLake 与外部系统混合访问、对存量数据就地接入治理且无需搬迁 |
数据卷主要优势:
统一治理非表格数据:将文件型资产纳入与数据表一致的 Catalog / Schema 命名空间和权限体系,统一鉴权、审计与资产盘点。
基于路径的访问:通过
tclake:// 虚拟路径直接读写文件,HCFS Java SDK 与 fsspec Python SDK 让大数据计算与 AI 训练框架零改造接入。托管卷免运维:无需手动管理云凭证或存储路径,TCLake 自动调度底层存储与生命周期。
外部卷就地接入:对已存在于云对象存储中的数据无需复制即可纳入治理,原有外部系统可继续直接读写。
创建数据卷
1. 登录 多模态智能数据湖 TCLake 控制台,选择服务所在地域。
2. 在左侧导航栏选择数据目录,进入目标 Volume 类型数据目录与 Schema。
3. 在资源列表上方单击创建数据卷。
4. 在新建数据卷面板中填写以下配置项,确认无误后单击确定。
字段 | 必填 | 说明 |
名称 | 是 | 不允许以数字开头,最长为64个字符,支持大小写字母、数字、_,同 Schema 下唯一 |
类型 | 是 | 可选托管卷或外部卷,创建后不可修改 |
Location 名称 | 外部卷必填 | 外部云对象存储注册到 TCLake 中的 Location 名称,下拉选择 |
路径 | 外部卷必填 | 在选定 Location 名称后追加的子路径 |
数据卷描述 | 否 | 用于描述用途、责任人等信息 |
说明:
数据卷类型在创建时确定,创建后不可修改。如需变更类型,需新建数据卷并迁移数据。
执行成功后,新建的数据卷将出现在当前 Schema 的数据卷列表中。
查看数据卷
1. 登录 多模态智能数据湖 TCLake 控制台
2. 在左侧导航栏选择数据目录,进入目标 Volume 类型数据目录与 Schema,可查看数据卷列表。
3. 在数据卷列表中,单击卷名称,可查看数据卷基本信息、数据卷内的路径、文件。
删除数据卷
1. 登录 多模态智能数据湖 TCLake 控制台,选择服务所在地域。
2. 在左侧导航栏选择数据目录,进入目标 Volume 类型数据目录与 Schema。
3. 在数据卷列表中找到需要删除的数据卷,单击操作列的删除。
4. 在弹出的二次确认框中输入数据卷名称,单击确认删除。
数据卷类型 | 删除行为 |
托管卷 | 同时删除元数据与底层托管存储中的所有文件,删除后数据默认保留 7 天,7 天后自动删除,请谨慎操作。 |
外部卷 | 仅删除 TCLake 元数据,外部云对象存储中的实际文件不受影响 |
说明:
托管卷删除 7 天后将清空卷下全部文件,请谨慎操作。删除前建议先确认无业务正在访问,且重要数据已备份。