数据源管理

最近更新时间:2025-07-30 16:04:11

我的收藏

概述

数据源管理支持将存储实例(CFS/GooseFSx)的指定目录注册为数据源,实现快速挂载。同时,还支持通过访问管理(CAM)和标签(Tag)实现存储目录的权限控制。

数据源

数据源是指”某一存储实例的一个具体目录”。其中:
存储实例:表示腾讯云上“CFS/GooseFSx”这类云产品的存储实例。
目录:表示数据存储的具体路径,可以将根目录或任一子目录注册为数据源。

数据源管理

提供新建及管理数据源的能力,具体说明如下:
新建数据源:支持将腾讯云上已购买的存储实例注册至 TI-ONE 平台,并将指定目录创建为数据源。
快速挂载数据源:在任务式建模/开发机/在线服务等功能模块,挂载时支持一键选择指定目录,无需重复输入。
目录权限控制:支持使用访问管理(CAM)和标签(Tag)实现存储目录的权限控制,在 TI-ONE 平台内挂载 CFS/GooseFSx 时,用户只能访问打上了指定标签的数据源。

前置条件

在使用数据源管理功能之前,请您前往 访问管理控制台 将以下 CAM 策略授权给指定用户/用户组。预设策略如下:
读写权限的预设策略:QcloudTIONEResouceGroupFullAccessContainMultiservice
只读权限的预设策略:QcloudTIONEReadOnlyAccessContainMultiservice

新建数据源

1. 选择左侧导航栏平台管理 > 数据源管理,进入数据源管理页面,单击新增数据源

2. 新增数据源弹窗内,填写相关信息,完成后,单击确定

配置参数说明如下所示:
字段名称
说明
数据源名称
1. 必填。长度不超过60个字符,仅支持中英文、数字、下划线"_"、短横"-",只能以中英文、数字开头。
2. 重名校验:“数据源名称”不可重复(所有存储实例)。同时,“存储目录 + 读写权限”作为唯一键,不可以同时重复。
存储类型
必选,选项包括:“GooseFSx”、“CFS”,默认选择CFS。
地域
显示 TI-ONE 控制台当前所在地域,不支持修改。
存储实例
1. 必选,选项来源为对应存储类型下,已购买的存储实例信息。(备注:括号外表示存储实例的名称,括号内表示存储实例ID)
2. 注意:此处的实例是指腾讯云上已购买的存储实例,TI-ONE 只是注册和绑定,并非单独创建一个实例。
存储目录
必填,支持自定义填写文件路径。路径必须以斜杠"/"开头、只能包含中英文、数字、下划线"_"、短横"-"、点"." ,不能包含“..”(备注:一个数据源仅支持配置一条目录)。
读写权限
必选,选项包括:只读、读写。表示各模块挂载数据源时的读写权限,包括只读挂载和读写挂载。
标签
1. 支持为数据源打上标签,标签选项的来源为 标签控制台。一个数据源可添加多个标签。
2. 打上标签后,可结合 CAM 策略控制数据源的可见权限,实现数据隔离的效果。

管理数据源

添加数据源

与新增数据源的配置参数一致,支持为某一指定存储实例添加数据源。不可修改所选存储实例的类型和名称/ID。


挂载控制

开启挂载控制表示限制用户只能通过挂载“数据源”的方式访问指定实例及存储路径;关闭时允许用户通过原有“存储实例 + 源路径”的方式访问任意目录。
挂载控制的生效范围是存储实例维度,即该实例下所有已配置的数据源都会被限制。
注意:该功能在保留原有挂载方式的同时,提供了一部分权限管理的能力,建议在有较强权限管控需求时开启。
开启挂载控制
开启挂载控制

关闭挂载控制
关闭挂载控制


标签&权限

说明:
权限配置的最佳实践教程,详情请参见 使用数据源功能实现存储的目录级权限控制
支持基于访问管理(CAM)和标签(Tag)实现数据源的权限配置。通过在数据源打上指定标签并配置相应的 CAM 策略,即可实现不同腾讯云子账号之间的数据隔离,进而实现存储目录的权限控制


编辑

与新增数据源的配置参数一致,编辑时将回填已有信息,支持修改“名称/存储目录/读写权限”。不可修改存储实例的类型和名称/ID。


删除

删除存储实例:表示解除 TI-ONE 数据源管理与存储实例的绑定关系,并非真实删除存储实例及其数据。删除后将清空存储实例下已配置的所有数据源。
删除数据源:表示删除存储实例下的某一条数据源目录。



删除存储实例
删除存储实例

删除数据源
删除数据源


使用数据源

完成数据源配置后,在数据集管理、任务式建模、开发机、在线服务、模型评测挂载存储路径时,使用方式如下:
1. 在上述模块使用原有方式挂载“CFS/GooseFSx”实例时,需要根据存储实例是否开启了“挂载控制”的功能,来限制用户是否可选择对应实例。
假设实例已开启限制,则下拉列表中,将禁用实例选项并提示以下信息。未开启限制则支持正常选中。
根据是否开启“挂载控制”限制可选项
根据是否开启“挂载控制”限制可选项

开启限制后的提示信息
开启限制后的提示信息

2. 当选择挂载类型为“数据源”时,支持一键选择指定目录,无需重复输入。
下拉选项 hover 后将显示对应数据的存储类型、存储实例名称/ID、存储目录、读写权限。
选中任意选项后,文本框下方将显示所选数据的存储目录及读写权限。

3. 同理,在任务式建模/开发机等业务模块挂载“数据源”时,下拉列表内也仅显示对应团队可访问的数据源范围。

其他

1. 本次“数据源管理”功能上线后,完全基于标签体系实现子账号间目录隔离的 原始方案 将不再维护和生效。
2. 由于 CAM 可实现较为复杂的自定义策略,极端场景下可能会目录层级出现冲突,举例如下:
极端场景:父目录通过但子目录拒绝——假设存储实例的目录层级为:“/”、“/a”、“/b”,配置数据源 A 的存储目录为“/”、数据源 B 的存储目录为“/a”,并将数据源 A、B 授权给张三。假设同时在平台外,通过 CAM 又配置了一条策略,限制张三不可访问数据源 C 的存储目录“/b”
平台处理逻辑:父子目录都通过——此时用户张三在平台内通过“数据源”或“存储实例 + 源路径”的方式挂载目录“/b”,都可以正常访问,且不会触发子目录拒绝的效果。(因为此时张三拥有父目录“/”的访问权限)