概述
说明:
当用户在 WeData 上绑定了 DLC 引擎,并且 DLC 引擎开通了 TCLake,那么资产目录将转换为 Catalog 页面。
Catalog 是 WeData 提供的统一数据治理的解决方案,旨在将结构化与非结构化数据、AI 模型与元数据资产纳入统一的元数据管理、访问控制、血缘追踪、变更记录和访问日志体系。
在 Catalog 中,元数据按三层 catalog-schema-table 等数据对象进行管理:
第一层 Catalog:顶层命名空间,对应组织单位 / 团队 / 项目 / 数据域等。
第二层 Schema:在 Catalog 下,用来进一步分类,如按模块、子系统、业务域等划分。
第三层 数据对象:Data/AI 对象,例如 tables、models。
表 (tables)
视图 (views)
Volumes (存储文件 / 非结构化 / 半结构化数据)
函数 (functions, UDF)
模型 (AI/ML models) — 使用 MLflow 注册后也纳入治理体系
功能介绍
Catalog 为数据治理提供了一整套功能,覆盖权限、治理、血缘、访问记录和变更记录等功能。具体体现在以下三层结构中。
一、Catalog 层
在 Catalog 层,当前分为数据类 Catalog 和模型类 Catalog,数据类 Catalog 下支持 table/view/function 实体对象的管理,模型类 Catalog 下支持 model 实体对象的管理。

单击左侧具体的 Catalog,进入 Catalog 详情页。支持 catalog 描述、catalog 下 schema 列表信息、catalog 基础信息和技术信息展示和管理。新创建一个 catalog,会有默认的两个 schema:default 和 information_schema,便于用户快速进行 schema 和实体对象的创建管理。
基础信息:展示标签和负责人,并且支持编辑。
技术信息:展示创建时间、创建人和数据变更时间。
权限:支持对Catalog 进行权限管控。

二、Schema 层
在 Schema 层,根据 Catalog 类型的不同,展示的信息有所不同:
数据类:支持对 Schema 添加描述,按照“表”“视图”“函数”展示 schema 下的表列表、视图列表和函数列表,右侧展示基础信息和技术信息。

模型类:支持对 Schema 添加描述,展示“模型”列表,右侧展示基础信息和技术信息。
权限:支持对 Schema 进行权限管控。

三、实体对象层
在具体的实体对象层,数据表/视图、函数和模型的详情页分为多个 Tab 页(“血缘”、“产出与变更”、“数据质量”、“访问记录”、“使用说明”的详细说明,请参考数据发现的表详情内容),以下是各个Tab页的概述介绍:
概览页:支持添加描述,展示表字段/视图字段/函数/模型的基本元数据信息,右侧展示基础信息和技术信息。
血缘:数据表和模型支持血缘的展示,展示数据流转全链路,包括数据/模型来源、去向、以及关联任务等。
产出与变更:产出页面记录数据产出任务详情,展示任务 ID、第几次执行、计划调度时间、开始时间、产出时间、执行耗时和产出耗时;变更页面支持对数据表的变更记录,记录用户在何时、对哪个数据表、操作了什么 (SELECT / READ / WRITE / ALTER / DELETE…)。
数据质量:数据质量提供数据表配置的质量监控规则、以及表的数据仪表盘质量概览。
访问记录:支持对数据表的访问记录,记录用户在何时、对哪个数据表进行了访问。
使用说明:支持用户对实体对象进行补充说明,主要用于业务侧对实体对象补充业务信息。
权限:支持对 table / volume / function / model 等所有对象进行权限 (privilege) 授权与撤销。
Catalog 权限
Catalog 权限 在 WeData 平台和项目权限管理的基础上,还基于特权和对象所有权:决定谁能访问或管理哪些 Catalog / Schema / Table / View / Volume / Function 等对象。
WeData 平台定义了主账号和资产管理员角色,这两个平台角色在 Catalog 中拥有对所有 catalog-schema-table 等实体对象的管理和读写权限。另外,Catalog 定义了特权和对象所有权,对三个层级进行细粒度的权限管控,具体如下:
对象所有权:
Catalog 中每个层级和实体对象 (catalog / schema / table / view / volume / function / model) 都有一个 owner。Owner 拥有对该对象的完全控制权,包括修改 / 授权 / 转让 / 元数据管理,同时支持授权和权限回收。
特权清单:授权主体可以授予相关用户的权限清单。
资源类型 | 权限点 | 权限对象 | 依赖权限点(权限可生效) | 权限点简述 |
MetaLake | create catalog | MetaLake | - | 授予创建数据目录权限 |
Catalog | use catalog | Catalog | - | 授予使用数据目录权限 |
| alter catalog | Catalog | use catalog | 授予修改数据目录权限 |
| drop catalog | Catalog | use catalog | 授予删除数据目录权限 |
| create schema | Catalog | use catalog | 授予创建Schema权限 |
| browse | Catalog | - | 授予查看数据目录中元数据对象的权限 |
| grant | Catalog | - | 授予可管理元数据对象授权的权限 |
| all privileges | Catalog | - | 授予当前对象所有权限 |
Schema | use schema | Catalog、Schema | use catalog | 授予使用Schema权限 |
| alter schema | Catalog、Schema | use catalog、use schema | 授予修改Schema权限 |
| drop schema | Catalog、Schema | use catalog、use schema | 授予删除Schema权限 |
| create table | Catalog、Schema | use catalog、use schema | 授予创建表或视图权限 |
| create function | Catalog、Schema | use catalog、use schema | 授予创建函数权限 |
| create volume | Catalog、Schema | use catalog、use schema | 授予创建文件卷权限 |
| create model | Catalog、Schema | use catalog、use schema | 授予创建模型权限 |
| grant | Schema | use catalog | 授予可管理元数据对象授权的权限 |
| all privileges | schema | use catalog | 授予当前对象所有权限 |
Table | select table | Catalog、Schema、Table | use catalog、use schema | 授予查询表或视图数据权限 |
| alter table | Catalog、Schema、Table | use catalog、use schema | 授予修改表或视图元数据权限 |
| drop table | Catalog、Schema、Table | use catalog、use schema | 授予删除表或视图权限 |
| insert table | Catalog、Schema、Table | use catalog、use schema | 授予插入表数据权限 |
| delete table | Catalog、Schema、Table | use catalog、use schema | 授予删除表数据权限 |
| grant | Table | use catalog、use schema | 授予可管理元数据对象授权的权限 |
| all privileges | Table | use catalog、use schema | 授予当前对象所有权限 |
Function | use function | Catalog、Schema、Function | use catalog、use schema | 授予使用函数权限 |
| alter function | Catalog、Schema、Function | use catalog、use schema | 授予修改函数权限 |
| drop function | Catalog、Schema、Function | use catalog、use schema | 授予删除函数权限 |
| grant | Function | use catalog、use schema | 授予可管理元数据对象授权的权限 |
| all privileges | Function | use catalog、use schema | 授予当前对象所有权限 |
Volume | read volume | Catalog、Schema、Volume | use catalog、use schema | 授予读取文件卷权限 |
| write volume | Catalog、Schema、Volume | use catalog、use schema | 授予写入文件卷权限 |
| alter volume | Catalog、Schema、Volume | use catalog、use schema | 授予修改文件卷权限 |
| drop volume | Catalog、Schema、Volume | use catalog、use schema | 授予删除文件卷权限 |
| grant | Volume | use catalog、use schema | 授予可管理元数据对象授权的权限 |
| all privileges | Volume | use catalog、use schema | 授予当前对象所有权限 |
Model | use model | Catalog、Schema、Model | use catalog、use schema | 授予使用模型权限 |
| alter model | Catalog、Schema、Model | use catalog、use schema | 授予修改模型权限 |
| drop model | Catalog、Schema、Model | use catalog、use schema | 授予删除模型权限 |
| create model version | Catalog、Schema、Model | use catalog、use schema | 授予创建模型版本权限 |
| grant | Model | use catalog、use schema | 授予可管理元数据对象权限 |
| all privileges | Model | use catalog、use schema | 授予当前对象所有权限 |
权限设计原则:
特权授权遵循权限继承层级与显式原则,对高层对象 (catalog) 授权会级联给子对象 (schema, tables 等);只有被明确授予的人/组才有权限。