Catalog

最近更新时间:2026-01-09 15:23:01

我的收藏

概述

说明:
当用户在 WeData 上绑定了 DLC 引擎,并且 DLC 引擎开通了 TCLake,那么资产目录将转换为 Catalog 页面。
Catalog 是 WeData 提供的统一数据治理的解决方案,旨在将结构化与非结构化数据、AI 模型与元数据资产纳入统一的元数据管理、访问控制、血缘追踪、变更记录和访问日志体系。
在 Catalog 中,元数据按三层 catalog-schema-table 等数据对象进行管理:
第一层 Catalog:顶层命名空间,对应组织单位 / 团队 / 项目 / 数据域等。
第二层 Schema:在 Catalog 下,用来进一步分类,如按模块、子系统、业务域等划分。
第三层 数据对象:Data/AI 对象,例如 tables、models。
表 (tables)
视图 (views)
Volumes (存储文件 / 非结构化 / 半结构化数据)
函数 (functions, UDF)
模型 (AI/ML models) — 使用 MLflow 注册后也纳入治理体系

功能介绍

Catalog 为数据治理提供了一整套功能,覆盖权限、治理、血缘、访问记录和变更记录等功能。具体体现在以下三层结构中。

一、Catalog 层

在 Catalog 层,当前分为数据类 Catalog 和模型类 Catalog,数据类 Catalog 下支持 table/view/function 实体对象的管理,模型类 Catalog 下支持 model 实体对象的管理。

单击左侧具体的 Catalog,进入 Catalog 详情页。支持 catalog 描述、catalog 下 schema 列表信息、catalog 基础信息和技术信息展示和管理。新创建一个 catalog,会有默认的两个 schema:default 和 information_schema,便于用户快速进行 schema 和实体对象的创建管理。
基础信息:展示标签和负责人,并且支持编辑。
技术信息:展示创建时间、创建人和数据变更时间。
权限:支持对Catalog 进行权限管控。


二、Schema 层

在 Schema 层,根据 Catalog 类型的不同,展示的信息有所不同:
数据类:支持对 Schema 添加描述,按照“表”“视图”“函数”展示 schema 下的表列表、视图列表和函数列表,右侧展示基础信息和技术信息。

模型类:支持对 Schema 添加描述,展示“模型”列表,右侧展示基础信息和技术信息。
权限:支持对 Schema 进行权限管控。


三、实体对象层

在具体的实体对象层,数据表/视图、函数和模型的详情页分为多个 Tab 页(“血缘”、“产出与变更”、“数据质量”、“访问记录”、“使用说明”的详细说明,请参考数据发现表详情内容),以下是各个Tab页的概述介绍:
概览页:支持添加描述,展示表字段/视图字段/函数/模型的基本元数据信息,右侧展示基础信息和技术信息。
血缘:数据表和模型支持血缘的展示,展示数据流转全链路,包括数据/模型来源、去向、以及关联任务等。
产出与变更:产出页面记录数据产出任务详情,展示任务 ID、第几次执行、计划调度时间、开始时间、产出时间、执行耗时和产出耗时;变更页面支持对数据表的变更记录,记录用户在何时、对哪个数据表、操作了什么 (SELECT / READ / WRITE / ALTER / DELETE…)。
数据质量:数据质量提供数据表配置的质量监控规则、以及表的数据仪表盘质量概览。
访问记录:支持对数据表的访问记录,记录用户在何时、对哪个数据表进行了访问。
使用说明:支持用户对实体对象进行补充说明,主要用于业务侧对实体对象补充业务信息。
权限:支持对 table / volume / function / model 等所有对象进行权限 (privilege) 授权与撤销。

Catalog 权限

Catalog 权限 在 WeData 平台和项目权限管理的基础上,还基于特权和对象所有权:决定谁能访问或管理哪些 Catalog / Schema / Table / View / Volume / Function 等对象。
WeData 平台定义了主账号和资产管理员角色,这两个平台角色在 Catalog 中拥有对所有 catalog-schema-table 等实体对象的管理和读写权限。另外,Catalog 定义了特权和对象所有权,对三个层级进行细粒度的权限管控,具体如下:
对象所有权:
Catalog 中每个层级和实体对象 (catalog / schema / table / view / volume / function / model) 都有一个 owner。Owner 拥有对该对象的完全控制权,包括修改 / 授权 / 转让 / 元数据管理,同时支持授权和权限回收。
特权清单:授权主体可以授予相关用户的权限清单。
资源类型
权限点
权限对象
依赖权限点(权限可生效)
权限点简述
MetaLake
create catalog
MetaLake
-
授予创建数据目录权限
Catalog
use catalog
Catalog
-
授予使用数据目录权限
alter catalog
Catalog
use catalog
授予修改数据目录权限
drop catalog
Catalog
use catalog
授予删除数据目录权限
create schema
Catalog
use catalog
授予创建Schema权限
browse
Catalog
-
授予查看数据目录中元数据对象的权限
grant
Catalog
-
授予可管理元数据对象授权的权限
all privileges
Catalog
-
授予当前对象所有权限
Schema
use schema
Catalog、Schema
use catalog
授予使用Schema权限
alter schema
Catalog、Schema
use catalog、use schema
授予修改Schema权限
drop schema
Catalog、Schema
use catalog、use schema
授予删除Schema权限
create table
Catalog、Schema
use catalog、use schema
授予创建表或视图权限
create function
Catalog、Schema
use catalog、use schema
授予创建函数权限
create volume
Catalog、Schema
use catalog、use schema
授予创建文件卷权限
create model
Catalog、Schema
use catalog、use schema
授予创建模型权限
grant
Schema
use catalog
授予可管理元数据对象授权的权限
all privileges
schema
use catalog
授予当前对象所有权限
Table
select table
Catalog、Schema、Table
use catalog、use schema
授予查询表或视图数据权限
alter table
Catalog、Schema、Table
use catalog、use schema
授予修改表或视图元数据权限
drop table
Catalog、Schema、Table
use catalog、use schema
授予删除表或视图权限
insert table
Catalog、Schema、Table
use catalog、use schema
授予插入表数据权限
delete table
Catalog、Schema、Table
use catalog、use schema
授予删除表数据权限
grant
Table
use catalog、use schema
授予可管理元数据对象授权的权限
all privileges
Table
use catalog、use schema
授予当前对象所有权限
Function
use function
Catalog、Schema、Function
use catalog、use schema
授予使用函数权限
alter function
Catalog、Schema、Function
use catalog、use schema
授予修改函数权限
drop function
Catalog、Schema、Function
use catalog、use schema
授予删除函数权限
grant
Function
use catalog、use schema
授予可管理元数据对象授权的权限
all privileges
Function
use catalog、use schema
授予当前对象所有权限
Volume
read volume
Catalog、Schema、Volume
use catalog、use schema
授予读取文件卷权限
write volume
Catalog、Schema、Volume
use catalog、use schema
授予写入文件卷权限
alter volume
Catalog、Schema、Volume
use catalog、use schema
授予修改文件卷权限
drop volume
Catalog、Schema、Volume
use catalog、use schema
授予删除文件卷权限
grant
Volume
use catalog、use schema
授予可管理元数据对象授权的权限
all privileges
Volume
use catalog、use schema
授予当前对象所有权限
Model
use model
Catalog、Schema、Model
use catalog、use schema
授予使用模型权限
alter model
Catalog、Schema、Model
use catalog、use schema
授予修改模型权限
drop model
Catalog、Schema、Model
use catalog、use schema
授予删除模型权限
create model version
Catalog、Schema、Model
use catalog、use schema
授予创建模型版本权限
grant
Model
use catalog、use schema
授予可管理元数据对象权限
all privileges
Model
use catalog、use schema
授予当前对象所有权限
权限设计原则
特权授权遵循权限继承层级与显式原则,对高层对象 (catalog) 授权会级联给子对象 (schema, tables 等);只有被明确授予的人/组才有权限。