有奖捉虫:行业应用 & 管理与支持文档专题 HOT

Asset

元数据基本对象

被如下接口引用:AlterDMSDatabase, AlterDMSTable, CreateDMSDatabase, CreateDMSTable, DescribeDMSDatabase, DescribeDMSTable, DescribeDMSTables。

名称 类型 必选 描述
Id Integer 主键
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
Name String 名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:name
Guid String 对象GUID值
注意:此字段可能返回 null,表示取不到有效值。
示例值:xxxx-xxxx-xxx-xxx
Catalog String 数据目录
注意:此字段可能返回 null,表示取不到有效值。
示例值:DataLakeCatalog
Description String 描述信息
示例值:desc
Owner String 对象owner
示例值:root
OwnerAccount String 对象owner账户
示例值:root
PermValues Array of KVPair 权限
Params Array of KVPair 附加属性
BizParams Array of KVPair 附加业务属性
DataVersion Integer 数据版本
示例值:1
CreateTime Timestamp ISO8601 创建时间
示例值:2021-01-01 12:12:12
ModifiedTime Timestamp ISO8601 修改时间
示例值:2021-01-01 12:12:12
DatasourceId Integer 数据源主键
示例值:1

BatchSqlTask

SparkSQL批任务信息

被如下接口引用:DescribeSparkSessionBatchSQL。

名称 类型 描述
TaskId String SQL子任务唯一标识
注意:此字段可能返回 null,表示取不到有效值。
示例值:3a0e3e8b-3cb0-46cd-b126-1ab9837acfc6
ExecuteSQL String 运行SQL
注意:此字段可能返回 null,表示取不到有效值。
示例值:select 1;
Message String 任务信息,成功则返回:Task Success!,失败则返回异常信息
注意:此字段可能返回 null,表示取不到有效值。
示例值:Task Success!

CSV

CSV类型数据格式

被如下接口引用:CreateTable。

名称 类型 必选 描述
CodeCompress String 压缩格式,["Snappy", "Gzip", "None"选一]。
示例值:Snappy
CSVSerde CSVSerde CSV序列化及反序列化数据结构。
HeadLines Integer 标题行,默认为0。
示例值:1
Format String 格式,默认值为CSV
示例值:CSV

CSVSerde

CSV序列化及反序列化数据结构

被如下接口引用:CreateTable。

名称 类型 必选 描述
Escape String CSV序列化转义符,默认为"\",最长8个字符,如 Escape: "/"
示例值:\
Quote String CSV序列化字段域符,默认为"'",最长8个字符, 如 Quote: """
示例值:"
Separator String CSV序列化分隔符,默认为"\t",最长8个字符, 如 Separator: "\t"
示例值:,

Column

数据表列信息。

被如下接口引用:CreateTable, DescribeNotebookSessionStatementSqlResult, DescribeTable, DescribeTables, DescribeTaskResult, DescribeViews, QueryResult。

名称 类型 必选 描述
Name String 列名称,不区分大小写,最大支持25个字符。
示例值:col1
Type String 列类型,支持如下类型定义:
string|tinyint|smallint|int|bigint|boolean|float|double|decimal|timestamp|date|binary|array|map<primitive_type, data_type>|struct<col_name :="" data_type="" [comment="" col_comment],="" ...="">|uniontype<data_type, data_type, ...>。
示例值:string
Comment String 对该类的注释。
注意:此字段可能返回 null,表示取不到有效值。
示例值:create by zhangsan
Precision Integer 表示整个 numeric 的长度
注意:此字段可能返回 null,表示取不到有效值。
示例值:5
Scale Integer 表示小数部分的长度
注意:此字段可能返回 null,表示取不到有效值。
示例值:2
Nullable String 是否为null
注意:此字段可能返回 null,表示取不到有效值。
示例值:Nullable
Position Integer 字段位置,小的在前
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
CreateTime String 字段创建时间
注意:此字段可能返回 null,表示取不到有效值。
示例值:2021-09-07 06:19:23
ModifiedTime String 字段修改时间
注意:此字段可能返回 null,表示取不到有效值。
示例值:2021-09-07 06:19:23
IsPartition Boolean 是否为分区字段
注意:此字段可能返回 null,表示取不到有效值。
示例值:false

CommonMetrics

任务公共指标

被如下接口引用:DescribeSparkAppTasks, DescribeTasks。

名称 类型 描述
CreateTaskTime Float 创建任务时长,单位:ms
注意:此字段可能返回 null,表示取不到有效值。
ProcessTime Float 预处理总时长,单位:ms
注意:此字段可能返回 null,表示取不到有效值。
QueueTime Float 排队时长,单位:ms
注意:此字段可能返回 null,表示取不到有效值。
ExecutionTime Float 执行时长,单位:ms
注意:此字段可能返回 null,表示取不到有效值。
IsResultCacheHit Boolean 是否命中结果缓存
注意:此字段可能返回 null,表示取不到有效值。
MatchedMVBytes Integer 匹配物化视图数据量
注意:此字段可能返回 null,表示取不到有效值。
MatchedMVs String 匹配物化视图列表
注意:此字段可能返回 null,表示取不到有效值。
AffectedBytes String 结果数据量,单位:byte
注意:此字段可能返回 null,表示取不到有效值。
AffectedRows Integer 结果行数
注意:此字段可能返回 null,表示取不到有效值。
ProcessedBytes Integer 扫描数据量,单位:byte
注意:此字段可能返回 null,表示取不到有效值。
ProcessedRows Integer 扫描行数
注意:此字段可能返回 null,表示取不到有效值。

CosPermission

cos权限描述

被如下接口引用:DescribeUserRoles。

名称 类型 必选 描述
CosPath String cos路径
注意:此字段可能返回 null,表示取不到有效值。
示例值:cosn://***
Permissions Array of String 权限【"read","write"】
注意:此字段可能返回 null,表示取不到有效值。
示例值:["read","write"]

CrontabResumeSuspendStrategy

定时启停策略信息

被如下接口引用:CreateDataEngine, DescribeDataEngine, DescribeDataEngines, UpdateDataEngine。

名称 类型 必选 描述
ResumeTime String 定时拉起时间:如:周一&周三8点
注意:此字段可能返回 null,表示取不到有效值。
示例值:0000101-08:00:00
SuspendTime String 定时挂起时间:如:周一&周三20点
注意:此字段可能返回 null,表示取不到有效值。
示例值:0000101-20:00:00
SuspendStrategy Integer 挂起配置:0(默认):等待任务结束后挂起、1:强制挂起
注意:此字段可能返回 null,表示取不到有效值。
示例值:0

DMSColumn

迁移列对象

被如下接口引用:AlterDMSTable, CreateDMSTable, DescribeDMSTable, DescribeDMSTables。

名称 类型 必选 描述
Name String 名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:name1
Description String 描述
注意:此字段可能返回 null,表示取不到有效值。
示例值:desc1
Type String 类型
注意:此字段可能返回 null,表示取不到有效值。
示例值:EXTERNAL
Position Integer 排序
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
Params Array of KVPair 附加参数
注意:此字段可能返回 null,表示取不到有效值。
BizParams Array of KVPair 业务参数
注意:此字段可能返回 null,表示取不到有效值。
IsPartition Boolean 是否分区
注意:此字段可能返回 null,表示取不到有效值。
示例值:false

DMSColumnOrder

列排序对象

被如下接口引用:AlterDMSTable, CreateDMSTable, DescribeDMSTable。

名称 类型 必选 描述
Col String 列名
注意:此字段可能返回 null,表示取不到有效值。
示例值:col1
Order Integer 排序
注意:此字段可能返回 null,表示取不到有效值。
示例值:1

DMSPartition

迁移元数据分区对象

被如下接口引用:AddDMSPartitions, AlterDMSPartition, AlterDMSTable, CreateDMSTable, DescribeDMSPartitions, DescribeDMSTable, DescribeDMSTables。

名称 类型 必选 描述
DatabaseName String 数据库名称
示例值:11
SchemaName String 数据目录名称
示例值:aaa
TableName String 表名称
示例值:aaa
DataVersion Integer 数据版本
示例值:1
Name String 分区名称
示例值:aaa
Values Array of String 值列表
示例值:["aa", "bb"]
StorageSize Integer 存储大小
示例值:1
RecordCount Integer 记录数量
示例值:1
CreateTime Timestamp ISO8601 创建时间
示例值:2021-05-08 16:43:16
ModifiedTime Timestamp ISO8601 修改时间
示例值:2021-05-08 16:43:16
LastAccessTime Timestamp ISO8601 最后访问时间
示例值:2021-05-08 16:43:16
Params Array of KVPair 附件属性
Sds DMSSds 存储对象

DMSSds

元数据存储描述属性

被如下接口引用:AddDMSPartitions, AlterDMSPartition, AlterDMSTable, CreateDMSTable, DescribeDMSPartitions, DescribeDMSTable, DescribeDMSTables。

名称 类型 必选 描述
Location String 存储地址
注意:此字段可能返回 null,表示取不到有效值。
示例值:cosn://aaa
InputFormat String 输入格式
注意:此字段可能返回 null,表示取不到有效值。
示例值:InputFormat
OutputFormat String 输出格式
注意:此字段可能返回 null,表示取不到有效值。
示例值:OutputFormat
NumBuckets Integer bucket数量
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
Compressed Boolean 是是否压缩
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
StoredAsSubDirectories Boolean 是否有子目录
注意:此字段可能返回 null,表示取不到有效值。
示例值:true
SerdeLib String 序列化lib
注意:此字段可能返回 null,表示取不到有效值。
示例值:aaa
SerdeName String 序列化名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:aaa
BucketCols Array of String 桶名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:["aa", "bb"]
SerdeParams Array of KVPair 序列化参数
注意:此字段可能返回 null,表示取不到有效值。
Params Array of KVPair 附加参数
注意:此字段可能返回 null,表示取不到有效值。
SortCols DMSColumnOrder 列排序(Expired)
注意:此字段可能返回 null,表示取不到有效值。
Cols Array of DMSColumn
注意:此字段可能返回 null,表示取不到有效值。
SortColumns Array of DMSColumnOrder 列排序字段
注意:此字段可能返回 null,表示取不到有效值。

DMSTable

DMSTable基本信息

被如下接口引用:DescribeDMSTables。

名称 类型 必选 描述
ViewOriginalText String 视图文本
注意:此字段可能返回 null,表示取不到有效值。
示例值:select 1
ViewExpandedText String 视图文本
注意:此字段可能返回 null,表示取不到有效值。
示例值:select 1
Retention Integer hive维护版本
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
Sds DMSSds 存储对象
注意:此字段可能返回 null,表示取不到有效值。
PartitionKeys Array of DMSColumn 分区列
注意:此字段可能返回 null,表示取不到有效值。
Partitions Array of DMSPartition 分区
注意:此字段可能返回 null,表示取不到有效值。
Type String 表类型
注意:此字段可能返回 null,表示取不到有效值。
示例值:EXTERNAL
DbName String 数据库名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:db1
SchemaName String Schema名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:schema1
StorageSize Integer 存储大小
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
RecordCount Integer 记录数量
注意:此字段可能返回 null,表示取不到有效值。
示例值:0
LifeTime Integer 生命周期
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
LastAccessTime Timestamp ISO8601 最后访问时间
注意:此字段可能返回 null,表示取不到有效值。
示例值:2020-01-01 11:11:11
DataUpdateTime Timestamp ISO8601 数据更新时间
注意:此字段可能返回 null,表示取不到有效值。
示例值:2020-01-01 11:11:11
StructUpdateTime Timestamp ISO8601 结构更新时间
注意:此字段可能返回 null,表示取不到有效值。
示例值:2020-01-01 11:11:11
Columns Array of DMSColumn
注意:此字段可能返回 null,表示取不到有效值。
Name String 表名
注意:此字段可能返回 null,表示取不到有效值。
示例值:tb1

DMSTableInfo

DMSTable信息

被如下接口引用:DescribeDMSTables。

名称 类型 描述
Table DMSTable DMS表信息
注意:此字段可能返回 null,表示取不到有效值。
Asset Asset 基础对象信息
注意:此字段可能返回 null,表示取不到有效值。

DataEngineBasicInfo

DataEngine基本信息

被如下接口引用:DescribeUpdatableDataEngines。

名称 类型 描述
DataEngineName String DataEngine名称
示例值:xxx_presto
State Integer 数据引擎状态 -2已删除 -1失败 0初始化中 1挂起 2运行中 3准备删除 4删除中
示例值:1
CreateTime Integer 创建时间
示例值:1635320563
UpdateTime Integer 更新时间
示例值:1635320563
Message String 返回信息
注意:此字段可能返回 null,表示取不到有效值。
示例值:测试资源
DataEngineId String 引擎id
示例值:02345495-cfe0-461c-8c3d-5715d03feda4
DataEngineType String 引擎类型,有效值:PrestoSQL/SparkSQL/SparkBatch
注意:此字段可能返回 null,表示取不到有效值。
AppId Integer 用户ID
注意:此字段可能返回 null,表示取不到有效值。
示例值:xxxxx
UserUin String 账号ID
注意:此字段可能返回 null,表示取不到有效值。
示例值:xxxxx

DataEngineConfigInstanceInfo

引擎配置信息

被如下接口引用:DescribeUserDataEngineConfig。

名称 类型 描述
DataEngineId String 引擎ID
注意:此字段可能返回 null,表示取不到有效值。
示例值:Dataengine-xx
DataEngineConfigPairs Array of DataEngineConfigPair 用户自定义配置项集合
SessionResourceTemplate SessionResourceTemplate 作业集群资源参数配置模板

DataEngineConfigPair

引擎配置

被如下接口引用:CheckDataEngineConfigPairsValidity, CreateDataEngine, DescribeUserDataEngineConfig, UpdateUserDataEngineConfig。

名称 类型 必选 描述
ConfigItem String 配置项
注意:此字段可能返回 null,表示取不到有效值。
示例值:xxx
ConfigValue String 配置值
注意:此字段可能返回 null,表示取不到有效值。
示例值:xxxx

DataEngineImageVersion

集群大版本镜像信息。

被如下接口引用:DescribeDataEngineImageVersions。

名称 类型 描述
ImageVersionId String 镜像大版本ID
示例值:d3018ad4-9a7e-4f64-a3f4-f38507c69742
ImageVersion String 镜像大版本名称
示例值:SuperSQL
Description String 镜像大版本描述
注意:此字段可能返回 null,表示取不到有效值。
示例值:测试版本
IsPublic Integer 是否为公共版本:1:公共;2:私有
示例值:1
EngineType String 集群类型:SparkSQL/PrestoSQL/SparkBatch
示例值:SparkSQL
IsSharedEngine Integer 版本状态:1:初始化;2:上线;3:下线
示例值:1
State Integer 版本状态:1:初始化;2:上线;3:下线
示例值:2
InsertTime String 插入时间
示例值:2020-01-01 01:01:01
UpdateTime String 更新时间
示例值:2020-01-01 01:01:01

DataEngineInfo

DataEngine详细信息

被如下接口引用:DescribeDataEngine, DescribeDataEngines, DescribeDatasourceConnection。

名称 类型 必选 描述
DataEngineName String DataEngine名称
示例值:shared_presto
EngineType String 引擎类型 spark/presto
示例值:presto
ClusterType String 集群资源类型 spark_private/presto_private/presto_cu/spark_cu
示例值:presto_private
QuotaId String 引用ID
示例值:****
State Integer 数据引擎状态 -2已删除 -1失败 0初始化中 1挂起 2运行中 3准备删除 4删除中
示例值:1
CreateTime Integer 创建时间
示例值:1635320563
UpdateTime Integer 更新时间
示例值:1635320563
Size Integer 集群规格
注意:此字段可能返回 null,表示取不到有效值。
示例值:64
Mode Integer 计费模式 0共享模式 1按量计费 2包年包月
示例值:0
MinClusters Integer 最小集群数
注意:此字段可能返回 null,表示取不到有效值。
示例值:0
MaxClusters Integer 最大集群数
注意:此字段可能返回 null,表示取不到有效值。
示例值:10
AutoResume Boolean 是否自动恢复
注意:此字段可能返回 null,表示取不到有效值。
示例值:true
SpendAfter Integer 自动恢复时间
注意:此字段可能返回 null,表示取不到有效值。
示例值:10
CidrBlock String 集群网段
注意:此字段可能返回 null,表示取不到有效值。
示例值:10.255.252.0/22
DefaultDataEngine Boolean 是否为默认引擎
注意:此字段可能返回 null,表示取不到有效值。
示例值:true
Message String 返回信息
注意:此字段可能返回 null,表示取不到有效值。
示例值:测试资源
DataEngineId String 引擎id
示例值:02345495-cfe0-461c-8c3d-5715d03feda4
SubAccountUin String 操作者
示例值:****
ExpireTime String 到期时间
示例值:2022-03-16 10:41:03
IsolatedTime String 隔离时间
示例值:2022-03-16 10:41:03
ReversalTime String 冲正时间
示例值:2022-03-16 10:41:03
UserAlias String 用户名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:testname
TagList Array of TagInfo 标签对集合
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"TagKey":"mark002"}]
Permissions Array of String 引擎拥有的权限
注意:此字段可能返回 null,表示取不到有效值。
示例值:[USE]
AutoSuspend Boolean 是否自定挂起集群:false(默认):不自动挂起、true:自动挂起
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
CrontabResumeSuspend Integer 定时启停集群策略:0(默认):关闭定时策略、1:开启定时策略(注:定时启停策略与自动挂起策略互斥)
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
CrontabResumeSuspendStrategy CrontabResumeSuspendStrategy 定时启停策略,复杂类型:包含启停时间、挂起集群策略
注意:此字段可能返回 null,表示取不到有效值。
EngineExecType String 引擎执行任务类型,有效值:SQL/BATCH
注意:此字段可能返回 null,表示取不到有效值。
RenewFlag Integer 自动续费标志,0,初始状态,默认不自动续费,若用户有预付费不停服特权,自动续费。1:自动续费。2:明确不自动续费
注意:此字段可能返回 null,表示取不到有效值。
示例值:0
AutoSuspendTime Integer 集群自动挂起时间
注意:此字段可能返回 null,表示取不到有效值。
示例值:10
NetworkConnectionSet Array of NetworkConnection 网络连接配置
注意:此字段可能返回 null,表示取不到有效值。
UiURL String ui的跳转地址
注意:此字段可能返回 null,表示取不到有效值。
示例值:dlc-xxx.com
ResourceType String 引擎的资源类型
注意:此字段可能返回 null,表示取不到有效值。
示例值:Standard_CU
ImageVersionId String 集群镜像版本ID
注意:此字段可能返回 null,表示取不到有效值。
示例值:xxxx
ChildImageVersionId String 集群镜像小版本ID
注意:此字段可能返回 null,表示取不到有效值。
示例值:xxxx
ImageVersionName String 集群镜像版本名字
注意:此字段可能返回 null,表示取不到有效值。
示例值:xxxx
StartStandbyCluster Boolean 是否开启备集群
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
ElasticSwitch Boolean spark jar 包年包月集群是否开启弹性
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
ElasticLimit Integer spark jar 包年包月集群弹性上限
注意:此字段可能返回 null,表示取不到有效值。
示例值:0
DefaultHouse Boolean 是否为默认引擎
注意:此字段可能返回 null,表示取不到有效值。
示例值:true
MaxConcurrency Integer 单个集群任务最大并发数
注意:此字段可能返回 null,表示取不到有效值。
示例值:5
TolerableQueueTime Integer 任务排队上限时间
注意:此字段可能返回 null,表示取不到有效值。
示例值:1000
UserAppId Integer 用户appid
注意:此字段可能返回 null,表示取不到有效值。
UserUin String 用户uin
注意:此字段可能返回 null,表示取不到有效值。
SessionResourceTemplate SessionResourceTemplate SessionResourceTemplate
注意:此字段可能返回 null,表示取不到有效值。
AutoAuthorization Boolean 自动授权开关
注意:此字段可能返回 null,表示取不到有效值。
示例值:true
EngineGeneration String 引擎版本,支持Native/SuperSQL
注意:此字段可能返回 null,表示取不到有效值。
示例值:Native
EngineTypeDetail String 引擎详细类型,支持:SparkSQL/SparkBatch/PrestoSQL/Kyuubi
注意:此字段可能返回 null,表示取不到有效值。
示例值:SparkSQL
EngineNetworkId String 引擎网络ID
注意:此字段可能返回 null,表示取不到有效值。
示例值:Engine-Network-xxx

DataFormat

数据表数据格式。

被如下接口引用:CreateTable。

名称 类型 必选 描述
TextFile TextFile 文本格式,TextFile。
注意:此字段可能返回 null,表示取不到有效值。
CSV CSV 文本格式,CSV。
注意:此字段可能返回 null,表示取不到有效值。
Json Other 文本格式,Json。
注意:此字段可能返回 null,表示取不到有效值。
Parquet Other Parquet格式
注意:此字段可能返回 null,表示取不到有效值。
ORC Other ORC格式
注意:此字段可能返回 null,表示取不到有效值。
AVRO Other AVRO格式
注意:此字段可能返回 null,表示取不到有效值。

DataGovernPolicy

数据治理规则

被如下接口引用:DescribeDatabases。

名称 类型 必选 描述
RuleType String 治理规则类型,Customize: 自定义;Intelligence: 智能治理
注意:此字段可能返回 null,表示取不到有效值。
示例值:Customize
GovernEngine String 治理引擎
注意:此字段可能返回 null,表示取不到有效值。
示例值:DataEngine-

DataSourceInfo

数据源详细信息

被如下接口引用:DescribeDatasourceConnection。

名称 类型 必选 描述
InstanceId String 数据源实例的唯一ID
注意:此字段可能返回 null,表示取不到有效值。
示例值:datasource-test
InstanceName String 数据源的名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:test_datasource
JdbcUrl String 数据源的JDBC访问链接
注意:此字段可能返回 null,表示取不到有效值。
示例值:jdbc:postgresql://ip:port/
User String 用于访问数据源的用户名
注意:此字段可能返回 null,表示取不到有效值。
示例值:root
Password String 数据源访问密码,需要base64编码
注意:此字段可能返回 null,表示取不到有效值。
示例值:xaskdowq+=
Location DatasourceConnectionLocation 数据源的VPC和子网信息
注意:此字段可能返回 null,表示取不到有效值。
DbName String 默认数据库名
注意:此字段可能返回 null,表示取不到有效值。
示例值:default

DatabaseInfo

数据库对象

被如下接口引用:CreateDatabase。

名称 类型 必选 描述
DatabaseName String 数据库名称,长度0~128,支持数字、字母下划线,不允许数字大头,统一转换为小写。
示例值:database1
Comment String 数据库描述信息,长度 0~500。
注意:此字段可能返回 null,表示取不到有效值。
示例值:create by zhangsan
Properties Array of Property 数据库属性列表。
注意:此字段可能返回 null,表示取不到有效值。
Location String 数据库cos路径
注意:此字段可能返回 null,表示取不到有效值。
示例值:cosn://

DatabaseResponseInfo

数据库对象

被如下接口引用:DescribeDatabases。

名称 类型 描述
DatabaseName String 数据库名称。
示例值:database1
Comment String 数据库描述信息,长度 0~256。
注意:此字段可能返回 null,表示取不到有效值。
示例值:create by zhangsan
Properties Array of Property 允许针对数据库的属性元数据信息进行指定。
注意:此字段可能返回 null,表示取不到有效值。
CreateTime String 数据库创建时间戳,单位:s。
注意:此字段可能返回 null,表示取不到有效值。
示例值:1611646963
ModifiedTime String 数据库更新时间戳,单位:s。
注意:此字段可能返回 null,表示取不到有效值。
示例值:1611646963
Location String cos存储路径
注意:此字段可能返回 null,表示取不到有效值。
示例值:cosn://test
UserAlias String 建库用户昵称
注意:此字段可能返回 null,表示取不到有效值。
示例值:testUser
UserSubUin String 建库用户ID
注意:此字段可能返回 null,表示取不到有效值。
示例值:100019878767
GovernPolicy DataGovernPolicy 数据治理配置项
注意:此字段可能返回 null,表示取不到有效值。
DatabaseId String 数据库ID(无效字段)
注意:此字段可能返回 null,表示取不到有效值。

DatasourceConnectionConfig

数据源属性

被如下接口引用:DescribeDatasourceConnection。

名称 类型 必选 描述
Mysql MysqlInfo Mysql数据源连接的属性
注意:此字段可能返回 null,表示取不到有效值。
Hive HiveInfo Hive数据源连接的属性
注意:此字段可能返回 null,表示取不到有效值。
Kafka KafkaInfo Kafka数据源连接的属性
注意:此字段可能返回 null,表示取不到有效值。
OtherDatasourceConnection OtherDatasourceConnection 其他数据源连接的属性
注意:此字段可能返回 null,表示取不到有效值。
PostgreSql DataSourceInfo PostgreSQL数据源连接的属性
注意:此字段可能返回 null,表示取不到有效值。
SqlServer DataSourceInfo SQLServer数据源连接的属性
注意:此字段可能返回 null,表示取不到有效值。
ClickHouse DataSourceInfo ClickHouse数据源连接的属性
注意:此字段可能返回 null,表示取不到有效值。
Elasticsearch ElasticsearchInfo Elasticsearch数据源连接的属性
注意:此字段可能返回 null,表示取不到有效值。
TDSQLPostgreSql DataSourceInfo TDSQL-PostgreSQL数据源连接的属性
注意:此字段可能返回 null,表示取不到有效值。

DatasourceConnectionInfo

数据源信息

被如下接口引用:DescribeDatasourceConnection。

名称 类型 必选 描述
Id Integer 数据源数字Id
示例值:42
DatasourceConnectionId String 数据源字符串Id
示例值:datasource-xxx
DatasourceConnectionName String 数据源名称
示例值:DataLakeCatalog
DatasourceConnectionDesc String 数据源描述
示例值:测试数据源
DatasourceConnectionType String 数据源类型,支持DataLakeCatalog、IcebergCatalog、Result、Mysql、HiveCos、HiveHdfs
示例值:DataLakeCatalog
DatasourceConnectionConfig DatasourceConnectionConfig 数据源属性
注意:此字段可能返回 null,表示取不到有效值。
State Integer 数据源状态:0(初始化)、1(成功)、-1(已删除)、-2(失败)、-3(删除中)
示例值:0
Region String 地域
示例值:ap-beijjing
AppId String 用户AppId
示例值:123xxx789
CreateTime String 数据源创建时间
示例值:1234567890
UpdateTime String 数据源最近一次更新时间
示例值:1234567890
Message String 数据源同步失败原因
示例值:success
DataEngines Array of DataEngineInfo 数据源绑定的计算引擎信息
注意:此字段可能返回 null,表示取不到有效值。
示例值:[]
UserAlias String 创建人
注意:此字段可能返回 null,表示取不到有效值。
示例值:user
NetworkConnectionSet Array of NetworkConnection 网络配置列表
注意:此字段可能返回 null,表示取不到有效值。
ConnectivityState Integer 连通性状态:0(未测试,默认)、1(正常)、2(失败)
注意:此字段可能返回 null,表示取不到有效值。
示例值:0
ConnectivityTips String 连通性测试提示信息
注意:此字段可能返回 null,表示取不到有效值。
示例值:测试成功

DatasourceConnectionLocation

数据源连接的网络信息

被如下接口引用:DescribeDatasourceConnection。

名称 类型 必选 描述
VpcId String 数据连接所在Vpc实例Id,如“vpc-azd4dt1c”。
示例值:“vpc-azd4dt1c”
VpcCidrBlock String Vpc的IPv4 CIDR
示例值:“10.0.0.0/24”
SubnetId String 数据连接所在子网的实例Id,如“subnet-bthucmmy”
示例值:“subnet-bthucmmy”
SubnetCidrBlock String Subnet的IPv4 CIDR
示例值:“10.0.0.0/24”

ElasticsearchInfo

Elasticsearch数据源的详细信息

被如下接口引用:DescribeDatasourceConnection。

名称 类型 必选 描述
InstanceId String 数据源ID
注意:此字段可能返回 null,表示取不到有效值。
示例值:datasource-test
InstanceName String 数据源名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:test_datasource
User String 用户名
注意:此字段可能返回 null,表示取不到有效值。
示例值:root
Password String 密码,需要base64编码
注意:此字段可能返回 null,表示取不到有效值。
示例值:asdfcjaidf-=
Location DatasourceConnectionLocation 数据源的VPC和子网信息
注意:此字段可能返回 null,表示取不到有效值。
DbName String 默认数据库名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:default
ServiceInfo Array of IpPortPair 访问Elasticsearch的ip、端口信息
注意:此字段可能返回 null,表示取不到有效值。

Execution

SQL语句对象

被如下接口引用:CreateDatabase, CreateTable, GenerateCreateMangedTableSql。

名称 类型 描述
SQL String 自动生成SQL语句。
示例值:CREATE DATABASE test;;

FavorInfo

FavorInfo

被如下接口引用:GetOptimizerPolicy。

名称 类型 必选 描述
Priority Integer 优先事项
注意:此字段可能返回 null,表示取不到有效值。
Catalog String Catalog名称
注意:此字段可能返回 null,表示取不到有效值。
DataBase String DataBase名称
注意:此字段可能返回 null,表示取不到有效值。
Table String Table名称
注意:此字段可能返回 null,表示取不到有效值。

Filter

查询列表过滤条件参数

被如下接口引用:DescribeDataEngines, DescribeDatasourceConnection, DescribeScripts, DescribeSparkAppJobs, DescribeSparkAppTasks, DescribeTables, DescribeTablesName, DescribeTasks, DescribeUserDataEngineConfig, DescribeUserInfo, DescribeUsers, DescribeViews, DescribeWorkGroupInfo, DescribeWorkGroups, ListTaskJobLogDetail, QueryTaskCostDetail。

名称 类型 必选 描述
Name String 属性名称, 若存在多个Filter时,Filter间的关系为逻辑或(OR)关系。
示例值:task-id
Values Array of String 属性值, 若同一个Filter存在多个Values,同一Filter下Values间的关系为逻辑或(OR)关系。

HiveInfo

hive类型数据源的信息

被如下接口引用:DescribeDatasourceConnection。

名称 类型 必选 描述
MetaStoreUrl String hive metastore的地址
示例值:thrift://127.0.0.1:9083
Type String hive数据源类型,代表数据储存的位置,COS或者HDFS
示例值:COS
Location DatasourceConnectionLocation 数据源所在的私有网络信息
User String 如果类型为HDFS,需要传一个用户名
示例值:hadoop
HighAvailability Boolean 如果类型为HDFS,需要选择是否高可用
示例值:false
BucketUrl String 如果类型为COS,需要填写COS桶连接
示例值:cosn://bucketname/path
HdfsProperties String json字符串。如果类型为HDFS,需要填写该字段
示例值:fs.defaultFS=hdfs://ip:port
Mysql MysqlInfo Hive的元数据库信息
注意:此字段可能返回 null,表示取不到有效值。
InstanceId String emr集群Id
注意:此字段可能返回 null,表示取不到有效值。
示例值:emr-adp0c9v8
InstanceName String emr集群名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:testEmr
HiveVersion String EMR集群中hive组件的版本号
注意:此字段可能返回 null,表示取不到有效值。
示例值:2.3.7
KerberosInfo KerberosInfo Kerberos详细信息
注意:此字段可能返回 null,表示取不到有效值。
KerberosEnable Boolean 是否开启Kerberos
注意:此字段可能返回 null,表示取不到有效值。
示例值:false

HouseEventsInfo

集群事件日志

被如下接口引用:DescribeDataEngineEvents。

名称 类型 描述
Time Array of String 事件时间
注意:此字段可能返回 null,表示取不到有效值。
示例值:xxx
EventsAction Array of String 事件类型
注意:此字段可能返回 null,表示取不到有效值。
示例值:xxx
ClusterInfo Array of String 集群信息
注意:此字段可能返回 null,表示取不到有效值。
示例值:xxx

IpPortPair

ip端口对信息

被如下接口引用:DescribeDatasourceConnection。

名称 类型 必选 描述
Ip String ip信息
注意:此字段可能返回 null,表示取不到有效值。
示例值:192.108.1.1
Port Integer 端口信息
注意:此字段可能返回 null,表示取不到有效值。
示例值:8080

JobLogResult

日志详情

被如下接口引用:ListTaskJobLogDetail。

名称 类型 描述
Time Integer 日志时间戳,毫秒
注意:此字段可能返回 null,表示取不到有效值。
示例值:1608794854001
TopicId String 日志topic id
注意:此字段可能返回 null,表示取不到有效值。
示例值:topic-id-1
TopicName String 日志topic name
注意:此字段可能返回 null,表示取不到有效值。
示例值:topic-name-1
LogJson String 日志内容,json字符串
注意:此字段可能返回 null,表示取不到有效值。
PkgLogId String 日志ID
注意:此字段可能返回 null,表示取不到有效值。

KVPair

配置格式

被如下接口引用:AddDMSPartitions, AlterDMSDatabase, AlterDMSPartition, AlterDMSTable, CreateDMSDatabase, CreateDMSTable, CreateExportTask, CreateImportTask, CreateNotebookSession, CreateNotebookSessionStatement, CreateSparkSessionBatchSQL, CreateTask, CreateTasks, CreateTasksInOrder, DescribeDMSDatabase, DescribeDMSPartitions, DescribeDMSTable, DescribeNotebookSession, DescribeNotebookSessionStatement, DescribeSparkSessionBatchSqlLog, DropDMSTable。

名称 类型 必选 描述
Key String 配置的key值
注意:此字段可能返回 null,表示取不到有效值。
示例值:xxx
Value String 配置的value值
注意:此字段可能返回 null,表示取不到有效值。
示例值:xxx

KafkaInfo

Kafka连接信息

被如下接口引用:DescribeDatasourceConnection。

名称 类型 必选 描述
InstanceId String kakfa实例Id
示例值:***
Location DatasourceConnectionLocation kakfa数据源的网络信息
示例值:{"VpcId":"vpc-***","VpcCidrBlock":"10.0.0.0/16","SubnetId":"subn

KerberosInfo

Kerberos详细信息

被如下接口引用:DescribeDatasourceConnection。

名称 类型 必选 描述
Krb5Conf String Krb5Conf文件值
KeyTab String KeyTab文件值
ServicePrincipal String 服务主体

LakeFileSystemToken

LakeFileSystem使用的临时token

被如下接口引用:DescribeLakeFsTaskResult。

名称 类型 描述
SecretId String Token使用的临时密钥的ID
SecretKey String Token使用的临时密钥
Token String Token信息
ExpiredTime Integer 过期时间
IssueTime Integer 颁布时间

LockComponentInfo

元数据加锁内容

被如下接口引用:LockMetaData。

名称 类型 必选 描述
DbName String 数据库名称
示例值:db
TableName String 表名称
示例值:table
Partition String 分区
示例值:part
LockType String 锁类型:SHARED_READ、SHARED_WRITE、EXCLUSIVE
示例值:SHARED_READ
LockLevel String 锁级别:DB、TABLE、PARTITION
示例值:DB
DataOperationType String 锁操作:SELECT,INSERT,UPDATE,DELETE,UNSET,NO_TXN
示例值:SELECT
IsAcid Boolean 是否保持Acid
示例值:false
IsDynamicPartitionWrite Boolean 是否动态分区写
示例值:false

MysqlInfo

Mysql类型数据源信息

被如下接口引用:DescribeDatasourceConnection。

名称 类型 必选 描述
JdbcUrl String 连接mysql的jdbc url
示例值:jdbc:mysql://ip:port
User String 用户名
示例值:root
Password String mysql密码
示例值:**
Location DatasourceConnectionLocation mysql数据源的网络信息
DbName String 数据库名称
示例值:MetaDb
InstanceId String 数据库实例ID,和数据库侧保持一致
注意:此字段可能返回 null,表示取不到有效值。
示例值:cdb-xxxxx
InstanceName String 数据库实例名称,和数据库侧保持一致
注意:此字段可能返回 null,表示取不到有效值。
示例值:mySql

NetworkConnection

网络配置

被如下接口引用:DescribeDataEngine, DescribeDataEngines, DescribeDatasourceConnection。

名称 类型 必选 描述
Id Integer 网络配置id
注意:此字段可能返回 null,表示取不到有效值。
示例值:89876
AssociateId String 网络配置唯一标志符
注意:此字段可能返回 null,表示取不到有效值。
HouseId String 计算引擎id
注意:此字段可能返回 null,表示取不到有效值。
DatasourceConnectionId String 数据源id(已废弃)
注意:此字段可能返回 null,表示取不到有效值。
State Integer 网络配置状态(0-初始化,1-正常)
注意:此字段可能返回 null,表示取不到有效值。
CreateTime Integer 创建时间
注意:此字段可能返回 null,表示取不到有效值。
UpdateTime Integer 修改时间
注意:此字段可能返回 null,表示取不到有效值。
Appid Integer 创建用户Appid
注意:此字段可能返回 null,表示取不到有效值。
HouseName String 计算引擎名称
注意:此字段可能返回 null,表示取不到有效值。
DatasourceConnectionName String 网络配置名称
注意:此字段可能返回 null,表示取不到有效值。
NetworkConnectionType Integer 网络配置类型
注意:此字段可能返回 null,表示取不到有效值。
Uin String 创建用户uin
注意:此字段可能返回 null,表示取不到有效值。
SubAccountUin String 创建用户SubAccountUin
注意:此字段可能返回 null,表示取不到有效值。
NetworkConnectionDesc String 网络配置描述
注意:此字段可能返回 null,表示取不到有效值。
DatasourceConnectionVpcId String 数据源vpcid
注意:此字段可能返回 null,表示取不到有效值。
DatasourceConnectionSubnetId String 数据源SubnetId
注意:此字段可能返回 null,表示取不到有效值。
DatasourceConnectionCidrBlock String 数据源SubnetId
注意:此字段可能返回 null,表示取不到有效值。
DatasourceConnectionSubnetCidrBlock String 数据源SubnetCidrBlock
注意:此字段可能返回 null,表示取不到有效值。

NotebookSessionInfo

Notebook Session详细信息。

被如下接口引用:DescribeNotebookSession。

名称 类型 描述
Name String Session名称
示例值:session1
Kind String 类型,当前支持:spark、pyspark、sparkr、sql
示例值:spark
DataEngineName String DLC Spark作业引擎名称
示例值:data_engine_1
Arguments Array of KVPair Session相关配置,当前支持:eni、roleArn以及用户指定的配置
注意:此字段可能返回 null,表示取不到有效值。
示例值:["eni":"test_eni"]
ProgramDependentFiles Array of String 运行程序地址,当前支持:cosn://和lakefs://两种路径
注意:此字段可能返回 null,表示取不到有效值。
示例值:[cosn://xxx]
ProgramDependentJars Array of String 依赖的jar程序地址,当前支持:cosn://和lakefs://两种路径
注意:此字段可能返回 null,表示取不到有效值。
示例值:[cosn://xxx]
ProgramDependentPython Array of String 依赖的python程序地址,当前支持:cosn://和lakefs://两种路径
注意:此字段可能返回 null,表示取不到有效值。
示例值:[cosn://xxx]
ProgramArchives Array of String 依赖的pyspark虚拟环境地址,当前支持:cosn://和lakefs://两种路径
注意:此字段可能返回 null,表示取不到有效值。
示例值:[cosn://xxx]
DriverSize String 指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)
注意:此字段可能返回 null,表示取不到有效值。
示例值:small
ExecutorSize String 指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)
注意:此字段可能返回 null,表示取不到有效值。
示例值:small
ExecutorNumbers Integer 指定的Executor数量,默认为1
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
ProxyUser String 代理用户,默认为root
注意:此字段可能返回 null,表示取不到有效值。
示例值:root
TimeoutInSecond Integer 指定的Session超时时间,单位秒,默认3600秒
注意:此字段可能返回 null,表示取不到有效值。
示例值:3600
SparkAppId String Spark任务返回的AppId
注意:此字段可能返回 null,表示取不到有效值。
示例值:spark-123
SessionId String Session唯一标识
示例值:d3018ad4-9a7e-4f64-a3f4-f38507c69742
State String Session状态,包含:not_started(未启动)、starting(已启动)、idle(等待输入)、busy(正在运行statement)、shutting_down(停止)、error(异常)、dead(已退出)、killed(被杀死)、success(正常停止)
示例值:not_started
CreateTime String Session创建时间
示例值:2006-01-02 15:04:05
AppInfo Array of KVPair 其它信息
注意:此字段可能返回 null,表示取不到有效值。
示例值:["sparkUiUrl":"xxx"]
SparkUiUrl String Spark ui地址
注意:此字段可能返回 null,表示取不到有效值。
示例值:http://xxx
ExecutorMaxNumbers Integer 指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于ExecutorNumbers
注意:此字段可能返回 null,表示取不到有效值。
示例值:1

NotebookSessionStatementBatchInformation

按批提交Statement运行SQL任务。

被如下接口引用:CreateNotebookSessionStatementSupportBatchSQL, DescribeNotebookSessionStatements。

名称 类型 描述
NotebookSessionStatementBatch Array of NotebookSessionStatementInfo 任务详情列表
注意:此字段可能返回 null,表示取不到有效值。
示例值:复杂类型
IsAvailable Boolean 当前批任务是否运行完成
注意:此字段可能返回 null,表示取不到有效值。
示例值:true
SessionId String Session唯一标识
注意:此字段可能返回 null,表示取不到有效值。
示例值:d3018ad4-9a7e-4f64-a3f4-f38507c69742
BatchId String Batch唯一标识
注意:此字段可能返回 null,表示取不到有效值。
示例值:skdelad4-9a7e-4f64-a3f4-f38507c69742

NotebookSessionStatementInfo

NotebookSessionStatement详情。

被如下接口引用:CreateNotebookSessionStatement, CreateNotebookSessionStatementSupportBatchSQL, DescribeNotebookSessionStatement, DescribeNotebookSessionStatements。

名称 类型 描述
Completed Integer 完成时间戳
注意:此字段可能返回 null,表示取不到有效值。
示例值:1662635695652
Started Integer 开始时间戳
注意:此字段可能返回 null,表示取不到有效值。
示例值:1662635695652
Progress Float 完成进度,百分制
注意:此字段可能返回 null,表示取不到有效值。
示例值:100
StatementId String Session Statement唯一标识
示例值:d3018ad4-9a7e-4f64-a3dj-f38507c697dj
State String Session Statement状态,包含:waiting(排队中)、running(运行中)、available(正常)、error(异常)、cancelling(取消中)、cancelled(已取消)
示例值:running
OutPut StatementOutput Statement输出信息
注意:此字段可能返回 null,表示取不到有效值。
示例值:复杂类型
BatchId String 批任务id
注意:此字段可能返回 null,表示取不到有效值。
示例值:dks18ad4-9a7e-4f64-a3dj-f38507c697dj
Code String 运行语句
注意:此字段可能返回 null,表示取不到有效值。
示例值:select 1;
TaskId String 任务ID
注意:此字段可能返回 null,表示取不到有效值。
示例值:dks18ad4-9a7e-4f64-a3dj-f38507c697dj

NotebookSessions

notebook session列表信息。

被如下接口引用:DescribeNotebookSessions。

名称 类型 描述
Kind String 类型,当前支持:spark、pyspark、sparkr、sql
示例值:spark
SessionId String Session唯一标识
示例值:d3018ad4-9a7e-4f64-a3f4-f38507c69742
ProxyUser String 代理用户,默认为root
注意:此字段可能返回 null,表示取不到有效值。
示例值:root
State String Session状态,包含:not_started(未启动)、starting(已启动)、idle(等待输入)、busy(正在运行statement)、shutting_down(停止)、error(异常)、dead(已退出)、killed(被杀死)、success(正常停止)
示例值:not_started
SparkAppId String Spark任务返回的AppId
注意:此字段可能返回 null,表示取不到有效值。
示例值:spark-123
Name String Session名称
示例值:session1
CreateTime String Session创建时间
示例值:2006-01-02 15:04:05
DataEngineName String 引擎名称
示例值:data_engine_1
LastRunningTime String 最新的运行时间
注意:此字段可能返回 null,表示取不到有效值。
示例值:2006-01-02 15:04:05
Creator String 创建者
示例值:test
SparkUiUrl String spark ui地址
注意:此字段可能返回 null,表示取不到有效值。
示例值:http://xxx

Other

数据格式其它类型。

被如下接口引用:CreateTable。

名称 类型 必选 描述
Format String 枚举类型,默认值为Json,可选值为[Json, Parquet, ORC, AVRD]之一。
示例值:Json

OtherDatasourceConnection

其他数据源

被如下接口引用:DescribeDatasourceConnection。

名称 类型 必选 描述
Location DatasourceConnectionLocation 网络参数

Partition

数据表分块信息。

被如下接口引用:CreateTable, DescribeTable, DescribeTables。

名称 类型 必选 描述
Name String 分区列名。
示例值:col1
Type String 分区类型。
示例值:string
Comment String 对分区的描述。
示例值:create by zhangsan
Transform String 隐式分区转换策略
注意:此字段可能返回 null,表示取不到有效值。
示例值:truncate
TransformArgs Array of String 转换策略参数
注意:此字段可能返回 null,表示取不到有效值。
示例值:["3"]
CreateTime Integer 创建时间
注意:此字段可能返回 null,表示取不到有效值。
示例值:100000

Policy

权限对象

被如下接口引用:AttachUserPolicy, AttachWorkGroupPolicy, CreateUser, CreateWorkGroup, DescribeUserInfo, DescribeUsers, DescribeWorkGroupInfo, DescribeWorkGroups, DetachUserPolicy, DetachWorkGroupPolicy, UpdateRowFilter。

名称 类型 必选 描述
Database String 需要授权的数据库名,填代表当前Catalog下所有数据库。当授权类型为管理员级别时,只允许填“”,当授权类型为数据连接级别时只允许填空,其他类型下可以任意指定数据库。
示例值:test_database
Catalog String 需要授权的数据源名称,管理员级别下只支持填(代表该级别全部资源);数据源级别和数据库级别鉴权的情况下,只支持填COSDataCatalog或者;在数据表级别鉴权下可以填写用户自定义数据源。不填情况下默认为DataLakeCatalog。注意:如果是对用户自定义数据源进行鉴权,DLC能够管理的权限是用户接入数据源的时候提供的账户的子集。
示例值:DataLakeCatalog
Table String 需要授权的表名,填代表当前Database下所有表。当授权类型为管理员级别时,只允许填“”,当授权类型为数据连接级别、数据库级别时只允许填空,其他类型下可以任意指定数据表。
示例值:test_table
Operation String 授权的权限操作,对于不同级别的鉴权提供不同操作。管理员权限:ALL,不填默认为ALL;数据连接级鉴权:CREATE;数据库级别鉴权:ALL、CREATE、ALTER、DROP;数据表权限:ALL、SELECT、INSERT、ALTER、DELETE、DROP、UPDATE。注意:在数据表权限下,指定的数据源不为COSDataCatalog的时候,只支持SELECT操作。
示例值:ALL
PolicyType String 授权类型,现在支持八种授权类型:ADMIN:管理员级别鉴权 DATASOURCE:数据连接级别鉴权 DATABASE:数据库级别鉴权 TABLE:表级别鉴权 VIEW:视图级别鉴权 FUNCTION:函数级别鉴权 COLUMN:列级别鉴权 ENGINE:数据引擎鉴权。不填默认为管理员级别鉴权。
示例值:ADMIN
Function String 需要授权的函数名,填代表当前Catalog下所有函数。当授权类型为管理员级别时,只允许填“”,当授权类型为数据连接级别时只允许填空,其他类型下可以任意指定函数。
注意:此字段可能返回 null,表示取不到有效值。
示例值:fun1
View String 需要授权的视图,填代表当前Database下所有视图。当授权类型为管理员级别时,只允许填“”,当授权类型为数据连接级别、数据库级别时只允许填空,其他类型下可以任意指定视图。
注意:此字段可能返回 null,表示取不到有效值。
示例值:view1
Column String 需要授权的列,填代表当前所有列。当授权类型为管理员级别时,只允许填“
注意:此字段可能返回 null,表示取不到有效值。
示例值:column1
DataEngine String 需要授权的数据引擎,填代表当前所有引擎。当授权类型为管理员级别时,只允许填“
注意:此字段可能返回 null,表示取不到有效值。
示例值:dataEngine1
ReAuth Boolean 用户是否可以进行二次授权。当为true的时候,被授权的用户可以将本次获取的权限再次授权给其他子用户。默认为false
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
Source String 权限来源,入参不填。USER:权限来自用户本身;WORKGROUP:权限来自绑定的工作组
注意:此字段可能返回 null,表示取不到有效值。
示例值:USER
Mode String 授权模式,入参不填。COMMON:普通模式;SENIOR:高级模式。
注意:此字段可能返回 null,表示取不到有效值。
示例值:COMMON
Operator String 操作者,入参不填。
注意:此字段可能返回 null,表示取不到有效值。
示例值:12345678
CreateTime String 权限创建的时间,入参不填
注意:此字段可能返回 null,表示取不到有效值。
示例值:2021-07-28 16:19:32
SourceId Integer 权限所属工作组的ID,只有当该权限的来源为工作组时才会有值。即仅当Source字段的值为WORKGROUP时该字段才有值。
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
SourceName String 权限所属工作组的名称,只有当该权限的来源为工作组时才会有值。即仅当Source字段的值为WORKGROUP时该字段才有值。
注意:此字段可能返回 null,表示取不到有效值。
示例值:test_group
Id Integer 策略ID
注意:此字段可能返回 null,表示取不到有效值。
示例值:1

Policys

策略集合

被如下接口引用:DescribeUserInfo, DescribeWorkGroupInfo。

名称 类型 描述
PolicySet Array of Policy 策略集合
注意:此字段可能返回 null,表示取不到有效值。
TotalCount Integer 策略总数
注意:此字段可能返回 null,表示取不到有效值。
示例值:10

PrestoMonitorMetrics

Presto监控指标

被如下接口引用:DescribeSparkAppTasks, DescribeTasks。

名称 类型 描述
LocalCacheHitRate Float Alluxio本地缓存命中率
注意:此字段可能返回 null,表示取不到有效值。
FragmentCacheHitRate Float Fragment缓存命中率
注意:此字段可能返回 null,表示取不到有效值。

Property

数据库和数据表属性信息

被如下接口引用:AssignMangedTableProperties, CreateDatabase, CreateInternalTable, DescribeDatabases, DescribeTable, DescribeTables, DescribeViews, GenerateCreateMangedTableSql。

名称 类型 必选 描述
Key String 属性key名称。
示例值:owner
Value String 属性key对应的value。
示例值:create by zhangsan

PythonSparkImage

python-spark镜像信息。

被如下接口引用:DescribeDataEnginePythonSparkImages。

名称 类型 描述
SparkImageId String spark镜像唯一id
示例值:d3018ad4-9a7e-4f64-a3f4-f38507c69742
ChildImageVersionId String 集群小版本镜像id
示例值:d3dfgtr4-9a7e-4f64-a3f4-f38507c69742
SparkImageVersion String spark镜像名称
示例值:test
Description String spark镜像描述信息
注意:此字段可能返回 null,表示取不到有效值。
示例值:测试
CreateTime String 创建时间
示例值:2020-01-01 01:01:01
UpdateTime String 更新时间
示例值:2020-01-01 01:01:01

ResourceInfo

ResourceInfo

被如下接口引用:GetOptimizerPolicy。

名称 类型 必选 描述
AttributionType String 归属类型
注意:此字段可能返回 null,表示取不到有效值。
示例值:group
ResourceType String 资源类型
注意:此字段可能返回 null,表示取不到有效值。
示例值:spark-sql
Name String 引擎名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:引擎名称
Instance String 如资源类型为spark-sql 取值为Name, 如为spark-batch 取值为session app_name
注意:此字段可能返回 null,表示取不到有效值。
示例值:spark-sql
Favor Array of FavorInfo 亲和性
注意:此字段可能返回 null,表示取不到有效值。
Status Integer 状态
注意:此字段可能返回 null,表示取不到有效值。

SQLTask

SQL查询任务

被如下接口引用:CreateTask。

名称 类型 必选 描述
SQL String base64加密后的SQL语句
示例值:U0VMRUNUICogRlJPTSBgdGVzdGA7
Config Array of KVPair 任务的配置信息

Script

script实例。

被如下接口引用:DescribeScripts。

名称 类型 描述
ScriptId String 脚本Id,长度36字节。
注意:此字段可能返回 null,表示取不到有效值。
示例值:89570c65-49de-4bbd-ac0a-a67c724fc80f
ScriptName String 脚本名称,长度0-25。
注意:此字段可能返回 null,表示取不到有效值。
示例值:test
ScriptDesc String 脚本描述,长度0-50。
注意:此字段可能返回 null,表示取不到有效值。
示例值:create by zhangsan
DatabaseName String 默认关联数据库。
注意:此字段可能返回 null,表示取不到有效值。
示例值:database1
SQLStatement String SQL描述,长度0-10000。
注意:此字段可能返回 null,表示取不到有效值。
示例值:U0VMRUNUICogRlJPTSBgdGVzdGA7
UpdateTime Integer 更新时间戳, 单位:ms。
注意:此字段可能返回 null,表示取不到有效值。
示例值:1611646962000

SessionResourceTemplate

Spark批作业集群Session资源配置模板;

被如下接口引用:CreateDataEngine, DescribeDataEngine, DescribeDataEngines, DescribeUserDataEngineConfig, UpdateDataEngine, UpdateUserDataEngineConfig。

名称 类型 必选 描述
DriverSize String driver规格:small,medium,large,xlarge;内存型(引擎类型):m.small,m.medium,m.large,m.xlarge
注意:此字段可能返回 null,表示取不到有效值。
示例值:small
ExecutorSize String executor规格:small,medium,large,xlarge;内存型(引擎类型):m.small,m.medium,m.large,m.xlarge
注意:此字段可能返回 null,表示取不到有效值。
示例值:small
ExecutorNums Integer 指定executor数量,最小值为1,最大值小于集群规格
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
ExecutorMaxNumbers Integer 指定executor max数量(动态配置场景下),最小值为1,最大值小于集群规格(当ExecutorMaxNumbers小于ExecutorNums时,改值设定为ExecutorNums)
注意:此字段可能返回 null,表示取不到有效值。
示例值:1

SmartOptimizerIndexPolicy

SmartOptimizerIndexPolicy

被如下接口引用:GetOptimizerPolicy。

名称 类型 必选 描述
IndexEnable String 开启索引
注意:此字段可能返回 null,表示取不到有效值。
示例值:none/enable/disable/default

SmartOptimizerLifecyclePolicy

SmartOptimizerLifecyclePolicy

被如下接口引用:GetOptimizerPolicy。

名称 类型 必选 描述
LifecycleEnable String 生命周期启用
注意:此字段可能返回 null,表示取不到有效值。
示例值:none/enable/disable/default
Expiration Integer 过期时间
注意:此字段可能返回 null,表示取不到有效值。
DropTable Boolean 是否删表
注意:此字段可能返回 null,表示取不到有效值。

SmartOptimizerPolicy

SmartOptimizerPolicy

被如下接口引用:GetOptimizerPolicy。

名称 类型 必选 描述
Inherit String 是否继承
注意:此字段可能返回 null,表示取不到有效值。
Resources Array of ResourceInfo ResourceInfo
注意:此字段可能返回 null,表示取不到有效值。
Written SmartOptimizerWrittenPolicy SmartOptimizerWrittenPolicy
注意:此字段可能返回 null,表示取不到有效值。
Lifecycle SmartOptimizerLifecyclePolicy SmartOptimizerLifecyclePolicy
注意:此字段可能返回 null,表示取不到有效值。
Index SmartOptimizerIndexPolicy SmartOptimizerIndexPolicy
注意:此字段可能返回 null,表示取不到有效值。

SmartOptimizerWrittenPolicy

SmartOptimizerWrittenPolicy

被如下接口引用:GetOptimizerPolicy。

名称 类型 必选 描述

SmartPolicy

SmartPolicyRequest

被如下接口引用:AssignMangedTableProperties, CreateInternalTable, DescribeTable, DescribeTables, GenerateCreateMangedTableSql, GetOptimizerPolicy。

名称 类型 必选 描述
BaseInfo SmartPolicyBaseInfo 基础信息
注意:此字段可能返回 null,表示取不到有效值。
Policy SmartOptimizerPolicy 策略描述
注意:此字段可能返回 null,表示取不到有效值。

SmartPolicyBaseInfo

SmartPolicyBaseInfo

被如下接口引用:GetOptimizerPolicy。

名称 类型 必选 描述
Uin String 用户uin
注意:此字段可能返回 null,表示取不到有效值。
示例值:100011282005
PolicyType String Catalog/Database/Table
注意:此字段可能返回 null,表示取不到有效值。
示例值:Table
Catalog String Catalog名称
注意:此字段可能返回 null,表示取不到有效值。
示例值: DataLakeCatalog
Database String 数据库名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:dbtest
Table String 表名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:tbtest
AppId String 用户appid
注意:此字段可能返回 null,表示取不到有效值。
示例值:1

SparkJobInfo

spark作业详情。

被如下接口引用:DescribeSparkAppJob, DescribeSparkAppJobs。

名称 类型 描述
JobId String spark作业ID
示例值:4a7cad6bb86211ec9c616e6f30623d72
JobName String spark作业名
示例值:test-app
JobType Integer spark作业类型,可去1或者2,1表示batch作业, 2表示streaming作业
示例值:1
DataEngine String 引擎名
示例值:spark-engine
Eni String 该字段已下线,请使用字段Datasource
示例值:kafka
IsLocal String 程序包是否本地上传,cos或者lakefs
示例值:cos
JobFile String 程序包路径
示例值:cosn://bucket/example.jar
RoleArn Integer 角色ID
示例值:1
MainClass String spark作业运行主类
示例值:org.tencent.Example
CmdArgs String 命令行参数,spark作业命令行参数,空格分隔
示例值:1 2
JobConf String spark原生配置,换行符分隔
示例值:spark.network.timeout=120s
IsLocalJars String 依赖jars是否本地上传,cos或者lakefs
示例值:cos
JobJars String spark作业依赖jars,逗号分隔
示例值:example.jar
IsLocalFiles String 依赖文件是否本地上传,cos或者lakefs
示例值:cos
JobFiles String spark作业依赖文件,逗号分隔
示例值:cos
JobDriverSize String spark作业driver资源大小
示例值:small
JobExecutorSize String spark作业executor资源大小
示例值:small
JobExecutorNums Integer spark作业executor个数
示例值:1
JobMaxAttempts Integer spark流任务最大重试次数
示例值:3
JobCreator String spark作业创建者
示例值:test
JobCreateTime Integer spark作业创建时间
示例值:1
JobUpdateTime Integer spark作业更新时间
示例值:1
CurrentTaskId String spark作业最近任务ID
示例值:4a7cad6bb86211ec9c616e6f30623d72
JobStatus Integer spark作业最近运行状态,初始化:0,运行中:1,成功:2,数据写入中: 3, 排队中: 4, 失败: -1, 已删除: -3,已过期: -5
示例值:0
StreamingStat StreamingStatistics spark流作业统计
注意:此字段可能返回 null,表示取不到有效值。
DataSource String 数据源名
注意:此字段可能返回 null,表示取不到有效值。
示例值:kafka-datasource
IsLocalPythonFiles String pyspark:依赖上传方式,1、cos;2、lakefs(控制台使用,该方式不支持直接接口调用)
注意:此字段可能返回 null,表示取不到有效值。
示例值:cos
AppPythonFiles String 注:该返回值已废弃
注意:此字段可能返回 null,表示取不到有效值。
示例值:test.py
IsLocalArchives String archives:依赖上传方式,1、cos;2、lakefs(控制台使用,该方式不支持直接接口调用)
注意:此字段可能返回 null,表示取不到有效值。
示例值:cos
JobArchives String archives:依赖资源
注意:此字段可能返回 null,表示取不到有效值。
示例值:file1.tar.gz#abc
SparkImage String Spark Image 版本
注意:此字段可能返回 null,表示取不到有效值。
示例值:1.0
JobPythonFiles String pyspark:python依赖, 除py文件外,还支持zip/egg等归档格式,多文件以逗号分隔
注意:此字段可能返回 null,表示取不到有效值。
示例值:test.py
TaskNum Integer 当前job正在运行或准备运行的任务个数
注意:此字段可能返回 null,表示取不到有效值。
示例值:5
DataEngineStatus Integer 引擎状态:-100(默认:未知状态),-2~11:引擎正常状态;
注意:此字段可能返回 null,表示取不到有效值。
示例值:0
JobExecutorMaxNumbers Integer 指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于JobExecutorNums
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
SparkImageVersion String 镜像版本
注意:此字段可能返回 null,表示取不到有效值。
示例值:pyspark3.2
SessionId String 查询脚本关联id
注意:此字段可能返回 null,表示取不到有效值。
示例值:931a72aa-4f83-4d6a-adf1-2sdda0234a655
DataEngineClusterType String spark_emr_livy
注意:此字段可能返回 null,表示取不到有效值。
示例值:引擎类型
DataEngineImageVersion String Spark 3.2-EMR
注意:此字段可能返回 null,表示取不到有效值。
示例值:引擎镜像版本
IsInherit Integer 任务资源配置是否继承集群模板,0(默认)不继承,1:继承
注意:此字段可能返回 null,表示取不到有效值。
示例值:0
IsSessionStarted Boolean 是否使用session脚本的sql运行任务:false:否,true:是
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
EngineTypeDetail String 引擎详细类型:SparkSQL、PrestoSQL、SparkBatch、StandardSpark、StandardPresto
注意:此字段可能返回 null,表示取不到有效值。
示例值:SparkSQL

SparkMonitorMetrics

Spark监控数据

被如下接口引用:DescribeSparkAppTasks, DescribeTasks。

名称 类型 描述
ShuffleWriteBytesCos Integer shuffle写溢出到COS数据量,单位:byte
注意:此字段可能返回 null,表示取不到有效值。
ShuffleWriteBytesTotal Integer shuffle写数据量,单位:byte
注意:此字段可能返回 null,表示取不到有效值。

SparkSessionBatchLog

SparkSQL批任务运行日志

被如下接口引用:DescribeSparkSessionBatchSqlLog。

名称 类型 描述
Step String 日志步骤:BEG/CS/DS/DSS/DSF/FINF/RTO/CANCEL/CT/DT/DTS/DTF/FINT/EXCE
注意:此字段可能返回 null,表示取不到有效值。
示例值:BEG
Time String 时间
注意:此字段可能返回 null,表示取不到有效值。
示例值:2023-03-20 12:12:12
Message String 日志提示
注意:此字段可能返回 null,表示取不到有效值。
示例值:开始
Operate Array of SparkSessionBatchLogOperate 日志操作
注意:此字段可能返回 null,表示取不到有效值。
示例值:复杂类型

SparkSessionBatchLogOperate

SparkSQL批任务日志操作信息。

被如下接口引用:DescribeSparkSessionBatchSqlLog。

名称 类型 描述
Text String 操作提示
注意:此字段可能返回 null,表示取不到有效值。
示例值:test
Operate String 操作类型:COPY、LOG、UI、RESULT、List、TAB
注意:此字段可能返回 null,表示取不到有效值。
示例值:COPY
Supplement Array of KVPair 补充信息:如:taskid、sessionid、sparkui等
注意:此字段可能返回 null,表示取不到有效值。
示例值:d3018ad4-9a7e-4f64-a3f4-f38507c69742

StatementInformation

statement信息

被如下接口引用:CreateSparkSessionBatchSQL。

名称 类型 描述
TaskId String SQL任务唯一ID
注意:此字段可能返回 null,表示取不到有效值。
示例值:09ei23ea-d6c0-4cd9-bbed-2e909jef04dc
SQL String SQL内容
注意:此字段可能返回 null,表示取不到有效值。
示例值:select 1;

StatementOutput

notebook session statement输出信息。

被如下接口引用:CreateNotebookSessionStatement, DescribeNotebookSessionStatement。

名称 类型 描述
ExecutionCount Integer 执行总数
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
Data Array of KVPair Statement数据
注意:此字段可能返回 null,表示取不到有效值。
示例值:["key":"testKey","value":"testValue"]
Status String Statement状态:ok,error
注意:此字段可能返回 null,表示取不到有效值。
示例值:ok
ErrorName String 错误名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:compute fail
ErrorValue String 错误类型
注意:此字段可能返回 null,表示取不到有效值。
示例值:InternalError
ErrorMessage Array of String 错误堆栈信息
注意:此字段可能返回 null,表示取不到有效值。
示例值:["internal Error"]
SQLResult String SQL类型任务结果返回
注意:此字段可能返回 null,表示取不到有效值。
示例值:{ "application/json":{ "schema":{ "type":"struct", "fields":[ { "name":"1", "type":"integer", "nullable":false, "metadata":{ } } ] } } }

StreamingStatistics

spark流任务统计信息

被如下接口引用:DescribeSparkAppJob, DescribeSparkAppJobs。

名称 类型 描述
StartTime String 任务开始时间
示例值:2022-05-16 00:00:00
Receivers Integer 数据接收器数
示例值:1
NumActiveReceivers Integer 运行中的接收器数
示例值:1
NumInactiveReceivers Integer 不活跃的接收器数
示例值:0
NumActiveBatches Integer 运行中的批数
示例值:1
NumRetainedCompletedBatches Integer 待处理的批数
示例值:1
NumTotalCompletedBatches Integer 已完成的批数
示例值:1
AverageInputRate Float 平均输入速率
示例值:0.2
AverageSchedulingDelay Float 平均等待时长
示例值:1.0
AverageProcessingTime Float 平均处理时长
示例值:2.0
AverageTotalDelay Float 平均延时
示例值:3.0

TColumn

表字段描述信息

被如下接口引用:AssignMangedTableProperties, CreateInternalTable, GenerateCreateMangedTableSql。

名称 类型 必选 描述
Name String 字段名称
Type String 字段类型
Comment String 字段描述
Default String 字段默认值
NotNull Boolean 字段是否是非空
Precision Integer 表示整个 numeric 的长度,取值1-38
Scale Integer 表示小数部分的长度
Scale小于Precision

TPartition

表分区字段信息

被如下接口引用:AssignMangedTableProperties, CreateInternalTable, GenerateCreateMangedTableSql。

名称 类型 必选 描述
Name String 字段名称
Type String 字段类型
Comment String 字段描述
PartitionType String 分区类型
PartitionFormat String 分区格式
PartitionDot Integer 分区分隔数
Transform String 分区转换策略
TransformArgs Array of String 策略参数

TableBaseInfo

数据表配置信息

被如下接口引用:AssignMangedTableProperties, CreateInternalTable, CreateTable, DescribeTable, DescribeTables, GenerateCreateMangedTableSql。

名称 类型 必选 描述
DatabaseName String 该数据表所属数据库名字
示例值:database1
TableName String 数据表名字
示例值:table
DatasourceConnectionName String 该数据表所属数据源名字
注意:此字段可能返回 null,表示取不到有效值。
示例值:CosDataCatalog
TableComment String 该数据表备注
注意:此字段可能返回 null,表示取不到有效值。
示例值:test
Type String 具体类型,表or视图
注意:此字段可能返回 null,表示取不到有效值。
示例值:table
TableFormat String 数据格式类型,hive,iceberg等
注意:此字段可能返回 null,表示取不到有效值。
示例值:hive
UserAlias String 建表用户昵称
注意:此字段可能返回 null,表示取不到有效值。
示例值:test
UserSubUin String 建表用户ID
注意:此字段可能返回 null,表示取不到有效值。
示例值:100019878767
SmartPolicy SmartPolicy 智能数据治理配置项
注意:此字段可能返回 null,表示取不到有效值。

TableInfo

返回数据表的相关信息。

被如下接口引用:CreateTable。

名称 类型 必选 描述
TableBaseInfo TableBaseInfo 数据表配置信息。
DataFormat DataFormat 数据表格式。每次入参可选如下其一的KV结构,[TextFile,CSV,Json, Parquet, ORC, AVRD]。
Columns Array of Column 数据表列信息。
Partitions Array of Partition 数据表分块信息。
Location String 数据存储路径。当前仅支持cos路径,格式如下:cosn://bucket-name/filepath。
示例值:cosn://test-bucket-1123423/csvdata/

TableResponseInfo

查询表信息对象

被如下接口引用:DescribeTable, DescribeTables。

名称 类型 描述
TableBaseInfo TableBaseInfo 数据表基本信息。
Columns Array of Column 数据表列信息。
注意:此字段可能返回 null,表示取不到有效值。
Partitions Array of Partition 数据表分块信息。
注意:此字段可能返回 null,表示取不到有效值。
Location String 数据存储路径。
注意:此字段可能返回 null,表示取不到有效值。
示例值:cosn://test-bucket-123242/csvdata/
Properties Array of Property 数据表属性信息。
注意:此字段可能返回 null,表示取不到有效值。
ModifiedTime String 数据表更新时间, 单位: ms。
注意:此字段可能返回 null,表示取不到有效值。
示例值:1611579344000
CreateTime String 数据表创建时间,单位: ms。
注意:此字段可能返回 null,表示取不到有效值。
示例值:1611579344000
InputFormat String 数据格式。
注意:此字段可能返回 null,表示取不到有效值。
示例值:org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat
StorageSize Integer 数据表存储大小(单位:Byte)
注意:此字段可能返回 null,表示取不到有效值。
示例值:1024
RecordCount Integer 数据表行数
注意:此字段可能返回 null,表示取不到有效值。
示例值:10
MapMaterializedViewName String xxxx
注意:此字段可能返回 null,表示取不到有效值。
HeatValue Integer 访问热点
注意:此字段可能返回 null,表示取不到有效值。
示例值:1

TagInfo

标签对信息

被如下接口引用:CreateDataEngine, DescribeDataEngine, DescribeDataEngines。

名称 类型 必选 描述
TagKey String 标签键
注意:此字段可能返回 null,表示取不到有效值。
示例值:tagKey1
TagValue String 标签值
注意:此字段可能返回 null,表示取不到有效值。
示例值:tagValue1

Task

任务类型,任务如SQL查询等。

被如下接口引用:CreateTask。

名称 类型 必选 描述
SQLTask SQLTask SQL查询任务
SparkSQLTask SQLTask Spark SQL查询任务

TaskResponseInfo

任务实例。

被如下接口引用:DescribeSparkAppTasks, DescribeTasks。

名称 类型 描述
DatabaseName String 任务所属Database的名称。
示例值:database1
DataAmount Integer 任务数据量。
示例值:1024
Id String 任务Id。
示例值:89570c65-49de-4bbd-ac0a-a67c724fc80f
UsedTime Integer 计算耗时,单位: ms
示例值:60000
OutputPath String 任务输出路径。
示例值:cosn://test-bucket-123434324234/result/
CreateTime String 任务创建时间。
示例值:1611646962000
State Integer 任务状态:0 初始化, 1 执行中, 2 执行成功,3 数据写入中,4 排队中。-1 执行失败,-3 已取消。
示例值:2
SQLType String 任务SQL类型,DDL|DML等
示例值:DDL
SQL String 任务SQL语句
示例值:U0VMRUNUICogRlJPTSBgdGVzdGA7
ResultExpired Boolean 结果是否过期。
示例值:false
RowAffectInfo String 数据影响统计信息。
示例值:500 rows selected (0.077 seconds)
DataSet String 任务结果数据表。
注意:此字段可能返回 null,表示取不到有效值。
示例值:{"Schema":["name","age"],"Data":[{"name":"29","age":"Michael"}]}
Error String 失败信息, 例如:errorMessage。该字段已废弃。
示例值:""
Percentage Integer 任务执行进度num/100(%)
示例值:100
OutputMessage String 任务执行输出信息。
示例值:""
TaskType String 执行SQL的引擎类型
示例值:""
ProgressDetail String 任务进度明细
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"jobId":1,"stages":[{"stageId":1,"numTasks":3,"numActiveTasks"
UpdateTime String 任务结束时间
注意:此字段可能返回 null,表示取不到有效值。
示例值:1611646962000
DataEngineId String 计算资源id
注意:此字段可能返回 null,表示取不到有效值。
示例值:resource-1gghpd1t
OperateUin String 执行sql的子uin
注意:此字段可能返回 null,表示取不到有效值。
示例值:****
DataEngineName String 计算资源名字
注意:此字段可能返回 null,表示取不到有效值。
示例值:shared_presto
InputType String 导入类型是本地导入还是cos
注意:此字段可能返回 null,表示取不到有效值。
示例值:local
InputConf String 导入配置
注意:此字段可能返回 null,表示取不到有效值。
示例值:[{"Key":"paths","Value":"lakefs://20000003366d155f79a522c8349496
DataNumber Integer 数据条数
注意:此字段可能返回 null,表示取不到有效值。
示例值:111
CanDownload Boolean 查询数据能不能下载
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
UserAlias String 用户别名
注意:此字段可能返回 null,表示取不到有效值。
示例值:testname
SparkJobName String spark应用作业名
注意:此字段可能返回 null,表示取不到有效值。
示例值:spark_app
SparkJobId String spark应用作业Id
注意:此字段可能返回 null,表示取不到有效值。
示例值:batch_sdafa
SparkJobFile String spark应用入口jar文件
注意:此字段可能返回 null,表示取不到有效值。
示例值:example.jar
UiUrl String spark ui url
注意:此字段可能返回 null,表示取不到有效值。
示例值:https://dlc-spark-ui.cloud.tencent.com/history/spark-893c606226b
TotalTime Integer 任务耗时,单位: ms
注意:此字段可能返回 null,表示取不到有效值。
示例值:80000
CmdArgs String spark app job执行task的程序入口参数
注意:此字段可能返回 null,表示取不到有效值。
示例值:spark.sql.shuffle.partitions
ImageVersion String 集群镜像大版本名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:SuperSQL P 1.0
DriverSize String driver规格:small,medium,large,xlarge;内存型(引擎类型):m.small,m.medium,m.large,m.xlarge
注意:此字段可能返回 null,表示取不到有效值。
示例值:small
ExecutorSize String executor规格:small,medium,large,xlarge;内存型(引擎类型):m.small,m.medium,m.large,m.xlarge
注意:此字段可能返回 null,表示取不到有效值。
示例值:small
ExecutorNums Integer 指定executor数量,最小值为1,最大值小于集群规格
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
ExecutorMaxNumbers Integer 指定executor max数量(动态配置场景下),最小值为1,最大值小于集群规格(当ExecutorMaxNumbers小于ExecutorNums时,改值设定为ExecutorNums)
注意:此字段可能返回 null,表示取不到有效值。
示例值:1
CommonMetrics CommonMetrics 任务公共指标数据
注意:此字段可能返回 null,表示取不到有效值。
SparkMonitorMetrics SparkMonitorMetrics spark任务指标数据
注意:此字段可能返回 null,表示取不到有效值。
PrestoMonitorMetrics PrestoMonitorMetrics presto任务指标数据
注意:此字段可能返回 null,表示取不到有效值。
ResultFormat String 结果文件格式:默认为csv
注意:此字段可能返回 null,表示取不到有效值。
示例值:csv

TaskResultInfo

任务结果信息。

被如下接口引用:DescribeTaskResult。

名称 类型 描述
TaskId String 任务唯一ID
示例值:fdd9c5fa21ca11eca6fb5254006c64af
DatasourceConnectionName String 数据源名称,当前任务执行时候选中的默认数据源
注意:此字段可能返回 null,表示取不到有效值。
示例值:COSDataCatalog
DatabaseName String 数据库名称,当前任务执行时候选中的默认数据库
注意:此字段可能返回 null,表示取不到有效值。
示例值:database1
SQL String 当前执行的SQL,一个任务包含一个SQL
示例值:select * from test limit 10;
SQLType String 执行任务的类型,现在分为DDL、DML、DQL
示例值:DDL
State Integer 任务当前的状态,0:初始化 1:任务运行中 2:任务执行成功 3:数据写入中 4:排队中 -1:任务执行失败 -3:用户手动终止 。只有任务执行成功的情况下,才会返回任务执行的结果
示例值:2
DataAmount Integer 扫描的数据量,单位byte
示例值:1024
UsedTime Integer 计算耗时,单位: ms
示例值:42
OutputPath String 任务结果输出的COS桶地址
示例值:cosn://dlc-nj-125849872/test/DLCQueryResults/2021/09/
CreateTime String 任务创建时间,时间戳
示例值:1632991895728
OutputMessage String 任务执行信息,成功时返回success,失败时返回失败原因
示例值:success
RowAffectInfo String 被影响的行数
示例值:OK, No rows affected (0.000000 seconds)
ResultSchema Array of Column 结果的schema信息
注意:此字段可能返回 null,表示取不到有效值。
ResultSet String 结果信息,反转义后,外层数组的每个元素为一行数据
注意:此字段可能返回 null,表示取不到有效值。
示例值:[["3","kk"],["3","kk"]]
NextToken String 分页信息,如果没有更多结果数据,nextToken为空
示例值:nextMarker=\u0026nextKey=test/DLCQueryResults/2021/10/15/2c60388
Percentage Integer 任务执行进度num/100(%)
示例值:100
ProgressDetail String 任务进度明细
示例值:[{"jobId":1,"stages":[{"stageId":1,"numTasks":3,"numActiveTasks"
DisplayFormat String 控制台展示格式。table:表格展示 text:文本展示
示例值:table
TotalTime Integer 任务耗时,单位: ms
示例值:1000
QueryResultTime Float 获取结果消耗的时间
注意:此字段可能返回 null,表示取不到有效值。

TasksInfo

批量顺序执行任务集合

被如下接口引用:CreateTasks, CreateTasksInOrder。

名称 类型 必选 描述
TaskType String 任务类型,SQLTask:SQL查询任务。SparkSQLTask:Spark SQL查询任务
示例值:SQLTask
FailureTolerance String 容错策略。Proceed:前面任务出错/取消后继续执行后面的任务。Terminate:前面的任务出错/取消之后终止后面任务的执行,后面的任务全部标记为已取消。
示例值:Proceed
SQL String base64加密后的SQL语句,用";"号分隔每个SQL语句,一次最多提交50个任务。严格按照前后顺序执行
示例值:U0VMRUNUICogRlJPTSBgdGVzdGA7
Config Array of KVPair 任务的配置信息,当前仅支持SparkSQLTask任务。
Params Array of KVPair 任务的用户自定义参数信息

TasksOverview

任务概览

被如下接口引用:DescribeTasks。

名称 类型 描述
TaskQueuedCount Integer 正在排队的任务个数
示例值:1
TaskInitCount Integer 初始化的任务个数
示例值:1
TaskRunningCount Integer 正在执行的任务个数
示例值:1
TotalTaskCount Integer 当前时间范围的总任务个数
示例值:1

TextFile

文本格式

被如下接口引用:CreateTable。

名称 类型 必选 描述
Format String 文本类型,本参数取值为TextFile。
示例值:TextFile
Regex String 处理文本用的正则表达式。
注意:此字段可能返回 null,表示取不到有效值。
示例值:"("[^]]") ("[0-9]") (-|[^ ]*)"

UserDetailInfo

用户详细信息

被如下接口引用:DescribeUserInfo。

名称 类型 描述
UserId String 用户Id
注意:此字段可能返回 null,表示取不到有效值。
示例值:1208763821
Type String 返回的信息类型,Group:返回的当前用户的工作组信息;DataAuth:返回的当前用户的数据权限信息;EngineAuth:返回的当前用户的引擎权限信息
注意:此字段可能返回 null,表示取不到有效值。
示例值:Group
UserType String 用户类型:ADMIN:管理员 COMMON:一般用户
注意:此字段可能返回 null,表示取不到有效值。
示例值:ADMIN
UserDescription String 用户描述信息
注意:此字段可能返回 null,表示取不到有效值。
示例值:testUser
DataPolicyInfo Policys 数据权限信息集合
注意:此字段可能返回 null,表示取不到有效值。
EnginePolicyInfo Policys 引擎权限集合
注意:此字段可能返回 null,表示取不到有效值。
WorkGroupInfo WorkGroups 绑定到该用户的工作组集合信息
注意:此字段可能返回 null,表示取不到有效值。
UserAlias String 用户别名
注意:此字段可能返回 null,表示取不到有效值。
示例值:testname
RowFilterInfo Policys 行过滤集合
注意:此字段可能返回 null,表示取不到有效值。

UserIdSetOfWorkGroupId

绑定到同一个工作组的用户Id的集合

被如下接口引用:AddUsersToWorkGroup, DeleteUsersFromWorkGroup。

名称 类型 必选 描述
WorkGroupId Integer 工作组Id
示例值:1
UserIds Array of String 用户Id集合,和CAM侧Uin匹配
示例值:["12345678"]

UserInfo

授权用户信息

被如下接口引用:DescribeUsers。

名称 类型 描述
UserId String 用户Id,和子用户uin相同
示例值:12345678
UserDescription String 用户描述信息,方便区分不同用户
注意:此字段可能返回 null,表示取不到有效值。
示例值:测试用户
PolicySet Array of Policy 单独给用户绑定的权限集合
注意:此字段可能返回 null,表示取不到有效值。
Creator String 当前用户的创建者
示例值:Administrator
CreateTime String 创建时间,格式如2021-07-28 16:19:32
示例值:2021-07-28 16:19:32
WorkGroupSet Array of WorkGroupMessage 关联的工作组集合
注意:此字段可能返回 null,表示取不到有效值。
IsOwner Boolean 是否是主账号
注意:此字段可能返回 null,表示取不到有效值。
示例值:false
UserType String 用户类型。ADMIN:管理员 COMMON:普通用户。
注意:此字段可能返回 null,表示取不到有效值。
示例值:ADMIN
UserAlias String 用户别名
注意:此字段可能返回 null,表示取不到有效值。
示例值:username

UserMessage

用户部分信息

被如下接口引用:DescribeWorkGroupInfo, DescribeWorkGroups。

名称 类型 描述
UserId String 用户Id,和CAM侧子用户Uin匹配
示例值:12345678
UserDescription String 用户描述
注意:此字段可能返回 null,表示取不到有效值。
示例值:test user
Creator String 当前用户的创建者
示例值:Administrator
CreateTime String 当前用户的创建时间,形如2021-07-28 16:19:32
示例值:2021-07-28 16:19:32
UserAlias String 用户别名
示例值:testname

UserRole

用户角色

被如下接口引用:DescribeUserRoles。

名称 类型 描述
RoleId Integer 角色ID
AppId String 用户app ID
Uin String 用户ID
Arn String 角色权限
ModifyTime Integer 最近修改时间戳
Desc String 角色描述信息
RoleName String 角色名称
注意:此字段可能返回 null,表示取不到有效值。
Creator String 创建者UIN
注意:此字段可能返回 null,表示取不到有效值。
CosPermissionList Array of CosPermission cos授权路径列表
注意:此字段可能返回 null,表示取不到有效值。
PermissionJson String cam策略json
注意:此字段可能返回 null,表示取不到有效值。

Users

用户信息集合

被如下接口引用:DescribeWorkGroupInfo。

名称 类型 描述
UserSet Array of UserMessage 用户信息集合
注意:此字段可能返回 null,表示取不到有效值。
TotalCount Integer 用户总数
注意:此字段可能返回 null,表示取不到有效值。
示例值:0

ViewBaseInfo

视图基本配置信息

被如下接口引用:DescribeViews。

名称 类型 必选 描述
DatabaseName String 该视图所属数据库名字
示例值:database1
ViewName String 视图名称
示例值:view-test
UserAlias String 视图创建人昵称
示例值:testUser
UserSubUin String 视图创建人ID
示例值:100019878767

ViewResponseInfo

查询视图信息对象

被如下接口引用:DescribeViews。

名称 类型 描述
ViewBaseInfo ViewBaseInfo 视图基本信息。
Columns Array of Column 视图列信息。
注意:此字段可能返回 null,表示取不到有效值。
Properties Array of Property 视图属性信息。
注意:此字段可能返回 null,表示取不到有效值。
CreateTime String 视图创建时间。
示例值:1611646962
ModifiedTime String 视图更新时间。
示例值:1611646962

WorkGroupDetailInfo

工作组详细信息

被如下接口引用:DescribeWorkGroupInfo。

名称 类型 描述
WorkGroupId Integer 工作组Id
注意:此字段可能返回 null,表示取不到有效值。
示例值:12
WorkGroupName String 工作组名称
注意:此字段可能返回 null,表示取不到有效值。
示例值:testGroup
Type String 包含的信息类型。User:用户信息;DataAuth:数据权限;EngineAuth:引擎权限
注意:此字段可能返回 null,表示取不到有效值。
示例值:User
UserInfo Users 工作组上绑定的用户集合
注意:此字段可能返回 null,表示取不到有效值。
DataPolicyInfo Policys 数据权限集合
注意:此字段可能返回 null,表示取不到有效值。
EnginePolicyInfo Policys 引擎权限集合
注意:此字段可能返回 null,表示取不到有效值。
WorkGroupDescription String 工作组描述信息
注意:此字段可能返回 null,表示取不到有效值。
示例值:group for admin
RowFilterInfo Policys 行过滤信息集合
注意:此字段可能返回 null,表示取不到有效值。

WorkGroupIdSetOfUserId

同一个用户绑定的工作组集合

被如下接口引用:BindWorkGroupsToUser, UnbindWorkGroupsFromUser。

名称 类型 必选 描述
UserId String 用户Id,和CAM侧Uin匹配
示例值:“12345678”
WorkGroupIds Array of Integer 工作组Id集合
示例值:[1,2,3]

WorkGroupInfo

工作组信息

被如下接口引用:DescribeWorkGroups。

名称 类型 描述
WorkGroupId Integer 查询到的工作组唯一Id
示例值:1
WorkGroupName String 工作组名称
示例值:testGroup
WorkGroupDescription String 工作组描述
注意:此字段可能返回 null,表示取不到有效值。
示例值:test
UserNum Integer 工作组关联的用户数量
示例值:0
UserSet Array of UserMessage 工作组关联的用户集合
注意:此字段可能返回 null,表示取不到有效值。
PolicySet Array of Policy 工作组绑定的权限集合
注意:此字段可能返回 null,表示取不到有效值。
Creator String 工作组的创建人
示例值:Administrator
CreateTime String 工作组的创建时间,形如2021-07-28 16:19:32
示例值:2021-07-28 16:19:32

WorkGroupMessage

工作组部分信息

被如下接口引用:DescribeUserInfo, DescribeUsers。

名称 类型 描述
WorkGroupId Integer 工作组唯一Id
示例值:1
WorkGroupName String 工作组名称
示例值:group1
WorkGroupDescription String 工作组描述
注意:此字段可能返回 null,表示取不到有效值。
示例值:test
Creator String 创建者
示例值:Administrator
CreateTime String 工作组创建的时间,形如2021-07-28 16:19:32
示例值:2021-07-28 16:19:32

WorkGroups

工作组集合

被如下接口引用:DescribeUserInfo。

名称 类型 描述
WorkGroupSet Array of WorkGroupMessage 工作组信息集合
注意:此字段可能返回 null,表示取不到有效值。
TotalCount Integer 工作组总数
注意:此字段可能返回 null,表示取不到有效值。
示例值:10