AccessInfo
引擎的访问信息
被如下接口引用:DescribeDataEngine, DescribeDataEngines。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| AccessType | String | 否 | 访问引擎的方法 注意:此字段可能返回 null,表示取不到有效值。 示例值:DLCJDBC |
| AccessConnectionInfos | Array of String | 否 | 访问引擎的url,内部的部分参数需要根据实际情况替换 注意:此字段可能返回 null,表示取不到有效值。 示例值:jdbc:dlc:xxxx-xxxx |
AnalysisTaskResults
洞察分析结果返回体
被如下接口引用:DescribeTasksAnalysis。
| 名称 | 类型 | 描述 |
|---|---|---|
| Id | String | 任务Id 示例值:89570c65-49de-4bbd-ac0a-a67c724fc80f |
| InstanceStartTime | Integer | 任务创建时间,毫秒时间戳 示例值:1715141119301 |
| InstanceCompleteTime | Integer | 任务结束时间,毫秒时间戳 示例值:1715141437247 |
| State | Integer | 任务状态:0 初始化, 1 执行中, 2 执行成功,3 数据写入中,4 排队中。-1 执行失败,-3 已取消。 示例值:2 |
| SQL | String | 任务SQL语句 示例值:INSERT INTO person_table values(100, 'John', 30, 1, 'Street 1') |
| DataEngineName | String | 计算资源名字 示例值:标准SPARK |
| JobTimeSum | Integer | 单位毫秒,引擎内执行耗时, 反映真正用于计算所需的耗时,即从 Spark 任务第一个 Task 开始执行到任务结束之间的耗时。 具体的:会统计任务的每个 Spark Stage 第一个 Task 到最后一个 Task 完成时长之和,不包含任务开始的排队耗时(即剔除从任务提交到 Spark Task 开始执行之间的调度等其他耗时),也不包含任务执行过程中多个 Spark Stage 之间因 executor 资源不足而等待执行 Task 所消耗的时间。 示例值:80852 |
| TaskTimeSum | Integer | 单位秒,累计 CPU* 秒 ( 累计 CPU * 时 = 累计 CPU* 秒/ 3600),统计参与计算所用 Spark Executor 每个 core 的 CPU 执行时长总和 示例值:4329 |
| InputRecordsSum | Integer | 数据扫描总行数 示例值:0 |
| InputBytesSum | Integer | 数据扫描总 bytes 示例值:99330 |
| OutputRecordsSum | Integer | 输出总行数 示例值:0 |
| OutputBytesSum | Integer | 输出总 bytes 示例值:0 |
| ShuffleReadBytesSum | Integer | shuffle read 总 bytes 示例值:9807 |
| ShuffleReadRecordsSum | Integer | shuffle read 总行数 示例值:28 |
| AnalysisStatus | String | 洞察结果类型分类,一个 json 数组,有如下几种类型:SPARK-StageScheduleDelay(资源抢占), SPARK-ShuffleFailure(Shuffle异常), SPARK-SlowTask(慢task), SPARK-DataSkew(数据倾斜), SPARK-InsufficientResource(磁盘或内存不足) 示例值:["SPARK-StageScheduleDelay"] |
| OutputFilesNum | Integer | 任务输出文件总数 示例值:0 |
| OutputSmallFilesNum | Integer | 任务输出小文件总数 示例值:0 |
Asset
元数据基本对象
被如下接口引用:AlterDMSDatabase, AlterDMSTable, CreateDMSDatabase, CreateDMSTable, DescribeDMSDatabase, DescribeDMSTable, DescribeDMSTables。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Id | Integer | 否 | 主键 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
| Name | String | 否 | 名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:name |
| Guid | String | 否 | 对象GUID值 注意:此字段可能返回 null,表示取不到有效值。 示例值:xxxx-xxxx-xxx-xxx |
| Catalog | String | 否 | 数据目录 注意:此字段可能返回 null,表示取不到有效值。 示例值:DataLakeCatalog |
| Description | String | 否 | 描述信息 示例值:desc |
| Owner | String | 否 | 对象owner 示例值:root |
| OwnerAccount | String | 否 | 对象owner账户 示例值:root |
| PermValues | Array of KVPair | 否 | 权限 |
| Params | Array of KVPair | 否 | 附加属性 |
| BizParams | Array of KVPair | 否 | 附加业务属性 |
| DataVersion | Integer | 否 | 数据版本 示例值:1 |
| CreateTime | Timestamp ISO8601 | 否 | 创建时间 示例值:2021-01-01 12:12:12 |
| ModifiedTime | Timestamp ISO8601 | 否 | 修改时间 示例值:2021-01-01 12:12:12 |
| DatasourceId | Integer | 否 | 数据源主键 示例值:1 |
BatchSQLCostInfo
spark session batch SQL的消耗信息
被如下接口引用:DescribeSparkSessionBatchSQLCost。
| 名称 | 类型 | 描述 |
|---|---|---|
| BatchId | String | 任务id 示例值:8925a6ba-0b33-4499-8b41-1f5a213689f0 |
| DataEngineName | String | 引擎名称 示例值:testengine |
| DataEngineId | String | 引擎id 示例值:DataEngine-xxx |
| Cost | Float | 本次消耗,单位cu 示例值:1.231412 |
| TimeCost | Integer | 时间开销,秒 示例值:12 |
| Operator | String | 操作者 示例值:1238741213 |
BatchSqlTask
SparkSQL批任务信息
被如下接口引用:DescribeSparkSessionBatchSQL。
| 名称 | 类型 | 描述 |
|---|---|---|
| TaskId | String | SQL子任务唯一标识 示例值:3a0e3e8b-3cb0-46cd-b126-1ab9837acfc6 |
| ExecuteSQL | String | 运行SQL 示例值:select 1; |
| Message | String | 任务信息,成功则返回:Task Success!,失败则返回异常信息 示例值:Task Success! |
CHDFSProductVpcInfo
chdfs产品vpc信息
被如下接口引用:DescribeOtherCHDFSBindingList。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| VpcId | String | 否 | vpc id 示例值:vpc-6z****3s |
| VpcName | String | 否 | vpc名称 示例值:Name |
| VpcCidrBlock | Array of VpcCidrBlock | 否 | vpc子网信息列表 |
| RuleId | Integer | 否 | 规则Id 示例值:1560 |
| AccessGroupId | String | 否 | 权限组Id 示例值:ag-groupId |
CSV
CSV类型数据格式
被如下接口引用:CreateTable。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| CodeCompress | String | 否 | 压缩格式,["Snappy", "Gzip", "None"选一]。 示例值:Snappy |
| CSVSerde | CSVSerde | 否 | CSV序列化及反序列化数据结构。 |
| HeadLines | Integer | 否 | 标题行,默认为0。 示例值:1 |
| Format | String | 否 | 格式,默认值为CSV 示例值:CSV |
CSVSerde
CSV序列化及反序列化数据结构
被如下接口引用:CreateTable。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Escape | String | 否 | CSV序列化转义符,默认为"\",最长8个字符,如 Escape: "/" 示例值:\ |
| Quote | String | 否 | CSV序列化字段域符,默认为"'",最长8个字符, 如 Quote: """ 示例值:" |
| Separator | String | 否 | CSV序列化分隔符,默认为"\t",最长8个字符, 如 Separator: "\t" 示例值:, |
Column
数据表列信息。
被如下接口引用:CreateTable, DescribeNotebookSessionStatementSqlResult, DescribeTable, DescribeTables, DescribeTaskResult, DescribeViews, QueryResult。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Name | String | 是 | 列名称,不区分大小写,最大支持25个字符。 示例值:col1 |
| Type | String | 是 | string|tinyint|smallint|int|bigint|boolean|float|double|decimal|timestamp|date|binary|array|map|struct|uniontype 示例值:string |
| Comment | String | 否 | 对该类的注释。 注意:此字段可能返回 null,表示取不到有效值。 示例值:create by zhangsan |
| Precision | Integer | 否 | 表示整个 numeric 的长度 示例值:5 |
| Scale | Integer | 否 | 表示小数部分的长度 示例值:2 |
| Nullable | String | 否 | 是否为null 示例值:Nullable |
| Position | Integer | 否 | 字段位置,小的在前 示例值:1 |
| CreateTime | String | 否 | 字段创建时间 示例值:2021-09-07 06:19:23 |
| ModifiedTime | String | 否 | 字段修改时间 示例值:2021-09-07 06:19:23 |
| IsPartition | Boolean | 否 | 是否为分区字段 示例值:false |
| DataMaskStrategyInfo | DataMaskStrategyInfo | 否 | 数据脱敏策略信息 注意:此字段可能返回 null,表示取不到有效值。 |
CommonMetrics
任务公共指标
被如下接口引用:DescribeSparkAppTasks, DescribeTasks。
| 名称 | 类型 | 描述 |
|---|---|---|
| CreateTaskTime | Float | 创建任务时长,单位:ms 注意:此字段可能返回 null,表示取不到有效值。 示例值:96 |
| ProcessTime | Float | 预处理总时长,单位:ms 注意:此字段可能返回 null,表示取不到有效值。 示例值:223 |
| QueueTime | Float | 排队时长,单位:ms 注意:此字段可能返回 null,表示取不到有效值。 示例值:0 |
| ExecutionTime | Float | 执行时长,单位:ms 注意:此字段可能返回 null,表示取不到有效值。 示例值:8981 |
| IsResultCacheHit | Boolean | 是否命中结果缓存 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
| MatchedMVBytes | Integer | 匹配物化视图数据量 注意:此字段可能返回 null,表示取不到有效值。 示例值:...[] |
| MatchedMVs | String | 匹配物化视图列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:null |
| AffectedBytes | String | 结果数据量,单位:byte 注意:此字段可能返回 null,表示取不到有效值。 示例值:7614 |
| AffectedRows | Integer | 结果行数 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
| ProcessedBytes | Integer | 扫描数据量,单位:byte 注意:此字段可能返回 null,表示取不到有效值。 示例值:17562718 |
| ProcessedRows | Integer | 扫描行数 注意:此字段可能返回 null,表示取不到有效值。 示例值:19327 |
CoreInfo
任务 core 用量信息
被如下接口引用:DescribeTaskResourceUsage。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Timestamp | Array of Integer | 否 | 时间戳(毫秒)数组 示例值:[1749193814000] |
| CoreUsage | Array of Integer | 否 | core 用量 示例值:[1,1] |
CosPermission
cos权限描述
被如下接口引用:DescribeUserRoles。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| CosPath | String | 否 | cos路径 注意:此字段可能返回 null,表示取不到有效值。 示例值:cosn://*** |
| Permissions | Array of String | 否 | 权限【"read","write"】 注意:此字段可能返回 null,表示取不到有效值。 示例值:["read","write"] |
CrontabResumeSuspendStrategy
定时启停策略信息
被如下接口引用:CreateDataEngine, DescribeDataEngine, DescribeDataEngines, UpdateDataEngine。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| ResumeTime | String | 否 | 定时拉起时间:如:周一&周三8点 示例值:0000101-08:00:00 |
| SuspendTime | String | 否 | 定时挂起时间:如:周一&周三20点 示例值:0000101-20:00:00 |
| SuspendStrategy | Integer | 否 | 挂起配置:0(默认):等待任务结束后挂起、1:强制挂起 示例值:0 |
CustomConfig
自定义参数
被如下接口引用:DescribeDatasourceConnection。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| ConfigKey | String | 否 | 自定义参数名 示例值:hive.iceberg-catalog-name |
| ConfigValue | String | 否 | 自定义参数值 示例值:prod_iceberg |
DLCCatalogAccess
DLC 数据目录访问权限
被如下接口引用:DescribeDLCCatalogAccess。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| VpcId | String | 是 | VPCID 示例值:vpc-1234567 |
| Product | String | 是 | 产品类型 示例值:EMR |
| Description | String | 否 | 描述信息 示例值:生产环境 |
| CreateTime | String | 否 | 创建时间 示例值:2024-01-01 10:10:10 |
DMSColumn
迁移列对象
被如下接口引用:AlterDMSTable, CreateDMSTable, DescribeDMSTable, DescribeDMSTables。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Name | String | 否 | 名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:name1 |
| Description | String | 否 | 描述 注意:此字段可能返回 null,表示取不到有效值。 示例值:desc1 |
| Type | String | 否 | 类型 注意:此字段可能返回 null,表示取不到有效值。 示例值:EXTERNAL |
| Position | Integer | 否 | 排序 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
| Params | Array of KVPair | 否 | 附加参数 注意:此字段可能返回 null,表示取不到有效值。 |
| BizParams | Array of KVPair | 否 | 业务参数 注意:此字段可能返回 null,表示取不到有效值。 |
| IsPartition | Boolean | 否 | 是否分区 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
DMSColumnOrder
列排序对象
被如下接口引用:AlterDMSTable, CreateDMSTable, DescribeDMSTable。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Col | String | 否 | 列名 注意:此字段可能返回 null,表示取不到有效值。 示例值:col1 |
| Order | Integer | 否 | 排序 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
DMSPartition
迁移元数据分区对象
被如下接口引用:AddDMSPartitions, AlterDMSPartition, AlterDMSTable, CreateDMSTable, DescribeDMSPartitions, DescribeDMSTable, DescribeDMSTables。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| DatabaseName | String | 否 | 数据库名称 示例值:11 |
| SchemaName | String | 否 | 数据目录名称 示例值:schema1 |
| TableName | String | 否 | 表名称 示例值:table1 |
| DataVersion | Integer | 否 | 数据版本 示例值:1 |
| Name | String | 否 | 分区名称 示例值:partition1 |
| Values | Array of String | 否 | 值列表 示例值:["aa", "bb"] |
| StorageSize | Integer | 否 | 存储大小 示例值:1 |
| RecordCount | Integer | 否 | 记录数量 示例值:1 |
| CreateTime | Timestamp ISO8601 | 否 | 创建时间 示例值:2021-05-08 16:43:16 |
| ModifiedTime | Timestamp ISO8601 | 否 | 修改时间 示例值:2021-05-08 16:43:16 |
| LastAccessTime | Timestamp ISO8601 | 否 | 最后访问时间 示例值:2021-05-08 16:43:16 |
| Params | Array of KVPair | 否 | 附件属性 |
| Sds | DMSSds | 否 | 存储对象 |
| DatasourceConnectionName | String | 否 | 数据源连接名 示例值:DataLakeCatalog |
DMSSds
元数据存储描述属性
被如下接口引用:AddDMSPartitions, AlterDMSPartition, AlterDMSTable, CreateDMSTable, DescribeDMSPartitions, DescribeDMSTable, DescribeDMSTables。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Location | String | 否 | 存储地址 注意:此字段可能返回 null,表示取不到有效值。 示例值:cosn://aaa |
| InputFormat | String | 否 | 输入格式 注意:此字段可能返回 null,表示取不到有效值。 示例值:InputFormat |
| OutputFormat | String | 否 | 输出格式 注意:此字段可能返回 null,表示取不到有效值。 示例值:OutputFormat |
| NumBuckets | Integer | 否 | bucket数量 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
| Compressed | Boolean | 否 | 是是否压缩 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
| StoredAsSubDirectories | Boolean | 否 | 是否有子目录 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
| SerdeLib | String | 否 | 序列化lib 注意:此字段可能返回 null,表示取不到有效值。 示例值:org.apache.hadoop.hive.serde2.OpenCSVSerde |
| SerdeName | String | 否 | 序列化名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:serde1 |
| BucketCols | Array of String | 否 | 桶名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:["aa", "bb"] |
| SerdeParams | Array of KVPair | 否 | 序列化参数 注意:此字段可能返回 null,表示取不到有效值。 |
| Params | Array of KVPair | 否 | 附加参数 注意:此字段可能返回 null,表示取不到有效值。 |
| SortCols | DMSColumnOrder | 否 | 列排序(Expired) 注意:此字段可能返回 null,表示取不到有效值。 |
| Cols | Array of DMSColumn | 否 | 列 注意:此字段可能返回 null,表示取不到有效值。 |
| SortColumns | Array of DMSColumnOrder | 否 | 列排序字段 注意:此字段可能返回 null,表示取不到有效值。 |
DMSTable
DMSTable基本信息
被如下接口引用:DescribeDMSTables。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| ViewOriginalText | String | 否 | 视图文本 注意:此字段可能返回 null,表示取不到有效值。 示例值:select 1 |
| ViewExpandedText | String | 否 | 视图文本 注意:此字段可能返回 null,表示取不到有效值。 示例值:select 1 |
| Retention | Integer | 否 | hive维护版本 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
| Sds | DMSSds | 否 | 存储对象 注意:此字段可能返回 null,表示取不到有效值。 |
| PartitionKeys | Array of DMSColumn | 否 | 分区列 注意:此字段可能返回 null,表示取不到有效值。 |
| Partitions | Array of DMSPartition | 否 | 分区 注意:此字段可能返回 null,表示取不到有效值。 |
| Type | String | 否 | 表类型 注意:此字段可能返回 null,表示取不到有效值。 示例值:EXTERNAL |
| DbName | String | 否 | 数据库名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:db1 |
| SchemaName | String | 否 | Schema名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:schema1 |
| StorageSize | Integer | 否 | 存储大小 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
| RecordCount | Integer | 否 | 记录数量 注意:此字段可能返回 null,表示取不到有效值。 示例值:0 |
| LifeTime | Integer | 否 | 生命周期 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
| LastAccessTime | Timestamp ISO8601 | 否 | 最后访问时间 注意:此字段可能返回 null,表示取不到有效值。 示例值:2020-01-01 11:11:11 |
| DataUpdateTime | Timestamp ISO8601 | 否 | 数据更新时间 注意:此字段可能返回 null,表示取不到有效值。 示例值:2020-01-01 11:11:11 |
| StructUpdateTime | Timestamp ISO8601 | 否 | 结构更新时间 注意:此字段可能返回 null,表示取不到有效值。 示例值:2020-01-01 11:11:11 |
| Columns | Array of DMSColumn | 否 | 列 注意:此字段可能返回 null,表示取不到有效值。 |
| Name | String | 否 | 表名 注意:此字段可能返回 null,表示取不到有效值。 示例值:tb1 |
DMSTableInfo
DMSTable信息
被如下接口引用:DescribeDMSTables。
| 名称 | 类型 | 描述 |
|---|---|---|
| Table | DMSTable | DMS表信息 注意:此字段可能返回 null,表示取不到有效值。 |
| Asset | Asset | 基础对象信息 注意:此字段可能返回 null,表示取不到有效值。 |
DataEngineBasicInfo
DataEngine基本信息
被如下接口引用:DescribeUpdatableDataEngines。
| 名称 | 类型 | 描述 |
|---|---|---|
| DataEngineName | String | DataEngine名称 示例值:dlc_presto |
| State | Integer | 数据引擎状态 -2已删除 -1失败 0初始化中 1挂起 2运行中 3准备删除 4删除中 示例值:1 |
| CreateTime | Integer | 创建时间 示例值:1635320563 |
| UpdateTime | Integer | 更新时间 示例值:1635320563 |
| Message | String | 返回信息 示例值:测试资源 |
| DataEngineId | String | 引擎id 示例值:DataEngine-houseid1 |
| DataEngineType | String | 引擎类型,有效值:PrestoSQL/SparkSQL/SparkBatch 示例值:SparkSQL |
| AppId | Integer | 用户ID 示例值:130****568 |
| UserUin | String | 账号ID 示例值:1000****6235 |
DataEngineConfigInstanceInfo
引擎配置信息
被如下接口引用:DescribeUserDataEngineConfig。
| 名称 | 类型 | 描述 |
|---|---|---|
| DataEngineId | String | 引擎ID 示例值:Dataengine-xx |
| DataEngineConfigPairs | Array of DataEngineConfigPair | 用户自定义配置项集合 |
| SessionResourceTemplate | SessionResourceTemplate | 作业集群资源参数配置模板 |
DataEngineConfigPair
引擎配置
被如下接口引用:CheckDataEngineConfigPairsValidity, CreateDataEngine, DescribeUserDataEngineConfig, UpdateDataEngine, UpdateUserDataEngineConfig。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| ConfigItem | String | 是 | 配置项 示例值:dlc.query.execution.timeout |
| ConfigValue | String | 是 | 配置值 示例值:360 |
DataEngineImageSessionParameter
集群Session配置信息.
被如下接口引用:DescribeDataEngineSessionParameters。
| 名称 | 类型 | 描述 |
|---|---|---|
| ParameterId | String | 配置id 示例值:d3018ad4-9a7e-4f64-a3f4-f38507c69742 |
| ChildImageVersionId | String | 小版本镜像ID 示例值:d30dfgsf4-9a7e-4f64-a3f4-f38507c69742 |
| EngineType | String | 集群类型:SparkSQL/PrestoSQL/SparkBatch 示例值:SparkSQL |
| KeyName | String | 参数key 示例值:spark.sql.shuffle.partitions |
| KeyDescription | String | Key描述信息 注意:此字段可能返回 null,表示取不到有效值。 示例值:默认分区数。 |
| ValueType | String | value类型 示例值:string |
| ValueLengthLimit | String | value长度限制 注意:此字段可能返回 null,表示取不到有效值。 示例值:100 |
| ValueRegexpLimit | String | value正则限制 注意:此字段可能返回 null,表示取不到有效值。 示例值:[0-9]+$ |
| ValueDefault | String | value默认值 注意:此字段可能返回 null,表示取不到有效值。 示例值:200 |
| IsPublic | Integer | 是否为公共版本:1:公共;2:私有 示例值:1 |
| ParameterType | Integer | 配置类型:1:session配置(默认);2:common配置;3:cluster配置 示例值:1 |
| SubmitMethod | String | 提交方式:User(用户)、BackGround(后台) 示例值:User |
| Operator | String | 操作者 注意:此字段可能返回 null,表示取不到有效值。 示例值:admin |
| InsertTime | String | 插入时间 示例值:2020-01-01 01:01:01 |
| UpdateTime | String | 更新时间 示例值:2020-01-01 01:01:01 |
DataEngineImageVersion
集群大版本镜像信息。
被如下接口引用:DescribeDataEngineImageVersions。
| 名称 | 类型 | 描述 |
|---|---|---|
| ImageVersionId | String | 镜像大版本ID 示例值:d3018ad4-9a7e-4f64-a3f4-f38507c69742 |
| ImageVersion | String | 镜像大版本名称 示例值:SuperSQL |
| Description | String | 镜像大版本描述 示例值:测试版本 |
| IsPublic | Integer | 是否为公共版本:1:公共;2:私有 示例值:1 |
| EngineType | String | 集群类型:SparkSQL/PrestoSQL/SparkBatch 示例值:SparkSQL |
| IsSharedEngine | Integer | 版本状态:1:初始化;2:上线;3:下线 示例值:1 |
| State | Integer | 版本状态:1:初始化;2:上线;3:下线 示例值:2 |
| InsertTime | String | 插入时间 示例值:2020-01-01 01:01:01 |
| UpdateTime | String | 更新时间 示例值:2020-01-01 01:01:01 |
DataEngineInfo
DataEngine详细信息
被如下接口引用:DescribeDataEngine, DescribeDataEngines, DescribeDatasourceConnection。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| DataEngineName | String | 是 | DataEngine名称 示例值:shared_presto |
| EngineType | String | 是 | 引擎类型 spark/presto 示例值:presto |
| ClusterType | String | 是 | 集群资源类型 spark_private/presto_private/presto_cu/spark_cu 示例值:presto_private |
| QuotaId | String | 否 | 引用ID 示例值:**** |
| State | Integer | 否 | 数据引擎状态 -2已删除 -1失败 0初始化中 1挂起 2运行中 3准备删除 4删除中 示例值:1 |
| CreateTime | Integer | 否 | 创建时间 示例值:1635320563 |
| UpdateTime | Integer | 否 | 更新时间 示例值:1635320563 |
| Size | Integer | 否 | 集群规格 注意:此字段可能返回 null,表示取不到有效值。 示例值:64 |
| Mode | Integer | 否 | 计费模式 0共享模式 1按量计费 2包年包月 示例值:0 |
| MinClusters | Integer | 否 | 最小集群数 注意:此字段可能返回 null,表示取不到有效值。 示例值:0 |
| MaxClusters | Integer | 否 | 最大集群数 注意:此字段可能返回 null,表示取不到有效值。 示例值:10 |
| AutoResume | Boolean | 否 | 是否自动恢复 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
| SpendAfter | Integer | 否 | 自动恢复时间 注意:此字段可能返回 null,表示取不到有效值。 示例值:10 |
| CidrBlock | String | 否 | 集群网段 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.255.252.0/22 |
| DefaultDataEngine | Boolean | 否 | 是否为默认引擎 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
| Message | String | 否 | 返回信息 注意:此字段可能返回 null,表示取不到有效值。 示例值:测试资源 |
| DataEngineId | String | 否 | 引擎id 示例值:02345495-cfe0-461c-8c3d-5715d03feda4 |
| SubAccountUin | String | 否 | 操作者 示例值:**** |
| ExpireTime | String | 否 | 到期时间 示例值:2022-03-16 10:41:03 |
| IsolatedTime | String | 否 | 隔离时间 示例值:2022-03-16 10:41:03 |
| ReversalTime | String | 否 | 冲正时间 示例值:2022-03-16 10:41:03 |
| UserAlias | String | 否 | 用户名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:testname |
| TagList | Array of TagInfo | 否 | 标签对集合 注意:此字段可能返回 null,表示取不到有效值。 |
| Permissions | Array of String | 否 | 引擎拥有的权限 注意:此字段可能返回 null,表示取不到有效值。 示例值:["USE"] |
| AutoSuspend | Boolean | 否 | 是否自定挂起集群:false(默认):不自动挂起、true:自动挂起 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
| CrontabResumeSuspend | Integer | 否 | 定时启停集群策略:0(默认):关闭定时策略、1:开启定时策略(注:定时启停策略与自动挂起策略互斥) 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
| CrontabResumeSuspendStrategy | CrontabResumeSuspendStrategy | 否 | 定时启停策略,复杂类型:包含启停时间、挂起集群策略 注意:此字段可能返回 null,表示取不到有效值。 |
| EngineExecType | String | 否 | 引擎执行任务类型,有效值:SQL/BATCH 注意:此字段可能返回 null,表示取不到有效值。 示例值:SQL |
| RenewFlag | Integer | 否 | 自动续费标志,0,初始状态,默认不自动续费,若用户有预付费不停服特权,自动续费。1:自动续费。2:明确不自动续费 注意:此字段可能返回 null,表示取不到有效值。 示例值:0 |
| AutoSuspendTime | Integer | 否 | 集群自动挂起时间 注意:此字段可能返回 null,表示取不到有效值。 示例值:10 |
| NetworkConnectionSet | Array of NetworkConnection | 否 | 网络连接配置 注意:此字段可能返回 null,表示取不到有效值。 |
| UiURL | String | 否 | ui的跳转地址 注意:此字段可能返回 null,表示取不到有效值。 示例值:dlc-xxx.com |
| ResourceType | String | 否 | 引擎的资源类型 注意:此字段可能返回 null,表示取不到有效值。 示例值:Standard_CU |
| ImageVersionId | String | 否 | 集群镜像版本ID 注意:此字段可能返回 null,表示取不到有效值。 示例值:7ac9cc78-bc95-440f-9768-4f4a79048755 |
| ChildImageVersionId | String | 否 | 集群镜像小版本ID 注意:此字段可能返回 null,表示取不到有效值。 示例值:772f03ca-92ed-4f02-aaa2-0c26b0818ec4 |
| ImageVersionName | String | 否 | 集群镜像版本名字 注意:此字段可能返回 null,表示取不到有效值。 示例值:SuperSQL-S 1.0 |
| StartStandbyCluster | Boolean | 否 | 是否开启备集群 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
| ElasticSwitch | Boolean | 否 | spark jar 包年包月集群是否开启弹性 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
| ElasticLimit | Integer | 否 | spark jar 包年包月集群弹性上限 注意:此字段可能返回 null,表示取不到有效值。 示例值:0 |
| DefaultHouse | Boolean | 否 | 是否为默认引擎 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
| MaxConcurrency | Integer | 否 | 单个集群任务最大并发数 注意:此字段可能返回 null,表示取不到有效值。 示例值:5 |
| TolerableQueueTime | Integer | 否 | 任务排队上限时间 注意:此字段可能返回 null,表示取不到有效值。 示例值:1000 |
| UserAppId | Integer | 否 | 用户appid 注意:此字段可能返回 null,表示取不到有效值。 示例值:125111081 |
| UserUin | String | 否 | 用户uin 注意:此字段可能返回 null,表示取不到有效值。 示例值:1000****4787 |
| SessionResourceTemplate | SessionResourceTemplate | 否 | SessionResourceTemplate 注意:此字段可能返回 null,表示取不到有效值。 |
| AutoAuthorization | Boolean | 否 | 自动授权开关 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
| EngineGeneration | String | 否 | 引擎版本,支持Native/SuperSQL 注意:此字段可能返回 null,表示取不到有效值。 示例值:Native |
| EngineTypeDetail | String | 否 | 引擎详细类型,支持:SparkSQL/SparkBatch/PrestoSQL/Kyuubi 注意:此字段可能返回 null,表示取不到有效值。 示例值:SparkSQL |
| EngineNetworkId | String | 否 | 引擎网络ID 注意:此字段可能返回 null,表示取不到有效值。 示例值:Engine-Network-xxx |
| EngineResourceGroupCount | Integer | 否 | 标准引擎关联的资源组个数 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
| EngineResourceUsedCU | Integer | 否 | 引擎当前使用量(Cu) 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
| AccessInfos | Array of AccessInfo | 否 | 引擎的访问信息 注意:此字段可能返回 null,表示取不到有效值。 |
| EngineNetworkName | String | 否 | 引擎所在网络名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:default-network |
| IsPoolMode | String | 否 | 是否使用预留池 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
| IsSupportAI | Boolean | 否 | 是否支持AI,false: 不支持;true:支持 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
| GatewayId | String | 否 | 网关id 注意:此字段可能返回 null,表示取不到有效值。 示例值:dataengine-xxx |
| GatewayState | Integer | 否 | 网关状态 注意:此字段可能返回 null,表示取不到有效值。 示例值:2 |
| IsAIGateway | Boolean | 否 | 是否能执行AI任务 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
| IsAIEngine | Integer | 否 | 1:AI引擎,0:非AI引擎 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
| ScheduleElasticityConf | ScheduleElasticityConf | 否 | 引擎资源弹性伸缩策略 |
DataEngineScaleInfo
引擎规格详情
被如下接口引用:DescribeDataEnginesScaleDetail。
| 名称 | 类型 | 描述 |
|---|---|---|
| DataEngineId | String | 引擎ID 示例值:dataengine-mock |
| DataEngineName | String | 引擎名称 示例值:dlc_engine |
| ScaleDetail | Array of DataEngineScaleInfoDetail | 引擎规格详情 示例值: [ { "StartTime": "2024-06-06 12:00:00", "EndTime": "2024-06-06 13:00:00", "CU": 0 } ] |
DataEngineScaleInfoDetail
引擎规格详情
被如下接口引用:DescribeDataEnginesScaleDetail。
| 名称 | 类型 | 描述 |
|---|---|---|
| StartTime | String | 统计开始时间,格式为:yyyy-MM-dd HH:mm:ss 示例值:2024-06-06 12:00:00 |
| EndTime | String | 统计结束时间,格式为:yyyy-MM-dd HH:mm:ss 示例值:2024-06-06 13:00:00 |
| CU | Integer | 当前统计时间段,引擎规格 示例值:16 |
DataFormat
数据表数据格式。
被如下接口引用:CreateTable。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| TextFile | TextFile | 否 | 文本格式,TextFile。 注意:此字段可能返回 null,表示取不到有效值。 |
| CSV | CSV | 否 | 文本格式,CSV。 注意:此字段可能返回 null,表示取不到有效值。 |
| Json | Other | 否 | 文本格式,Json。 注意:此字段可能返回 null,表示取不到有效值。 |
| Parquet | Other | 否 | Parquet格式 注意:此字段可能返回 null,表示取不到有效值。 |
| ORC | Other | 否 | ORC格式 注意:此字段可能返回 null,表示取不到有效值。 |
| AVRO | Other | 否 | AVRO格式 注意:此字段可能返回 null,表示取不到有效值。 |
DataGovernPolicy
数据治理规则
被如下接口引用:DescribeDatabases。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| RuleType | String | 否 | 治理规则类型,Customize: 自定义;Intelligence: 智能治理 示例值:Customize |
| GovernEngine | String | 否 | 治理引擎 示例值:DataEngine- |
DataMaskStrategy
数据脱敏策略信息
被如下接口引用:DescribeDataMaskStrategies。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| StrategyId | String | 否 | 策略ID 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
| UserAppId | String | 否 | 用户AppId 注意:此字段可能返回 null,表示取不到有效值。 示例值:1232121211 |
| Uin | String | 否 | 用户Uin 注意:此字段可能返回 null,表示取不到有效值。 示例值:1212313121 |
| SubAccountUin | String | 否 | 操作用户子账号uin 注意:此字段可能返回 null,表示取不到有效值。 示例值:1213124121 |
| StrategyName | String | 否 | 策略名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:策略1 |
| StrategyType | String | 否 | MASK_SHOW_FIRST_4; MASK_SHOW_LAST_4;MASK_HASH; MASK_DATE_SHOW_YEAR; MASK_NULL; MASK_DEFAULT 等 注意:此字段可能返回 null,表示取不到有效值。 示例值:MASK_SHOW_FIRST_4 |
| StrategyDesc | String | 否 | 策略描述 注意:此字段可能返回 null,表示取不到有效值。 示例值:描述 |
| Groups | Array of GroupInfo | 否 | 用户组策略列表 注意:此字段可能返回 null,表示取不到有效值。 |
| Users | String | 否 | 用户子账号uin列表,按;拼接 注意:此字段可能返回 null,表示取不到有效值。 示例值:12312314112;1231231231 |
| State | Integer | 否 | 1: 生效中; 0:已删除 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
| CreateTime | Integer | 否 | 策略创建时间,毫秒时间戳 注意:此字段可能返回 null,表示取不到有效值。 示例值:1723106621346 |
| UpdateTime | Integer | 否 | 策略更新时间,毫秒时间戳 注意:此字段可能返回 null,表示取不到有效值。 示例值:1723106621346 |
DataMaskStrategyInfo
数据脱敏策略信息
被如下接口引用:CreateDataMaskStrategy, DescribeNotebookSessionStatementSqlResult, DescribeTable, DescribeTables, QueryResult, UpdateDataMaskStrategy。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| StrategyName | String | 否 | 策略名称 示例值:策略1 |
| StrategyType | String | 否 | MASK_SHOW_FIRST_4; MASK_SHOW_LAST_4;MASK_HASH; MASK_DATE_SHOW_YEAR; MASK_NULL; MASK_DEFAULT 等 示例值:MASK_SHOW_FIRST_4 |
| StrategyDesc | String | 否 | 策略描述 示例值:for testing purpose |
| Groups | Array of GroupInfo | 否 | 用户组策略列表 注意:此字段可能返回 null,表示取不到有效值。 |
| Users | String | 否 | 用户子账号uin列表,按;拼接 示例值:12312314112;1231231231 |
| StrategyId | String | 否 | 策略Id 示例值:1 |
DataMaskStrategyPolicy
数据脱敏策略权限对象
被如下接口引用:AttachDataMaskPolicy。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| PolicyInfo | Policy | 否 | 数据脱敏权限对象 注意:此字段可能返回 null,表示取不到有效值。 |
| DataMaskStrategyId | String | 否 | 数据脱敏策略ID 注意:此字段可能返回 null,表示取不到有效值。 示例值:1123-12a-31231 |
| ColumnType | String | 否 | 绑定字段类型 注意:此字段可能返回 null,表示取不到有效值。 示例值:int |
DataSourceInfo
数据源详细信息
被如下接口引用:AssociateDatasourceHouse。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| InstanceId | String | 否 | 数据源实例的唯一ID 注意:此字段可能返回 null,表示取不到有效值。 示例值:datasource-test |
| InstanceName | String | 否 | 数据源的名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:test_datasource |
| JdbcUrl | String | 否 | 数据源的JDBC访问链接 注意:此字段可能返回 null,表示取不到有效值。 示例值:jdbc:postgresql://ip:port/ |
| User | String | 否 | 用于访问数据源的用户名 注意:此字段可能返回 null,表示取不到有效值。 示例值:root |
| Password | String | 否 | 数据源访问密码,需要base64编码 注意:此字段可能返回 null,表示取不到有效值。 示例值:xaskdowq+= |
| Location | DatasourceConnectionLocation | 否 | 数据源的VPC和子网信息 注意:此字段可能返回 null,表示取不到有效值。 |
| DbName | String | 否 | 默认数据库名 注意:此字段可能返回 null,表示取不到有效值。 示例值:default |
DatabaseInfo
数据库对象
被如下接口引用:CreateDatabase。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| DatabaseName | String | 是 | 数据库名称,长度0~128,支持数字、字母下划线,不允许数字大头,统一转换为小写。 示例值:database1 |
| Comment | String | 否 | 数据库描述信息,长度 0~500。 注意:此字段可能返回 null,表示取不到有效值。 示例值:create by zhangsan |
| Properties | Array of Property | 否 | 数据库属性列表。 注意:此字段可能返回 null,表示取不到有效值。 |
| Location | String | 否 | 数据库cos路径 示例值:cosn:// |
DatabaseResponseInfo
数据库对象
被如下接口引用:DescribeDatabases。
| 名称 | 类型 | 描述 |
|---|---|---|
| DatabaseName | String | 数据库名称。 示例值:database1 |
| Comment | String | 数据库描述信息,长度 0~256。 示例值:create by zhangsan |
| Properties | Array of Property | 允许针对数据库的属性元数据信息进行指定。 注意:此字段可能返回 null,表示取不到有效值。 |
| CreateTime | String | 数据库创建时间戳,单位:s。 注意:此字段可能返回 null,表示取不到有效值。 示例值:1611646963 |
| ModifiedTime | String | 数据库更新时间戳,单位:s。 注意:此字段可能返回 null,表示取不到有效值。 示例值:1611646963 |
| Location | String | cos存储路径 示例值:cosn://test |
| UserAlias | String | 建库用户昵称 示例值:testUser |
| UserSubUin | String | 建库用户ID 示例值:100019878767 |
| GovernPolicy | DataGovernPolicy | 数据治理配置项 注意:此字段可能返回 null,表示取不到有效值。 |
| DatabaseId | String | 数据库ID(无效字段) 示例值:21903 |
DatasourceConnectionConfig
数据源属性
被如下接口引用:AssociateDatasourceHouse, DescribeDatasourceConnection。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Mysql | MysqlInfo | 否 | Mysql数据源连接的属性 注意:此字段可能返回 null,表示取不到有效值。 |
| Hive | HiveInfo | 否 | Hive数据源连接的属性 注意:此字段可能返回 null,表示取不到有效值。 |
| Kafka | KafkaInfo | 否 | Kafka数据源连接的属性 注意:此字段可能返回 null,表示取不到有效值。 |
| OtherDatasourceConnection | OtherDatasourceConnection | 否 | 其他数据源连接的属性 注意:此字段可能返回 null,表示取不到有效值。 |
| PostgreSql | DataSourceInfo | 否 | PostgreSQL数据源连接的属性 注意:此字段可能返回 null,表示取不到有效值。 |
| SqlServer | DataSourceInfo | 否 | SQLServer数据源连接的属性 注意:此字段可能返回 null,表示取不到有效值。 |
| ClickHouse | DataSourceInfo | 否 | ClickHouse数据源连接的属性 注意:此字段可能返回 null,表示取不到有效值。 |
| Elasticsearch | ElasticsearchInfo | 否 | Elasticsearch数据源连接的属性 注意:此字段可能返回 null,表示取不到有效值。 |
| TDSQLPostgreSql | DataSourceInfo | 否 | TDSQL-PostgreSQL数据源连接的属性 注意:此字段可能返回 null,表示取不到有效值。 |
| TCHouseD | TCHouseD | 否 | Doris数据源连接的属性 注意:此字段可能返回 null,表示取不到有效值。 |
| TccHive | TccHive | 否 | TccHive数据目录连接信息 |
DatasourceConnectionInfo
数据源信息
被如下接口引用:DescribeDatasourceConnection。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Id | Integer | 是 | 数据源数字Id 示例值:42 |
| DatasourceConnectionId | String | 是 | 数据源字符串Id 示例值:datasource-xxx |
| DatasourceConnectionName | String | 是 | 数据源名称 示例值:DataLakeCatalog |
| DatasourceConnectionDesc | String | 是 | 数据源描述 示例值:测试数据源 |
| DatasourceConnectionType | String | 是 | 数据源类型,支持DataLakeCatalog、IcebergCatalog、Result、Mysql、HiveCos、HiveHdfs 示例值:DataLakeCatalog |
| DatasourceConnectionConfig | DatasourceConnectionConfig | 是 | 数据源属性 注意:此字段可能返回 null,表示取不到有效值。 |
| State | Integer | 是 | 数据源状态:0(初始化)、1(成功)、-1(已删除)、-2(失败)、-3(删除中) 示例值:0 |
| Region | String | 是 | 地域 示例值:ap-beijjing |
| AppId | String | 是 | 用户AppId 示例值:123xxx789 |
| CreateTime | String | 是 | 数据源创建时间 示例值:1734570843 |
| UpdateTime | String | 是 | 数据源最近一次更新时间 示例值:1734570843 |
| Message | String | 是 | 数据源同步失败原因 示例值:success |
| DataEngines | Array of DataEngineInfo | 否 | 数据源绑定的计算引擎信息 注意:此字段可能返回 null,表示取不到有效值。 |
| UserAlias | String | 否 | 创建人 示例值:user |
| NetworkConnectionSet | Array of NetworkConnection | 否 | 网络配置列表 注意:此字段可能返回 null,表示取不到有效值。 |
| ConnectivityState | Integer | 否 | 连通性状态:0(未测试,默认)、1(正常)、2(失败) 示例值:0 |
| ConnectivityTips | String | 否 | 连通性测试提示信息 示例值:测试成功 |
| CustomConfig | Array of CustomConfig | 否 | 自定义参数 |
| AllowRollback | Boolean | 否 | 是否允许回退 示例值:true |
DatasourceConnectionLocation
数据源连接的网络信息
被如下接口引用:AssociateDatasourceHouse。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| VpcId | String | 是 | 数据连接所在Vpc实例Id,如“vpc-azd4dt1c”。 示例值:“vpc-azd4dt1c” |
| VpcCidrBlock | String | 是 | Vpc的IPv4 CIDR 示例值:“10.0.0.0/24” |
| SubnetId | String | 是 | 数据连接所在子网的实例Id,如“subnet-bthucmmy” 示例值:“subnet-bthucmmy” |
| SubnetCidrBlock | String | 是 | Subnet的IPv4 CIDR 示例值:“10.0.0.0/24” |
DependencyPackage
任务依赖包信息
被如下接口引用:CreateSparkApp, ModifySparkApp。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| PackageSource | String | 否 | 依赖包类型 注意:此字段可能返回 null,表示取不到有效值。 示例值:Maven |
| MavenPackage | String | 否 | 依赖包信息 注意:此字段可能返回 null,表示取不到有效值。 示例值:com.hedera.hashgraph:hapi:0.61.3 |
| MavenRepository | String | 否 | 依赖包仓库 注意:此字段可能返回 null,表示取不到有效值。 示例值:https://mirrors.cloud.tencent.com/nexus/repository/maven-public |
| MavenExclusion | String | 否 | maven包exclusion信息 注意:此字段可能返回 null,表示取不到有效值。 示例值:json:json |
| PypiPackage | String | 否 | pypi包信息 注意:此字段可能返回 null,表示取不到有效值。 示例值:requests |
| PypiIndexUrl | String | 否 | pypi索引地址 注意:此字段可能返回 null,表示取不到有效值。 示例值:https://pypi.org/simple |
| PackageType | String | 否 | 文件包的类型 注意:此字段可能返回 null,表示取不到有效值。 示例值:jar |
| PackagePath | String | 否 | 文件包的路径 注意:此字段可能返回 null,表示取不到有效值。 示例值:cosn://a/b/c.jar |
ElasticPlan
引擎资源弹性伸缩计划
被如下接口引用:UpdateDataEngine。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| MinElasticClusters | Integer | 否 | 最小集群数 示例值:1 |
| MaxElasticClusters | Integer | 否 | 最大集群数 示例值:10 |
| TolerableQueueTime | Integer | 否 | 最大排队时间 示例值:10 |
| StartTime | String | 否 | 开始时间,Once格式:yyyy-MM-dd HH:mm:ss; 非Once格式: HH:mm:ss 示例值:21:00:00 |
| EndTime | String | 否 | 结束时间,Once格式:yyyy-MM-dd HH:mm:ss; 非Once格式: HH:mm:ss 示例值:22:00:00 |
ElasticsearchInfo
Elasticsearch数据源的详细信息
被如下接口引用:AssociateDatasourceHouse。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| InstanceId | String | 否 | 数据源ID 注意:此字段可能返回 null,表示取不到有效值。 示例值:datasource-test |
| InstanceName | String | 否 | 数据源名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:test_datasource |
| User | String | 否 | 用户名 注意:此字段可能返回 null,表示取不到有效值。 示例值:root |
| Password | String | 否 | 密码,需要base64编码 注意:此字段可能返回 null,表示取不到有效值。 示例值:asdfcjaidf-= |
| Location | DatasourceConnectionLocation | 否 | 数据源的VPC和子网信息 注意:此字段可能返回 null,表示取不到有效值。 |
| DbName | String | 否 | 默认数据库名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:default |
| ServiceInfo | Array of IpPortPair | 否 | 访问Elasticsearch的ip、端口信息 注意:此字段可能返回 null,表示取不到有效值。 |
EngineNetworkInfo
引擎网络信息
被如下接口引用:DescribeEngineNetworks。
| 名称 | 类型 | 描述 |
|---|---|---|
| EngineNetworkName | String | 引擎网络名字 注意:此字段可能返回 null,表示取不到有效值。 |
| EngineNetworkState | Integer | 引擎网络状态,0--初始化,2--可用,-1--已删除 注意:此字段可能返回 null,表示取不到有效值。 |
| EngineNetworkCidr | String | 引擎网络cidr 注意:此字段可能返回 null,表示取不到有效值。 |
| EngineNetworkId | String | 引擎网络ID 注意:此字段可能返回 null,表示取不到有效值。 |
| CreateTime | Integer | 创建时间 注意:此字段可能返回 null,表示取不到有效值。 |
| UpdateTime | Integer | 更新时间 注意:此字段可能返回 null,表示取不到有效值。 |
| PrivateLinkNumber | Integer | 私有连接个数 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
| EngineNumber | Integer | 计算引擎个数 注意:此字段可能返回 null,表示取不到有效值。 示例值:2 |
| GateWayInfo | Array of GatewayInfo | 网关信息 注意:此字段可能返回 null,表示取不到有效值。 |
EngineResourceGroupConfigPair
引擎资源组参数 配置项
被如下接口引用:CreateStandardEngineResourceGroup, DescribeStandardEngineResourceGroupConfigInfo。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| ConfigItem | String | 是 | 配置项 注意:此字段可能返回 null,表示取不到有效值。 |
| ConfigValue | String | 是 | 配置项的值 注意:此字段可能返回 null,表示取不到有效值。 |
EngineSessionImage
TensorFlow、Pytorch、SK-learn镜像信息列表
被如下接口引用:DescribeSessionImageVersion。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| SparkImageId | String | 否 | Spark镜像唯一id 注意:此字段可能返回 null,表示取不到有效值。 |
| SparkImageVersion | String | 否 | Spark镜像版本名称 注意:此字段可能返回 null,表示取不到有效值。 |
| SparkImageType | Integer | 否 | 小版本镜像类型.1:TensorFlow、2:Pytorch、3:SK-learn 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
| SparkImageTag | String | 否 | 镜像地址 注意:此字段可能返回 null,表示取不到有效值。 |
Execution
SQL语句对象
被如下接口引用:CreateDatabase, CreateTable, GenerateCreateMangedTableSql。
| 名称 | 类型 | 描述 |
|---|---|---|
| SQL | String | 自动生成SQL语句。 示例值:CREATE DATABASE test;; |
FavorInfo
FavorInfo
被如下接口引用:GetOptimizerPolicy。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Priority | Integer | 否 | 优先事项 示例值:2147483647 |
| Catalog | String | 否 | Catalog名称 示例值:DataLakeCatalog |
| DataBase | String | 否 | DataBase名称 示例值:dlc-db |
| Table | String | 否 | Table名称 示例值:dlc-table |
Filter
查询列表过滤条件参数
被如下接口引用:DescribeDLCCatalogAccess, DescribeDataEngines, DescribeDataMaskStrategies, DescribeDatasourceConnection, DescribeEngineNetworks, DescribeNotebookSessions, DescribeScripts, DescribeSparkAppJobs, DescribeSparkAppTasks, DescribeStandardEngineResourceGroupConfigInfo, DescribeStandardEngineResourceGroups, DescribeTables, DescribeTablesName, DescribeTaskLog, DescribeTasks, DescribeTasksAnalysis, DescribeTasksCostInfo, DescribeTasksOverview, DescribeUserDataEngineConfig, DescribeUserInfo, DescribeUsers, DescribeViews, DescribeWorkGroupInfo, DescribeWorkGroups, ListTaskJobLogDetail, QueryTaskCostDetail。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Name | String | 是 | 属性名称, 若存在多个Filter时,Filter间的关系为逻辑或(OR)关系。 示例值:house_name |
| Values | Array of String | 是 | 属性值, 若同一个Filter存在多个Values,同一Filter下Values间的关系为逻辑或(OR)关系。 示例值:dlc-engine |
GatewayInfo
网关基础信息,包括id,名称,规格和状态
被如下接口引用:DescribeEngineNetworks。
| 名称 | 类型 | 描述 |
|---|---|---|
| GatewayId | String | 网关ID, 注意:此字段可能返回 null,表示取不到有效值。 示例值:DataEngine-xxx |
| GatewayName | String | 网关名称,全局唯一 注意:此字段可能返回 null,表示取不到有效值。 示例值:default-gateway-1 |
| Size | Integer | 网关的规格 注意:此字段可能返回 null,表示取不到有效值。 示例值:2 |
| State | Integer | -2已删除 -1失败 0初始化中 1挂起 2运行中 3准备删除 4删除中 5挂起中 6启动中 7隔离中 8隔离 9续费中 10变配中 11冲正中 注意:此字段可能返回 null,表示取不到有效值。 示例值:网关状态 |
| PayMode | Integer | 计费模式 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
| Mode | Integer | 模式 注意:此字段可能返回 null,表示取不到有效值。 示例值:2 |
GroupInfo
数据脱敏用户组信息
被如下接口引用:CreateDataMaskStrategy, DescribeDataMaskStrategies, UpdateDataMaskStrategy。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| WorkGroupId | Integer | 否 | 用户组ID 示例值:212123 |
| StrategyType | String | 否 | 策略类型 示例值:MASK_SHOW_FIRST_4; MASK_SHOW_LAST_4;MASK_HASH; MASK_DATE_SHOW_YEAR; MASK_NULL; MASK_DEFAULT 等 |
HiveInfo
hive类型数据源的信息
被如下接口引用:AssociateDatasourceHouse。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| MetaStoreUrl | String | 是 | hive metastore的地址 示例值:thrift://127.0.0.1:9083 |
| Type | String | 是 | hive数据源类型,代表数据储存的位置,COS或者HDFS 示例值:COS |
| Location | DatasourceConnectionLocation | 是 | 数据源所在的私有网络信息 |
| User | String | 否 | 如果类型为HDFS,需要传一个用户名 示例值:hadoop |
| HighAvailability | Boolean | 否 | 如果类型为HDFS,需要选择是否高可用 示例值:false |
| BucketUrl | String | 否 | 如果类型为COS,需要填写COS桶连接 示例值:cosn://bucketname/path |
| HdfsProperties | String | 否 | json字符串。如果类型为HDFS,需要填写该字段 示例值:fs.defaultFS=hdfs://ip:port |
| Mysql | MysqlInfo | 否 | Hive的元数据库信息 注意:此字段可能返回 null,表示取不到有效值。 |
| InstanceId | String | 否 | emr集群Id 注意:此字段可能返回 null,表示取不到有效值。 示例值:emr-adp0c9v8 |
| InstanceName | String | 否 | emr集群名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:testEmr |
| HiveVersion | String | 否 | EMR集群中hive组件的版本号 示例值:2.3.7 |
| KerberosInfo | KerberosInfo | 否 | Kerberos详细信息 注意:此字段可能返回 null,表示取不到有效值。 |
| KerberosEnable | Boolean | 否 | 是否开启Kerberos 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
HiveTablePartition
Hive表分区信息
被如下接口引用:DescribeTablePartitions。
| 名称 | 类型 | 描述 |
|---|---|---|
| Partition | String | 分区信息名称 示例值:pt=20240520 |
| Records | Integer | 分区记录数 示例值:1000 |
| DataFileStorage | Integer | 分区数据文件存储量 示例值:100 |
| CreateTime | String | 分区创建时间 示例值:2025-06-03T22:07:11.733+08:00 |
| ModifiedTime | String | 分区schema更新时间 示例值:2025-06-03T22:07:11.733+08:00 |
| LastAccessTime | String | 最后一次分区更新的访问时间 示例值:2025-06-03T22:07:11.733+08:00 |
HouseEventsInfo
集群事件日志
被如下接口引用:DescribeDataEngineEvents。
| 名称 | 类型 | 描述 |
|---|---|---|
| Time | Array of String | 事件时间 注意:此字段可能返回 null,表示取不到有效值。 示例值:2025-01-16 13:18:45 |
| EventsAction | Array of String | 事件类型 注意:此字段可能返回 null,表示取不到有效值。 示例值:["集群开始扩容"] |
| ClusterInfo | Array of String | 集群信息 注意:此字段可能返回 null,表示取不到有效值。 示例值:["缩容前:集群个数1个,集群规模256CU,缩容后:集群个数0个,集群规模256CU"] |
IcebergTablePartition
Iceberg表分区信息
被如下接口引用:DescribeTablePartitions。
| 名称 | 类型 | 描述 |
|---|---|---|
| Partition | String | 分区信息名称 示例值:pt=20240520 |
| Records | Integer | 分区记录数 示例值:1000 |
| DataFileSize | Integer | 分区数据文件数量 示例值:100 |
| DataFileStorage | Integer | 分区数据文件存储量 示例值:100 |
| CreateTime | String | 分区创建时间 示例值:2025-06-03T22:07:11.733+08:00 |
| UpdateTime | String | 分区更新时间 示例值:2025-06-03T22:07:11.733+08:00 |
| LastUpdateSnapshotId | String | 最后一次分区更新的快照ID 示例值:2025-06-03T22:07:11.733+08:00 |
| Location | LocationInfo | 分区的location |
IpPortPair
ip端口对信息
被如下接口引用:AssociateDatasourceHouse。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Ip | String | 否 | ip信息 注意:此字段可能返回 null,表示取不到有效值。 示例值:192...* |
| Port | Integer | 否 | 端口信息 注意:此字段可能返回 null,表示取不到有效值。 示例值:8080 |
JobLogResult
日志详情
被如下接口引用:DescribeTaskLog, ListTaskJobLogDetail。
| 名称 | 类型 | 描述 |
|---|---|---|
| Time | Integer | 日志时间戳,毫秒 注意:此字段可能返回 null,表示取不到有效值。 示例值:1608794854001 |
| TopicId | String | 日志topic id 注意:此字段可能返回 null,表示取不到有效值。 示例值:topic-id-1 |
| TopicName | String | 日志topic name 注意:此字段可能返回 null,表示取不到有效值。 示例值:topic-name-1 |
| LogJson | String | 日志内容,json字符串 注意:此字段可能返回 null,表示取不到有效值。 示例值:25/01/16 16:13:06 INFO CosFileSystem: begin to close cos file system |
| PkgLogId | String | 日志ID 注意:此字段可能返回 null,表示取不到有效值。 示例值:655368 |
KVPair
配置格式
被如下接口引用:AddDMSPartitions, AlterDMSDatabase, AlterDMSPartition, AlterDMSTable, CancelTasks, CreateDMSDatabase, CreateDMSTable, CreateExportTask, CreateImportTask, CreateNotebookSession, CreateNotebookSessionStatement, CreateSparkAppTask, CreateSparkSessionBatchSQL, CreateSparkSubmitTask, CreateTask, CreateTasks, CreateTasksInOrder, DescribeDMSDatabase, DescribeDMSPartitions, DescribeDMSTable, DescribeNotebookSession, DescribeNotebookSessionStatement, DescribeSparkSessionBatchSqlLog, DropDMSTable。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Key | String | 是 | 配置的key值 示例值:format-version |
| Value | String | 是 | 配置的value值 示例值:1 |
KafkaInfo
Kafka连接信息
被如下接口引用:AssociateDatasourceHouse。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| InstanceId | String | 是 | kafka实例Id 示例值:*** |
| Location | DatasourceConnectionLocation | 是 | kafka数据源的网络信息 示例值:{"VpcId":"vpc-***","VpcCidrBlock":"10.0.0.0/16","SubnetId":"subn |
KerberosInfo
Kerberos详细信息
被如下接口引用:AssociateDatasourceHouse。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Krb5Conf | String | 否 | Krb5Conf文件值 示例值:文件内容 |
| KeyTab | String | 否 | KeyTab文件值 示例值:文件内容 |
| ServicePrincipal | String | 否 | 服务主体 示例值:Kerberos principa |
LakeFileSystemToken
LakeFileSystem使用的临时token
被如下接口引用:DescribeLakeFsTaskResult。
| 名称 | 类型 | 描述 |
|---|---|---|
| SecretId | String | Token使用的临时密钥的ID 示例值:test_id |
| SecretKey | String | Token使用的临时密钥 示例值:test_key |
| Token | String | Token信息 示例值:test_token |
| ExpiredTime | Integer | 过期时间 示例值:1737016166 |
| IssueTime | Integer | 颁布时间 示例值:1737014366 |
LakeFsInfo
描述DLC托管存储基本信息
被如下接口引用:DescribeLakeFsInfo。
| 名称 | 类型 | 描述 |
|---|---|---|
| Name | String | 托管存储名称 示例值:dlc_bkt |
| Type | String | 托管存储类型 示例值:user_chdfs |
| SpaceUsedSize | Float | 容量 示例值:1.0 |
| CreateTimeStamp | Integer | 创建时候的时间戳 示例值:1 |
| DefaultBucket | Integer | 是否是用户默认桶,0:默认桶,1:非默认桶 示例值:0 |
| ShortName | String | 托管存储short name 示例值:DLC-Storage-123456 |
| Description | String | 桶描述信息 示例值:test bucket |
| Status | String | 托管桶状态,当前取值为:creating、bind、readOnly、isolate 示例值:creating |
LocationInfo
Location信息结构
被如下接口引用:DescribeTablePartitions。
| 名称 | 类型 | 描述 |
|---|---|---|
| Bucket | String | 桶名称 示例值:my_tb |
| DataLocation | String | location路径 示例值:my_tb/data |
LockComponentInfo
元数据加锁内容
被如下接口引用:LockMetaData。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| DbName | String | 是 | 数据库名称 示例值:db |
| TableName | String | 否 | 表名称 示例值:table |
| Partition | String | 否 | 分区 示例值:part |
| LockType | String | 否 | 锁类型:SHARED_READ、SHARED_WRITE、EXCLUSIVE 示例值:SHARED_READ |
| LockLevel | String | 否 | 锁级别:DB、TABLE、PARTITION 示例值:DB |
| DataOperationType | String | 否 | 锁操作:SELECT,INSERT,UPDATE,DELETE,UNSET,NO_TXN 示例值:SELECT |
| IsAcid | Boolean | 否 | 是否保持Acid 示例值:false |
| IsDynamicPartitionWrite | Boolean | 否 | 是否动态分区写 示例值:false |
MixedTablePartitions
DLC分区信息查询返回数据结构
被如下接口引用:DescribeTablePartitions。
| 名称 | 类型 | 描述 |
|---|---|---|
| TableFormat | String | 数据表格式 示例值:ICEBERG |
| TotalSize | Integer | 分区总数 示例值:100 |
| NextCursor | String | 分页查询的游标信息,在获取下一页信息时需要回传到服务端 示例值:pt=name |
| IcebergPartitions | Array of IcebergTablePartition | iceberg表分区信息 |
| HivePartitions | Array of HiveTablePartition | hive表分区信息 |
MountPointAssociates
绑定融合桶信息
被如下接口引用:CreateCHDFSBindingProduct。
| 名称 | 类型 | 描述 |
|---|---|---|
| BucketId | String | 桶Id 示例值:dlc-**** |
| VpcId | String | vpcId 示例值:vpc-hbaksjzx |
| VpcCidrBlock | String | 子网地址 示例值:10.0.0.0/24 |
| AccessGroupId | String | 权限组Id 示例值:ag-dlcagid |
| AccessRuleId | Integer | 权限规则Id 示例值:1855 |
MysqlInfo
Mysql类型数据源信息
被如下接口引用:AssociateDatasourceHouse。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| JdbcUrl | String | 是 | 连接mysql的jdbc url 示例值:jdbc:mysql://ip:port |
| User | String | 是 | 用户名 示例值:root |
| Password | String | 是 | mysql密码 示例值:** |
| Location | DatasourceConnectionLocation | 是 | mysql数据源的网络信息 |
| DbName | String | 否 | 数据库名称 示例值:MetaDb |
| InstanceId | String | 否 | 数据库实例ID,和数据库侧保持一致 注意:此字段可能返回 null,表示取不到有效值。 示例值:cdb-xxxxx |
| InstanceName | String | 否 | 数据库实例名称,和数据库侧保持一致 注意:此字段可能返回 null,表示取不到有效值。 示例值:mySql |
NetWork
网络配置信息
被如下接口引用:AssociateDatasourceHouse。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| ClbIp | String | 否 | 服务clbip 示例值:127.0.0.1 |
| ClbPort | String | 否 | 服务clbPort 示例值:11808 |
| VpcId | String | 否 | vpc实例id 示例值:vpc-test |
| VpcCidrBlock | String | 否 | vpc网段 示例值:10.0.0.1/12 |
| SubnetId | String | 否 | 子网实例id 示例值:subnet-test |
| SubnetCidrBlock | String | 否 | 子网网段 示例值:10.0.0.1/24 |
NetworkConnection
网络配置
被如下接口引用:DescribeDataEngine, DescribeDataEngines, DescribeDatasourceConnection, DescribeNetworkConnections。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Id | Integer | 否 | 网络配置id 示例值:89876 |
| AssociateId | String | 否 | 网络配置唯一标志符 示例值:e7b3c1f2---- |
| HouseId | String | 否 | 计算引擎id 示例值:DataEngine-0dxxxxbk2 |
| DatasourceConnectionId | String | 否 | 数据源id(已废弃) |
| State | Integer | 否 | 网络配置状态(0-初始化,1-正常) 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
| CreateTime | Integer | 否 | 创建时间 示例值:1732278163 |
| UpdateTime | Integer | 否 | 修改时间 注意:此字段可能返回 null,表示取不到有效值。 示例值:1732278165 |
| Appid | Integer | 否 | 创建用户Appid 注意:此字段可能返回 null,表示取不到有效值。 示例值:131****187 |
| HouseName | String | 否 | 计算引擎名称 示例值:dlc-saprk |
| DatasourceConnectionName | String | 否 | 网络配置名称 示例值:net_dlc-saprk |
| NetworkConnectionType | Integer | 否 | 网络配置类型 注意:此字段可能返回 null,表示取不到有效值。 示例值:4 |
| Uin | String | 否 | 创建用户uin 注意:此字段可能返回 null,表示取不到有效值。 示例值:1000****1843 |
| SubAccountUin | String | 否 | 创建用户SubAccountUin 注意:此字段可能返回 null,表示取不到有效值。 示例值:1000****2111 |
| NetworkConnectionDesc | String | 否 | 网络配置描述 注意:此字段可能返回 null,表示取不到有效值。 示例值:网络配置 |
| DatasourceConnectionVpcId | String | 否 | 数据源vpcid 注意:此字段可能返回 null,表示取不到有效值。 示例值:vpc-nmxxxx |
| DatasourceConnectionSubnetId | String | 否 | 数据源SubnetId 注意:此字段可能返回 null,表示取不到有效值。 示例值:subnet-5roxxxxn |
| DatasourceConnectionCidrBlock | String | 否 | 数据源SubnetId 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.0.0.0/16 |
| DatasourceConnectionSubnetCidrBlock | String | 否 | 数据源SubnetCidrBlock 注意:此字段可能返回 null,表示取不到有效值。 示例值:10.../ |
| EGSupport | Integer | 否 | 支持 eg 示例值:1 |
NotebookSessionInfo
Notebook Session详细信息。
被如下接口引用:DescribeNotebookSession。
| 名称 | 类型 | 描述 |
|---|---|---|
| Name | String | Session名称 示例值:session1 |
| Kind | String | 类型,当前支持:spark、pyspark、sparkr、sql 示例值:spark |
| DataEngineName | String | DLC Spark作业引擎名称 示例值:data_engine_1 |
| Arguments | Array of KVPair | Session相关配置,当前支持:eni、roleArn以及用户指定的配置 注意:此字段可能返回 null,表示取不到有效值。 示例值:["eni":"test_eni"] |
| ProgramDependentFiles | Array of String | 运行程序地址,当前支持:cosn://和lakefs://两种路径 注意:此字段可能返回 null,表示取不到有效值。 示例值:[cosn://xxx] |
| ProgramDependentJars | Array of String | 依赖的jar程序地址,当前支持:cosn://和lakefs://两种路径 注意:此字段可能返回 null,表示取不到有效值。 示例值:[cosn://xxx] |
| ProgramDependentPython | Array of String | 依赖的python程序地址,当前支持:cosn://和lakefs://两种路径 注意:此字段可能返回 null,表示取不到有效值。 示例值:[cosn://xxx] |
| ProgramArchives | Array of String | 依赖的pyspark虚拟环境地址,当前支持:cosn://和lakefs://两种路径 注意:此字段可能返回 null,表示取不到有效值。 示例值:[cosn://xxx] |
| DriverSize | String | 指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu) 示例值:small |
| ExecutorSize | String | 指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu) 示例值:small |
| ExecutorNumbers | Integer | 指定的Executor数量,默认为1 示例值:1 |
| ProxyUser | String | 代理用户,默认为root 示例值:root |
| TimeoutInSecond | Integer | 指定的Session超时时间,单位秒,默认3600秒 示例值:3600 |
| SparkAppId | String | Spark任务返回的AppId 示例值:spark-123 |
| SessionId | String | Session唯一标识 示例值:d3018ad4-9a7e-4f64-a3f4-f38507c69742 |
| State | String | Session状态,包含:not_started(未启动)、starting(已启动)、idle(等待输入)、busy(正在运行statement)、shutting_down(停止)、error(异常)、dead(已退出)、killed(被杀死)、success(正常停止) 示例值:not_started |
| CreateTime | String | Session创建时间 示例值:2006-01-02 15:04:05 |
| AppInfo | Array of KVPair | 其它信息 注意:此字段可能返回 null,表示取不到有效值。 示例值:["sparkUiUrl":"xxx"] |
| SparkUiUrl | String | Spark ui地址 示例值:http://xxx |
| ExecutorMaxNumbers | Integer | 指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于ExecutorNumbers 示例值:1 |
| SessionType | String | session类型,group:资源组下session independent:独立资源session, 不依赖资源组 示例值:group |
| DataEngineId | String | 引擎id 示例值:dataengine-xxx |
| ResourceGroupId | String | 资源组id 示例值:rg-xxx |
| ResourceGroupName | String | 资源组名称 示例值:rg-xxx |
| PodSize | Integer | session,pod大小 示例值:16 |
| PodNumbers | Integer | pod数量 示例值:1 |
NotebookSessionStatementBatchInformation
按批提交Statement运行SQL任务。
被如下接口引用:CreateNotebookSessionStatementSupportBatchSQL, DescribeNotebookSessionStatements。
| 名称 | 类型 | 描述 |
|---|---|---|
| NotebookSessionStatementBatch | Array of NotebookSessionStatementInfo | 任务详情列表 注意:此字段可能返回 null,表示取不到有效值。 示例值:复杂类型 |
| IsAvailable | Boolean | 当前批任务是否运行完成 示例值:true |
| SessionId | String | Session唯一标识 示例值:d3018ad4-9a7e-4f64-a3f4-f38507c69742 |
| BatchId | String | Batch唯一标识 注意:此字段可能返回 null,表示取不到有效值。 示例值:skdelad4-9a7e-4f64-a3f4-f38507c69742 |
NotebookSessionStatementInfo
NotebookSessionStatement详情。
被如下接口引用:CreateNotebookSessionStatement, CreateNotebookSessionStatementSupportBatchSQL, DescribeNotebookSessionStatement, DescribeNotebookSessionStatements。
| 名称 | 类型 | 描述 |
|---|---|---|
| Completed | Integer | 完成时间戳 示例值:1662635695652 |
| Started | Integer | 开始时间戳 示例值:1662635695652 |
| Progress | Float | 完成进度,百分制 示例值:100 |
| StatementId | String | Session Statement唯一标识 示例值:d3018ad4-9a7e-4f64-a3dj-f38507c697dj |
| State | String | Session Statement状态,包含:waiting(排队中)、running(运行中)、available(正常)、error(异常)、cancelling(取消中)、cancelled(已取消) 示例值:running |
| OutPut | StatementOutput | Statement输出信息 注意:此字段可能返回 null,表示取不到有效值。 示例值:复杂类型 |
| BatchId | String | 批任务id 示例值:dks18ad4-9a7e-4f64-a3dj-f38507c697dj |
| Code | String | 运行语句 示例值:select 1; |
| TaskId | String | 任务ID 示例值:dks18ad4-9a7e-4f64-a3dj-f38507c697dj |
NotebookSessions
notebook session列表信息。
被如下接口引用:DescribeNotebookSessions。
| 名称 | 类型 | 描述 |
|---|---|---|
| Kind | String | 类型,当前支持:spark、pyspark、sparkr、sql 示例值:spark |
| SessionId | String | Session唯一标识 示例值:d3018ad4-9a7e-4f64-a3f4-f38507c69742 |
| ProxyUser | String | 代理用户,默认为root 示例值:root |
| State | String | Session状态,包含:not_started(未启动)、starting(已启动)、idle(等待输入)、busy(正在运行statement)、shutting_down(停止)、error(异常)、dead(已退出)、killed(被杀死)、success(正常停止) 示例值:not_started |
| SparkAppId | String | Spark任务返回的AppId 示例值:spark-123 |
| Name | String | Session名称 示例值:session1 |
| CreateTime | String | Session创建时间 示例值:2006-01-02 15:04:05 |
| DataEngineName | String | 引擎名称 示例值:data_engine_1 |
| LastRunningTime | String | 最新的运行时间 示例值:2006-01-02 15:04:05 |
| Creator | String | 创建者 示例值:1000****040 |
| SparkUiUrl | String | spark ui地址 示例值:http://xxx |
| SessionType | String | session类型,group:资源组session independent:独立资源session,不依赖资源组 示例值:group |
| DataEngineId | String | 引擎id 示例值:dataengine-xxx |
| ResourceGroupId | String | 资源组id 示例值:rg-xxx |
| ResourceGroupName | String | 资源组名字 示例值:rg-xxx |
OpendThirdAccessUserInfo
开通了第三方访问的用户信息
被如下接口引用:DescribeThirdPartyAccessUser。
| 名称 | 类型 | 描述 |
|---|---|---|
| Id | Integer | id信息 示例值:5 |
| Uin | String | 用户主UIN 示例值:130****831 |
| AppId | String | 用户AppId 示例值:1000****6626 |
| CreateTime | String | 开通时间 示例值:2024-10-18T15:29:36+08:00 |
OperateEngineResourceGroupFailMessage
操作资源组,返回的操作失败信息
被如下接口引用:LaunchStandardEngineResourceGroups, PauseStandardEngineResourceGroups。
| 名称 | 类型 | 描述 |
|---|---|---|
| EngineResourceGroupName | String | 引擎资源组名称 |
| FailMessage | String | 操作失败的提示信息 |
OptimizerEngineInfo
数据优化引擎信息
被如下接口引用:AddOptimizerEngines。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| HouseName | String | 是 | 引擎资源名称 示例值:test_engine |
| HouseId | String | 是 | 引擎资源ID 示例值:DataEngine-123456 |
| HouseSize | Integer | 否 | 该参数仅针对spark作业引擎有效,用于执行数据优化任务的资源大小,不填时将采用该引擎所有资源 注意:此字段可能返回 null,表示取不到有效值。 示例值:36 |
Other
数据格式其它类型。
被如下接口引用:CreateTable。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Format | String | 否 | 枚举类型,默认值为Json,可选值为[Json, Parquet, ORC, AVRD]之一。 示例值:Json |
OtherCHDFSBinding
非DLC产品CHDFS绑定
被如下接口引用:DescribeOtherCHDFSBindingList。
| 名称 | 类型 | 描述 |
|---|---|---|
| ProductName | String | 产品名称 示例值:dlc |
| SuperUser | Array of String | 用户名称(该字段已废弃) 示例值:root |
| VpcInfo | Array of CHDFSProductVpcInfo | vpc配置信息 示例值:[{"VpcId":"id", "VpcName":"name", "VpcCidrBlock":{}}] |
| IsBind | Boolean | 是否与该桶绑定(该字段已废弃) 示例值:false |
OtherDatasourceConnection
其他数据源
被如下接口引用:AssociateDatasourceHouse。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Location | DatasourceConnectionLocation | 是 | 网络参数 |
Param
对指定参数的更新、增加、删除
被如下接口引用:UpdateStandardEngineResourceGroupConfigInfo。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| ConfigItem | String | 否 | 参数key,例如: 示例值:spark.sql.shuffle.partitions |
| ConfigValue | String | 否 | 参数值 示例值:200 |
| Operate | String | 否 | 下发操作,支持:ADD、DELETE、MODIFY 示例值:ADD |
Partition
数据表分块信息。
被如下接口引用:CreateTable, DescribeTable, DescribeTables。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Name | String | 否 | 分区列名。 示例值:col1 |
| Type | String | 否 | 分区类型。 示例值:string |
| Comment | String | 否 | 对分区的描述。 示例值:create by zhangsan |
| Transform | String | 否 | 隐式分区转换策略 示例值:truncate |
| TransformArgs | Array of String | 否 | 转换策略参数 注意:此字段可能返回 null,表示取不到有效值。 示例值:["3"] |
| CreateTime | Integer | 否 | 创建时间 示例值:100000 |
Policy
权限对象
被如下接口引用:AttachDataMaskPolicy, AttachUserPolicy, AttachWorkGroupPolicy, CreateUser, CreateWorkGroup, DescribeUserInfo, DescribeUsers, DescribeWorkGroupInfo, DescribeWorkGroups, DetachUserPolicy, DetachWorkGroupPolicy, UpdateRowFilter。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Database | String | 是 | 需要授权的数据库名,填 * 代表当前Catalog下所有数据库。当授权类型为管理员级别时,只允许填 “*”,当授权类型为数据连接级别时只允许填空,其他类型下可以任意指定数据库。 示例值:test_database |
| Catalog | String | 是 | 需要授权的数据源名称,管理员级别下只支持填 * (代表该级别全部资源);数据源级别和数据库级别鉴权的情况下,只支持填COSDataCatalog或者*;在数据表级别鉴权下可以填写用户自定义数据源。不填情况下默认为DataLakeCatalog。注意:如果是对用户自定义数据源进行鉴权,DLC能够管理的权限是用户接入数据源的时候提供的账户的子集。 示例值:DataLakeCatalog |
| Table | String | 是 | 需要授权的表名,填 * 代表当前Database下所有表。当授权类型为管理员级别时,只允许填“*”,当授权类型为数据连接级别、数据库级别时只允许填空,其他类型下可以任意指定数据表。 示例值:test_table |
| Operation | String | 是 | 授权的权限操作,对于不同级别的鉴权提供不同操作。管理员权限:ALL,不填默认为ALL;数据连接级鉴权:CREATE;数据库级别鉴权:ALL、CREATE、ALTER、DROP;数据表权限:ALL、SELECT、INSERT、ALTER、DELETE、DROP、UPDATE。注意:在数据表权限下,指定的数据源不为COSDataCatalog的时候,只支持SELECT操作。 示例值:ALL |
| PolicyType | String | 否 | 授权类型,现在支持八种授权类型:ADMIN:管理员级别鉴权 DATASOURCE:数据连接级别鉴权 DATABASE:数据库级别鉴权 TABLE:表级别鉴权 VIEW:视图级别鉴权 FUNCTION:函数级别鉴权 COLUMN:列级别鉴权 ENGINE:数据引擎鉴权。不填默认为管理员级别鉴权。 示例值:ADMIN |
| Function | String | 否 | 需要授权的函数名,填 * 代表当前Catalog下所有函数。当授权类型为管理员级别时,只允许填“*”,当授权类型为数据连接级别时只允许填空,其他类型下可以任意指定函数。 注意:此字段可能返回 null,表示取不到有效值。 示例值:fun1 |
| View | String | 否 | 需要授权的视图,填 * 代表当前Database下所有视图。当授权类型为管理员级别时,只允许填“*”,当授权类型为数据连接级别、数据库级别时只允许填空,其他类型下可以任意指定视图。 注意:此字段可能返回 null,表示取不到有效值。 示例值:view1 |
| Column | String | 否 | 需要授权的列,填 * 代表当前所有列。当授权类型为管理员级别时,只允许填“*” 注意:此字段可能返回 null,表示取不到有效值。 示例值:column1 |
| DataEngine | String | 否 | 需要授权的数据引擎,填 * 代表当前所有引擎。当授权类型为管理员级别时,只允许填“*” 注意:此字段可能返回 null,表示取不到有效值。 示例值:dataEngine1 |
| ReAuth | Boolean | 否 | 用户是否可以进行二次授权。当为true的时候,被授权的用户可以将本次获取的权限再次授权给其他子用户。默认为false 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
| Source | String | 否 | 权限来源,入参不填。USER:权限来自用户本身;WORKGROUP:权限来自绑定的工作组 注意:此字段可能返回 null,表示取不到有效值。 示例值:USER |
| Mode | String | 否 | 授权模式,入参不填。COMMON:普通模式;SENIOR:高级模式。 注意:此字段可能返回 null,表示取不到有效值。 示例值:COMMON |
| Operator | String | 否 | 操作者,入参不填。 注意:此字段可能返回 null,表示取不到有效值。 示例值:12345678 |
| CreateTime | String | 否 | 权限创建的时间,入参不填 注意:此字段可能返回 null,表示取不到有效值。 示例值:2021-07-28 16:19:32 |
| SourceId | Integer | 否 | 权限所属工作组的ID,只有当该权限的来源为工作组时才会有值。即仅当Source字段的值为WORKGROUP时该字段才有值。 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
| SourceName | String | 否 | 权限所属工作组的名称,只有当该权限的来源为工作组时才会有值。即仅当Source字段的值为WORKGROUP时该字段才有值。 注意:此字段可能返回 null,表示取不到有效值。 示例值:test_group |
| Id | Integer | 否 | 策略ID 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
| EngineGeneration | String | 否 | 引擎类型 示例值:SuperSQL/Native |
Policys
策略集合
被如下接口引用:DescribeUserInfo, DescribeWorkGroupInfo。
| 名称 | 类型 | 描述 |
|---|---|---|
| PolicySet | Array of Policy | 策略集合 注意:此字段可能返回 null,表示取不到有效值。 |
| TotalCount | Integer | 策略总数 示例值:10 |
PrestoMonitorMetrics
Presto监控指标
被如下接口引用:DescribeSparkAppTasks, DescribeTasks。
| 名称 | 类型 | 描述 |
|---|---|---|
| LocalCacheHitRate | Float | Alluxio本地缓存命中率 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
| FragmentCacheHitRate | Float | Fragment缓存命中率 注意:此字段可能返回 null,表示取不到有效值。 示例值:null |
Property
数据库和数据表属性信息
被如下接口引用:AssignMangedTableProperties, CreateDatabase, CreateInternalTable, CreateTcIcebergTable, DescribeDatabases, DescribeTable, DescribeTables, DescribeViews, GenerateCreateMangedTableSql。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Key | String | 是 | 属性key名称。 示例值:owner |
| Value | String | 是 | 属性key对应的value。 示例值:create by zhangsan |
PythonSparkImage
python-spark镜像信息。
被如下接口引用:DescribeDataEnginePythonSparkImages。
| 名称 | 类型 | 描述 |
|---|---|---|
| SparkImageId | String | spark镜像唯一id 示例值:d3018ad4-9a7e-4f64-a3f4-f38507c69742 |
| ChildImageVersionId | String | 集群小版本镜像id 示例值:d3dfgtr4-9a7e-4f64-a3f4-f38507c69742 |
| SparkImageVersion | String | spark镜像名称 示例值:pysaprk-1.1 |
| Description | String | spark镜像描述信息 示例值:pysaprk-1.1 |
| CreateTime | String | 创建时间 示例值:2020-01-01 01:01:01 |
| UpdateTime | String | 更新时间 示例值:2020-01-01 01:01:01 |
ResourceInfo
ResourceInfo
被如下接口引用:GetOptimizerPolicy。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| AttributionType | String | 否 | 归属类型 示例值:group |
| ResourceType | String | 否 | 资源类型 示例值:spark-sql |
| Name | String | 否 | 引擎名称 示例值:引擎名称 |
| Instance | String | 否 | 如资源类型为spark-sql 取值为Name, 如为spark-batch 取值为session app_name 示例值:spark-sql |
| Favor | Array of FavorInfo | 否 | 亲和性 注意:此字段可能返回 null,表示取不到有效值。 |
| Status | Integer | 否 | 状态 示例值:1 |
| ResourceGroupName | String | 否 | 标准引擎资源组信息 示例值:rg-test |
SQLTask
SQL查询任务
被如下接口引用:CreateTask。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| SQL | String | 是 | base64加密后的SQL语句 示例值:U0VMRUNUICogRlJPTSBgdGVzdGA7 |
| Config | Array of KVPair | 否 | 任务的配置信息 |
ScheduleElasticityConf
引擎资源弹性伸缩策略
被如下接口引用:DescribeDataEngine, DescribeDataEngines, UpdateDataEngine。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| ScheduledElasticityEnabled | Boolean | 否 | 是否开启弹性伸缩:true/false 示例值:true |
| ScheduleType | String | 否 | 调度类型:ONCE(一次性调度),DAILY(每日调度),WEEKLY(每周调度),MONTHLY(每月调度) 示例值:WEEKLY |
| ScheduleDays | Array of Integer | 否 | 调度日期:WEEKLY传:1 示例值:1 |
| TimeZone | String | 否 | 调度时区 示例值:UTC+08:00(北京) |
| ElasticPlans | Array of ElasticPlan | 否 | 弹性伸缩计划 示例值:复杂类型 |
Script
script实例。
被如下接口引用:DescribeScripts。
| 名称 | 类型 | 描述 |
|---|---|---|
| ScriptId | String | 脚本Id,长度36字节。 示例值:89570c65-49de-4bbd-ac0a-a67c724fc80f |
| ScriptName | String | 脚本名称,长度0-25。 示例值:89570c65-49de-4bbd-ac0a-a67c724fc80f |
| ScriptDesc | String | 脚本描述,长度0-50。 注意:此字段可能返回 null,表示取不到有效值。 示例值:create by zhangsan |
| DatabaseName | String | 默认关联数据库。 示例值:database1 |
| SQLStatement | String | SQL描述,长度0-10000。 注意:此字段可能返回 null,表示取不到有效值。 示例值:U0VMRUNUICogRlJPTSBgdGVzdGA7 |
| UpdateTime | Integer | 更新时间戳, 单位:ms。 示例值:1611646962000 |
SessionResourceTemplate
Spark批作业集群Session资源配置模板;
被如下接口引用:CreateDataEngine, DescribeDataEngine, DescribeDataEngines, DescribeUserDataEngineConfig, UpdateDataEngine, UpdateUserDataEngineConfig。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| DriverSize | String | 否 | driver规格:small,medium,large,xlarge;内存型(引擎类型):m.small,m.medium,m.large,m.xlarge 示例值:small |
| ExecutorSize | String | 否 | executor规格:small,medium,large,xlarge;内存型(引擎类型):m.small,m.medium,m.large,m.xlarge 示例值:small |
| ExecutorNums | Integer | 否 | 指定executor数量,最小值为1,最大值小于集群规格 示例值:1 |
| ExecutorMaxNumbers | Integer | 否 | 指定executor max数量(动态配置场景下),最小值为1,最大值小于集群规格(当ExecutorMaxNumbers小于ExecutorNums时,改值设定为ExecutorNums) 示例值:1 |
| RunningTimeParameters | Array of DataEngineConfigPair | 否 | 运行时参数 示例值:复杂类型 |
SmartOptimizerChangeTablePolicy
混合表中,change表的数据保存时间,单位为天
被如下接口引用:GetOptimizerPolicy。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| DataRetentionTime | Integer | 否 | change表的数据保存时间,单位为天 示例值:8 |
SmartOptimizerIndexPolicy
SmartOptimizerIndexPolicy
被如下接口引用:GetOptimizerPolicy。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| IndexEnable | String | 否 | 开启索引 示例值:none/enable/disable/default |
SmartOptimizerLifecyclePolicy
SmartOptimizerLifecyclePolicy
被如下接口引用:GetOptimizerPolicy。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| LifecycleEnable | String | 否 | 生命周期启用 示例值:none/enable/disable/default |
| Expiration | Integer | 否 | 过期时间 示例值:100 |
| DropTable | Boolean | 否 | 是否删表 示例值:true |
| ExpiredField | String | 否 | 过期字段 示例值:pt |
| ExpiredFieldFormat | String | 否 | 过期字段格式 示例值:yyyy-MM-dd |
SmartOptimizerPolicy
SmartOptimizerPolicy
被如下接口引用:GetOptimizerPolicy。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Inherit | String | 否 | 是否继承 示例值:true |
| Resources | Array of ResourceInfo | 否 | ResourceInfo 注意:此字段可能返回 null,表示取不到有效值。 |
| Written | SmartOptimizerWrittenPolicy | 否 | SmartOptimizerWrittenPolicy 注意:此字段可能返回 null,表示取不到有效值。 |
| Lifecycle | SmartOptimizerLifecyclePolicy | 否 | SmartOptimizerLifecyclePolicy 注意:此字段可能返回 null,表示取不到有效值。 |
| Index | SmartOptimizerIndexPolicy | 否 | SmartOptimizerIndexPolicy 注意:此字段可能返回 null,表示取不到有效值。 |
| ChangeTable | SmartOptimizerChangeTablePolicy | 否 | SmartOptimizerChangeTablePolicy 注意:此字段可能返回 null,表示取不到有效值。 |
SmartOptimizerWrittenPolicy
SmartOptimizerWrittenPolicy
被如下接口引用:GetOptimizerPolicy。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| WrittenEnable | String | 否 | none/enable/disable/default 示例值:enable |
SmartPolicy
SmartPolicyRequest
被如下接口引用:AssignMangedTableProperties, CreateInternalTable, CreateTcIcebergTable, DeleteTable, DescribeTable, DescribeTables, GenerateCreateMangedTableSql, GetOptimizerPolicy。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| BaseInfo | SmartPolicyBaseInfo | 否 | 基础信息 注意:此字段可能返回 null,表示取不到有效值。 |
| Policy | SmartOptimizerPolicy | 否 | 策略描述 注意:此字段可能返回 null,表示取不到有效值。 |
SmartPolicyBaseInfo
SmartPolicyBaseInfo
被如下接口引用:GetOptimizerPolicy。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Uin | String | 是 | 用户uin 示例值:100011282005 |
| PolicyType | String | 否 | Catalog/Database/Table 示例值:Table |
| Catalog | String | 否 | Catalog名称 示例值: DataLakeCatalog |
| Database | String | 否 | 数据库名称 示例值:dbtest |
| Table | String | 否 | 表名称 示例值:tbtest |
| AppId | String | 否 | 用户appid 示例值:1 |
Sort
排序结构
被如下接口引用:DescribeTablePartitions。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Field | String | 是 | 排序字段 示例值:create_time |
| Asc | Boolean | 是 | 是否按照ASC排序,否则DESC排序 示例值:true |
SparkJobInfo
spark作业详情。
被如下接口引用:DescribeSparkAppJob, DescribeSparkAppJobs。
| 名称 | 类型 | 描述 |
|---|---|---|
| JobId | String | spark作业ID 示例值:4a7cad6bb86211ec9c616e6f30623d72 |
| JobName | String | spark作业名 示例值:test-app |
| JobType | Integer | spark作业类型,可去1或者2,1表示batch作业, 2表示streaming作业 示例值:1 |
| DataEngine | String | 引擎名 示例值:spark-engine |
| Eni | String | 该字段已下线,请使用字段Datasource 示例值:kafka |
| IsLocal | String | 程序包是否本地上传,cos或者lakefs 示例值:cos |
| JobFile | String | 程序包路径 示例值:cosn://bucket/example.jar |
| RoleArn | Integer | 角色ID 示例值:1 |
| MainClass | String | spark作业运行主类 示例值:org.tencent.Example |
| CmdArgs | String | 命令行参数,spark作业命令行参数,空格分隔 示例值:1 2 |
| JobConf | String | spark原生配置,换行符分隔 示例值:spark.network.timeout=120s |
| IsLocalJars | String | 依赖jars是否本地上传,cos或者lakefs 示例值:cos |
| JobJars | String | spark作业依赖jars,逗号分隔 示例值:example.jar |
| IsLocalFiles | String | 依赖文件是否本地上传,cos或者lakefs 示例值:cos |
| JobFiles | String | spark作业依赖文件,逗号分隔 示例值:cos |
| JobDriverSize | String | spark作业driver资源大小 示例值:small |
| JobExecutorSize | String | spark作业executor资源大小 示例值:small |
| JobExecutorNums | Integer | spark作业executor个数 示例值:1 |
| JobMaxAttempts | Integer | spark流任务最大重试次数 示例值:3 |
| JobCreator | String | spark作业创建者 示例值:100**9064 |
| JobCreateTime | Integer | spark作业创建时间 示例值:1 |
| JobUpdateTime | Integer | spark作业更新时间 示例值:1 |
| CurrentTaskId | String | spark作业最近任务ID 示例值:4a7cad6bb86211ec9c616e6f30623d72 |
| JobStatus | Integer | spark作业最近运行状态,初始化:0,运行中:1,成功:2,数据写入中: 3, 排队中: 4, 失败: -1, 已删除: -3,已过期: -5 示例值:0 |
| StreamingStat | StreamingStatistics | spark流作业统计 注意:此字段可能返回 null,表示取不到有效值。 |
| DataSource | String | 数据源名 注意:此字段可能返回 null,表示取不到有效值。 示例值:kafka-datasource |
| IsLocalPythonFiles | String | pyspark:依赖上传方式,1、cos;2、lakefs(控制台使用,该方式不支持直接接口调用) 注意:此字段可能返回 null,表示取不到有效值。 示例值:cos |
| AppPythonFiles | String | 注:该返回值已废弃 注意:此字段可能返回 null,表示取不到有效值。 示例值:test.py |
| IsLocalArchives | String | archives:依赖上传方式,1、cos;2、lakefs(控制台使用,该方式不支持直接接口调用) 注意:此字段可能返回 null,表示取不到有效值。 示例值:cos |
| JobArchives | String | archives:依赖资源 注意:此字段可能返回 null,表示取不到有效值。 示例值:file1.tar.gz#abc |
| SparkImage | String | Spark Image 版本 注意:此字段可能返回 null,表示取不到有效值。 示例值:1.0 |
| JobPythonFiles | String | pyspark:python依赖, 除py文件外,还支持zip/egg等归档格式,多文件以逗号分隔 注意:此字段可能返回 null,表示取不到有效值。 示例值:test.py |
| TaskNum | Integer | 当前job正在运行或准备运行的任务个数 注意:此字段可能返回 null,表示取不到有效值。 示例值:5 |
| DataEngineStatus | Integer | 引擎状态:-100(默认:未知状态),-2~11:引擎正常状态; 注意:此字段可能返回 null,表示取不到有效值。 示例值:0 |
| JobExecutorMaxNumbers | Integer | 指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于JobExecutorNums 注意:此字段可能返回 null,表示取不到有效值。 示例值:1 |
| SparkImageVersion | String | 镜像版本 注意:此字段可能返回 null,表示取不到有效值。 示例值:pyspark3.2 |
| SessionId | String | 查询脚本关联id 注意:此字段可能返回 null,表示取不到有效值。 示例值:931a72aa-4f83-4d6a-adf1-2sdda0234a655 |
| DataEngineClusterType | String | spark_emr_livy 注意:此字段可能返回 null,表示取不到有效值。 示例值:引擎类型 |
| DataEngineImageVersion | String | Spark 3.2-EMR 注意:此字段可能返回 null,表示取不到有效值。 示例值:引擎镜像版本 |
| IsInherit | Integer | 任务资源配置是否继承集群模板,0(默认)不继承,1:继承 注意:此字段可能返回 null,表示取不到有效值。 示例值:0 |
| IsSessionStarted | Boolean | 是否使用session脚本的sql运行任务:false:否,true:是 注意:此字段可能返回 null,表示取不到有效值。 示例值:false |
| EngineTypeDetail | String | 引擎详细类型:SparkSQL、PrestoSQL、SparkBatch、StandardSpark、StandardPresto 注意:此字段可能返回 null,表示取不到有效值。 示例值:SparkSQL |
SparkMonitorMetrics
Spark监控数据
被如下接口引用:DescribeSparkAppTasks, DescribeTasks。
| 名称 | 类型 | 描述 |
|---|---|---|
| ShuffleWriteBytesCos | Integer | shuffle写溢出到COS数据量,单位:byte 注意:此字段可能返回 null,表示取不到有效值。 示例值:0 |
| ShuffleWriteBytesTotal | Integer | shuffle写数据量,单位:byte 注意:此字段可能返回 null,表示取不到有效值。 示例值:59174754650 |
SparkSessionBatchLog
SparkSQL批任务运行日志
被如下接口引用:DescribeSparkSessionBatchSqlLog。
| 名称 | 类型 | 描述 |
|---|---|---|
| Step | String | 日志步骤:BEG/CS/DS/DSS/DSF/FINF/RTO/CANCEL/CT/DT/DTS/DTF/FINT/EXCE 示例值:BEG |
| Time | String | 时间 示例值:2023-03-20 12:12:12 |
| Message | String | 日志提示 示例值:开始 |
| Operate | Array of SparkSessionBatchLogOperate | 日志操作 注意:此字段可能返回 null,表示取不到有效值。 示例值:复杂类型 |
SparkSessionBatchLogOperate
SparkSQL批任务日志操作信息。
被如下接口引用:DescribeSparkSessionBatchSqlLog。
| 名称 | 类型 | 描述 |
|---|---|---|
| Text | String | 操作提示 示例值:4xlarge |
| Operate | String | 操作类型:COPY、LOG、UI、RESULT、List、TAB 示例值:COPY |
| Supplement | Array of KVPair | 补充信息:如:taskid、sessionid、sparkui等 注意:此字段可能返回 null,表示取不到有效值。 示例值:d3018ad4-9a7e-4f64-a3f4-f38507c69742 |
SparkSessionInfo
spark session详细信息
被如下接口引用:DescribeNativeSparkSessions。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| SparkSessionId | String | 否 | spark session id 示例值:session-xxx |
| SparkSessionName | String | 否 | spark session名称 示例值:test_session |
| ResourceGroupId | String | 否 | 资源组id 示例值:rg-xxxx |
| EngineSessionId | String | 否 | engine session id 示例值:session-id |
| EngineSessionName | String | 否 | engine session name 示例值:session-name |
| IdleTimeoutMin | Integer | 否 | 自动销毁时间 示例值:1 |
| DriverSpec | String | 否 | driver规格 示例值:small(1CU) |
| ExecutorSpec | String | 否 | executor规格 示例值:small(1CU) |
| ExecutorNumMin | Integer | 否 | executor最小数量 示例值:1 |
| ExecutorNumMax | Integer | 否 | executor最大数量 示例值:3 |
| TotalSpecMin | Integer | 否 | 总规格最小 示例值:1 |
| TotalSpecMax | Integer | 否 | 总规格最大 示例值:3 |
SpecInfo
节点规格信息
被如下接口引用:DescribeEngineNodeSpec。
| 名称 | 类型 | 描述 |
|---|---|---|
| Name | String | 规格名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:small |
| Cu | Integer | 当前规格的cu数 注意:此字段可能返回 null,表示取不到有效值。 示例值:8 |
| Cpu | Integer | 当前规格的cpu数 注意:此字段可能返回 null,表示取不到有效值。 示例值:8 |
| Memory | Integer | 当前规格的内存数,单位G 注意:此字段可能返回 null,表示取不到有效值。 示例值:32 |
StandardEngineResourceGroupConfigInfo
标准引擎资源组,配置相关信息
被如下接口引用:DescribeStandardEngineResourceGroupConfigInfo。
| 名称 | 类型 | 描述 |
|---|---|---|
| ResourceGroupId | String | 引擎资源组 ID |
| DataEngineId | String | 引擎ID |
| StaticConfigPairs | Array of EngineResourceGroupConfigPair | 资源组静态参数,需要重启资源组生效 |
| DynamicConfigPairs | Array of EngineResourceGroupConfigPair | 资源组动态参数,下一个任务生效。 |
| CreateTime | Integer | 创建时间 |
| UpdateTime | Integer | 更新时间 |
StandardEngineResourceGroupInfo
用户标准引擎资源组信息
被如下接口引用:DescribeStandardEngineResourceGroups。
| 名称 | 类型 | 描述 |
|---|---|---|
| EngineResourceGroupId | String | 标准引擎资源组ID |
| EngineResourceGroupName | String | 标准引擎资源组名称,支持1-50个英文、汉字、数字、连接线-或下划线_ |
| Creator | String | 创建者 |
| ResourceGroupState | Integer | 资源组 状态,-1--删除、0--启动中、2--运行、3--暂停、4--暂停中、7--切换引擎中、8--配置修改中。9--资源组重启中,10--因为变配导致资源组启动、11--因为隔离导致资源组挂起、12- 资源配置下发中、 13-接入点隔离导致资源组挂起中 |
| AutoLaunch | Integer | 自动启动,(任务提交自动拉起资源组)0-自动启动,1-不自动启动 |
| AutoPause | Integer | 自动挂起资源组。0-自动挂起,1-不自动挂起 |
| AutoPauseTime | Integer | 自动挂起时间,单位分钟,取值范围在1-999(在无任务AutoPauseTime后,资源组自动挂起) |
| DriverCuSpec | String | driver的cu规格: 当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu),内存型cu为cpu:men=1:8,m.small(1cu内存型)、m.medium(2cu内存型)、m.large(4cu内存型)、m.xlarge(8cu内存型) |
| ExecutorCuSpec | String | executor的cu规格: 当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu),内存型cu为cpu:men=1:8,m.small(1cu内存型)、m.medium(2cu内存型)、m.large(4cu内存型)、m.xlarge(8cu内存型) |
| MaxConcurrency | Integer | 任务并发数 |
| MinExecutorNums | Integer | executor最小数量, |
| MaxExecutorNums | Integer | executor最大数量, |
| CreateTime | Integer | 创建时间戳 |
| UpdateTime | Integer | 更新时间戳 |
| NeedRestart | Integer | 是否待重启,作为有资源参数,静态参数修改未重启生效的标识;0-- 不需要重启、1--因为资源参数待重启、2--因静态参数重启、3--因资源和静态参数而待重启、4--因网络配置而待重启、5--因网络配置和资源配置而待重启、6--因网络配置和静态参数而待重启、7--因网络配置,资源参数和静态参数而待重启、 |
| DataEngineName | String | 绑定的引擎名称 |
| DataEngineId | String | 绑定的引擎ID |
| DataEngineState | Integer | 绑定的引擎状态 注意:此字段可能返回 null,表示取不到有效值。 |
| AccessPointId | String | 接入点ID 注意:此字段可能返回 null,表示取不到有效值。 |
| AccessPointName | String | 接入点名称 注意:此字段可能返回 null,表示取不到有效值。 |
| AccessPointState | Integer | 接入点状态 注意:此字段可能返回 null,表示取不到有效值。 |
| ResourceGroupType | String | 资源组类型,console/ default 注意:此字段可能返回 null,表示取不到有效值。 示例值:default |
| EngineNetworkId | String | 引擎网络ID 注意:此字段可能返回 null,表示取不到有效值。 |
| NetworkConfigNames | Array of String | 网络配置名称 注意:此字段可能返回 null,表示取不到有效值。 |
| FrameType | String | AI类型资源组的框架类型 注意:此字段可能返回 null,表示取不到有效值。 示例值:python |
| ImageType | String | AI类型资源组的镜像类型,内置:bulit-in,自定义:custom 注意:此字段可能返回 null,表示取不到有效值。 示例值:bulit-in |
| ImageName | String | 镜像名称 注意:此字段可能返回 null,表示取不到有效值。 示例值:image-xxx |
| ImageVersion | String | 镜像id 注意:此字段可能返回 null,表示取不到有效值。 示例值:imageid-xxx |
| Size | Integer | AI资源组的可用资源上限 注意:此字段可能返回 null,表示取不到有效值。 示例值:64 |
| IsDefault | Boolean | 是否是默认资源组 注意:此字段可能返回 null,表示取不到有效值。 示例值:true |
| ResourceGroupScene | String | 资源组场景 注意:此字段可能返回 null,表示取不到有效值。 示例值:SparkSQL |
| PythonCuSpec | String | python类型资源组python单机节点资源上限,该值要小于资源组的资源上限.small:1cu medium:2cu large:4cu xlarge:8cu 4xlarge:16cu 8xlarge:32cu 16xlarge:64cu,如果是高内存型资源,在类型前面加上m. 注意:此字段可能返回 null,表示取不到有效值。 示例值:small |
| SparkSpecMode | String | Spark类型资源组资源配置模式,fast:快速模式,custom:自定义模式 注意:此字段可能返回 null,表示取不到有效值。 示例值:custom |
| SparkSize | Integer | Spark类型资源组资源上限 注意:此字段可能返回 null,表示取不到有效值。 示例值:64 |
| SparkMinSize | Integer | Spark类型资源组资源最小值 注意:此字段可能返回 null,表示取不到有效值。 示例值:16 |
| PublicDomain | String | 自定义镜像容器镜像服务domain 名称 示例值:test.tencentcloudcr.com |
| RegistryId | String | 自定义镜像容器镜像服务tcr实例id 示例值:tcr-xxxxx |
| RegionName | String | 容器镜像服务tcr所在地域 示例值:ap-beijing |
| LaunchTime | String | 资源组启动耗时 示例值:1min30s |
StatementInformation
statement信息
被如下接口引用:CreateSparkSessionBatchSQL。
| 名称 | 类型 | 描述 |
|---|---|---|
| TaskId | String | SQL任务唯一ID 示例值:09ei23ea-d6c0-4cd9-bbed-2e909jef04dc |
| SQL | String | SQL内容 示例值:select 1; |
StatementOutput
notebook session statement输出信息。
被如下接口引用:CreateNotebookSessionStatement, DescribeNotebookSessionStatement。
| 名称 | 类型 | 描述 |
|---|---|---|
| ExecutionCount | Integer | 执行总数 示例值:1 |
| Data | Array of KVPair | Statement数据 注意:此字段可能返回 null,表示取不到有效值。 示例值:["key":"testKey","value":"testValue"] |
| Status | String | Statement状态:ok,error 示例值:ok |
| ErrorName | String | 错误名称 示例值:compute fail |
| ErrorValue | String | 错误类型 注意:此字段可能返回 null,表示取不到有效值。 示例值:InternalError |
| ErrorMessage | Array of String | 错误堆栈信息 注意:此字段可能返回 null,表示取不到有效值。 示例值:["internal Error"] |
| SQLResult | String | SQL类型任务结果返回 示例值:{"application/json":{ "schema":{ "type":"struct", "fields":[ {"name":"1", "type":"integer", "nullable":false, "metadata"{ } } ] }}} |
StreamingStatistics
spark流任务统计信息
被如下接口引用:DescribeSparkAppJob, DescribeSparkAppJobs。
| 名称 | 类型 | 描述 |
|---|---|---|
| StartTime | String | 任务开始时间 示例值:2022-05-16 00:00:00 |
| Receivers | Integer | 数据接收器数 示例值:1 |
| NumActiveReceivers | Integer | 运行中的接收器数 示例值:1 |
| NumInactiveReceivers | Integer | 不活跃的接收器数 示例值:0 |
| NumActiveBatches | Integer | 运行中的批数 示例值:1 |
| NumRetainedCompletedBatches | Integer | 待处理的批数 示例值:1 |
| NumTotalCompletedBatches | Integer | 已完成的批数 示例值:1 |
| AverageInputRate | Float | 平均输入速率 示例值:0.2 |
| AverageSchedulingDelay | Float | 平均等待时长 示例值:1.0 |
| AverageProcessingTime | Float | 平均处理时长 示例值:2.0 |
| AverageTotalDelay | Float | 平均延时 示例值:3.0 |
TCHouseD
Doris数据源详细信息
被如下接口引用:AssociateDatasourceHouse。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| InstanceId | String | 否 | 数据源实例的唯一ID 示例值:datasource-test |
| InstanceName | String | 否 | 数据源名称 示例值:test_datasource |
| JdbcUrl | String | 否 | 数据源的JDBC 示例值:jdbc:mysql// |
| User | String | 否 | 用于访问数据源的用户 示例值:root |
| Password | String | 否 | 数据源访问密码,需要base64编码 示例值:xaskdowq+= |
| Location | DatasourceConnectionLocation | 否 | 数据源的VPC和子网信息 注意:此字段可能返回 null,表示取不到有效值。 |
| DbName | String | 否 | 默认数据库名 示例值:default |
| AccessInfo | String | 否 | 访问信息 示例值:"[{"address":"10.0.0.6:9030","protocol":"tcp"},{"address":"10.0.0.6:8030","protocol":"http"},{"address":"10.0.0.6:8040","protocol":"be_http"}]" |
TColumn
表字段描述信息
被如下接口引用:AssignMangedTableProperties, CreateInternalTable, CreateTcIcebergTable, GenerateCreateMangedTableSql。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Name | String | 是 | 字段名称 示例值:column1 |
| Type | String | 是 | 字段类型 示例值:string |
| Comment | String | 否 | 字段描述 示例值:test comment |
| Default | String | 否 | 字段默认值 示例值:ddefault value |
| NotNull | Boolean | 否 | 字段是否是非空 示例值:true |
| Precision | Integer | 否 | 表示整个 numeric 的长度,取值1-38 示例值:10 |
| Scale | Integer | 否 | 表示小数部分的长度 Scale小于Precision 示例值:2 |
| Position | Integer | 否 | 字段位置,小的在前 示例值:1 |
| IsPartition | Boolean | 否 | 是否为分区字段 示例值:false |
TPartition
表分区字段信息
被如下接口引用:AssignMangedTableProperties, CreateInternalTable, CreateTcIcebergTable, GenerateCreateMangedTableSql。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Name | String | 是 | 字段名称 示例值:patition1 |
| Type | String | 否 | 字段类型 示例值:string |
| Comment | String | 否 | 字段描述 示例值:default comment |
| PartitionType | String | 否 | 分区类型(已废弃) 示例值:string |
| PartitionFormat | String | 否 | 分区格式(已废弃) 示例值:bucket |
| PartitionDot | Integer | 否 | 分区分隔数(已废弃) 示例值:2 |
| Transform | String | 否 | 分区转换策略 示例值:bucket |
| TransformArgs | Array of String | 否 | 策略参数 示例值:2 |
TableBaseInfo
数据表配置信息
被如下接口引用:AssignMangedTableProperties, CreateInternalTable, CreateTable, CreateTcIcebergTable, DeleteTable, DescribeTable, DescribeTables, GenerateCreateMangedTableSql。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| DatabaseName | String | 是 | 该数据表所属数据库名字 示例值:database1 |
| TableName | String | 是 | 数据表名字 示例值:table |
| DatasourceConnectionName | String | 否 | 该数据表所属数据源名字 示例值:CosDataCatalog |
| TableComment | String | 否 | 该数据表备注 注意:此字段可能返回 null,表示取不到有效值。 示例值:tb1501 描述aaa |
| Type | String | 否 | 具体类型,表or视图 示例值:table |
| TableFormat | String | 否 | 数据格式类型,hive,iceberg等 示例值:hive |
| UserAlias | String | 否 | 建表用户昵称 示例值:aliaName |
| UserSubUin | String | 否 | 建表用户ID 示例值:100019878767 |
| SmartPolicy | SmartPolicy | 否 | 智能数据治理配置项 注意:此字段可能返回 null,表示取不到有效值。 |
| PrimaryKeys | Array of String | 否 | T-ICEBERG表的主键 注意:此字段可能返回 null,表示取不到有效值。 示例值:id |
TableInfo
返回数据表的相关信息。
被如下接口引用:CreateTable。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| TableBaseInfo | TableBaseInfo | 是 | 数据表配置信息。 |
| DataFormat | DataFormat | 是 | 数据表格式。每次入参可选如下其一的KV结构,[TextFile,CSV,Json, Parquet, ORC, AVRD]。 |
| Columns | Array of Column | 是 | 数据表列信息。 |
| Partitions | Array of Partition | 是 | 数据表分块信息。 |
| Location | String | 是 | 数据存储路径。当前仅支持cos路径,格式如下:cosn://bucket-name/filepath。 示例值:cosn://test-bucket-1123423/csvdata/ |
TableResponseInfo
查询表信息对象
被如下接口引用:DescribeTable, DescribeTables。
| 名称 | 类型 | 描述 |
|---|---|---|
| TableBaseInfo | TableBaseInfo | 数据表基本信息。 示例值:{"name":"test"} |
| Columns | Array of Column | 数据表列信息。 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"name":"aa"}] |
| Partitions | Array of Partition | 数据表分块信息。 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"day":"a"}] |
| Location | String | 数据存储路径。 示例值:cosn://test-bucket-123242/csvdata/ |
| Properties | Array of Property | 数据表属性信息。 注意:此字段可能返回 null,表示取不到有效值。 示例值:[{"day":"a"}] |
| ModifiedTime | String | 数据表更新时间, 单位: ms。 示例值:1611579344000 |
| CreateTime | String | 数据表创建时间,单位: ms。 示例值:1611579344000 |
| InputFormat | String | 数据格式。 示例值:org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat |
| StorageSize | Integer | 数据表存储大小(单位:Byte) 示例值:1024 |
| RecordCount | Integer | 数据表行数 示例值:10 |
| MapMaterializedViewName | String | xxxx 示例值:DataLakeCatalog |
| HeatValue | Integer | 访问热点 示例值:1 |
| InputFormatShort | String | InputFormat的缩写 示例值:orc |
TagInfo
标签对信息
被如下接口引用:CreateDataEngine, DescribeDataEngine, DescribeDataEngines。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| TagKey | String | 否 | 标签键 示例值:tagKey1 |
| TagValue | String | 否 | 标签值 示例值:tagValue1 |
Task
任务类型,任务如SQL查询等。
被如下接口引用:CreateTask。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| SQLTask | SQLTask | 否 | SQL查询任务 |
| SparkSQLTask | SQLTask | 否 | Spark SQL查询任务 |
TaskMonitorInfo
任务监控信息
被如下接口引用:DescribeTaskMonitorInfos。
| 名称 | 类型 | 描述 |
|---|---|---|
| TaskId | String | 任务id 示例值:3c2c581afe4d11efbde1525400b3a056 |
| HouseName | String | 引擎名称 示例值:engine1 |
| QuerySQL | String | sql语句 示例值:select 1; |
| CreateTime | String | 任务时间 示例值:2023-08-10T12:35:02.123Z |
| UsedTime | String | 执行时间 示例值:100 |
| DataAmount | String | 数据扫描量 示例值:1024 |
| QueryStats | String | 指标信息 示例值:{"elapsedTime": "5.34s", "executionTime": "4.89s", "cumulativeUserMemory": 1234567.89, "peakUserMemoryReservation": "64MB", "totalBytes": "1.23MB", "totalRows": 1000 } |
TaskResponseInfo
任务实例。
被如下接口引用:DescribeSparkAppTasks, DescribeTasks。
| 名称 | 类型 | 描述 |
|---|---|---|
| DatabaseName | String | 任务所属Database的名称。 示例值:database1 |
| DataAmount | Integer | 任务数据量。 示例值:1024 |
| Id | String | 任务Id。 示例值:89570c65-49de-4bbd-ac0a-a67c724fc80f |
| UsedTime | Integer | 计算耗时,单位: ms 示例值:60000 |
| OutputPath | String | 任务输出路径。 示例值:cosn://test-bucket-1/result/ |
| CreateTime | String | 任务创建时间。 示例值:1611646962000 |
| State | Integer | 任务状态:0 初始化, 1 执行中, 2 执行成功,3 数据写入中,4 排队中。-1 执行失败,-3 已取消。 示例值:2 |
| SQLType | String | 任务SQL类型,DDL|DML等 示例值:DDL |
| SQL | String | 任务SQL语句 示例值:U0VMRUNUICogRlJPTSBgdGVzdGA7 |
| ResultExpired | Boolean | 结果是否过期。 示例值:false |
| RowAffectInfo | String | 数据影响统计信息。 示例值:500 rows selected (0.077 seconds) |
| DataSet | String | 任务结果数据表。 示例值:{"Schema":["name","age"],"Data":[{"name":"29","age":"Michael"}]} |
| Error | String | 失败信息, 例如:errorMessage。该字段已废弃。 示例值:errorMessage |
| Percentage | Integer | 任务执行进度num/100(%) 示例值:100 |
| OutputMessage | String | 任务执行输出信息。 示例值:Invalid compression codec: ,Available codecs are none,bzip2 |
| TaskType | String | 执行SQL的引擎类型 示例值:SparkBatchSQL |
| ProgressDetail | String | 任务进度明细 示例值:[{"jobId":1,"stages":[{"stageId":1,"numTasks":3,"numActiveTasks" |
| UpdateTime | String | 任务结束时间 示例值:1611646962000 |
| DataEngineId | String | 计算资源id 示例值:resource-1gghpd1t |
| OperateUin | String | 执行sql的子uin 示例值:**** |
| DataEngineName | String | 计算资源名字 示例值:shared_presto |
| InputType | String | 导入类型是本地导入还是cos 示例值:local |
| InputConf | String | 导入配置 示例值:[{"Key":"paths","Value":"lakefs://20000003366d155f79a522c8349496 |
| DataNumber | Integer | 数据条数 示例值:925 |
| CanDownload | Boolean | 查询数据能不能下载 示例值:false |
| UserAlias | String | 用户别名 示例值:testname |
| SparkJobName | String | spark应用作业名 示例值:spark_app |
| SparkJobId | String | spark应用作业Id 示例值:batch_sdafa |
| SparkJobFile | String | spark应用入口jar文件 示例值:example.jar |
| UiUrl | String | spark ui url 示例值:https://dlc-spark-ui.cloud.tencent.com/history/spark-893c606226b |
| TotalTime | Integer | 任务耗时,单位: ms 示例值:80000 |
| CmdArgs | String | spark app job执行task的程序入口参数 示例值:spark.sql.shuffle.partitions |
| ImageVersion | String | 集群镜像大版本名称 示例值:SuperSQL P 1.0 |
| DriverSize | String | driver规格:small,medium,large,xlarge;内存型(引擎类型):m.small,m.medium,m.large,m.xlarge 示例值:small |
| ExecutorSize | String | executor规格:small,medium,large,xlarge;内存型(引擎类型):m.small,m.medium,m.large,m.xlarge 示例值:small |
| ExecutorNums | Integer | 指定executor数量,最小值为1,最大值小于集群规格 示例值:1 |
| ExecutorMaxNumbers | Integer | 指定executor max数量(动态配置场景下),最小值为1,最大值小于集群规格(当ExecutorMaxNumbers小于ExecutorNums时,改值设定为ExecutorNums) 示例值:1 |
| CommonMetrics | CommonMetrics | 任务公共指标数据 注意:此字段可能返回 null,表示取不到有效值。 |
| SparkMonitorMetrics | SparkMonitorMetrics | spark任务指标数据 注意:此字段可能返回 null,表示取不到有效值。 |
| PrestoMonitorMetrics | PrestoMonitorMetrics | presto任务指标数据 注意:此字段可能返回 null,表示取不到有效值。 |
| ResultFormat | String | 结果文件格式:默认为csv 示例值:csv |
| EngineTypeDetail | String | 引擎类型,SparkSQL:SparkSQL 引擎;SparkBatch:Spark作业引擎;PrestoSQL:Presto引擎 示例值:SparkSQL |
| ResourceGroupName | String | spark引擎资源组名称 示例值:ResourceGroupName1 |
| JobTimeSum | Integer | 任务执行耗时 示例值:1206 |
TaskResultInfo
任务结果信息。
被如下接口引用:DescribeTaskResult。
| 名称 | 类型 | 描述 |
|---|---|---|
| TaskId | String | 任务唯一ID 示例值:fdd9c5fa21ca11eca6fb5254006c64af |
| DatasourceConnectionName | String | 数据源名称,当前任务执行时候选中的默认数据源 示例值:COSDataCatalog |
| DatabaseName | String | 数据库名称,当前任务执行时候选中的默认数据库 示例值:database1 |
| SQL | String | 当前执行的SQL,一个任务包含一个SQL 示例值:select * from test limit 10; |
| SQLType | String | 执行任务的类型,现在分为DDL、DML、DQL 示例值:DQL |
| State | Integer | 任务当前的状态,0:初始化 1:任务运行中 2:任务执行成功 3:数据写入中 4:排队中 -1:任务执行失败 -3:用户手动终止 。只有任务执行成功的情况下,才会返回任务执行的结果 示例值:2 |
| DataAmount | Integer | 扫描的数据量,单位byte 示例值:1024 |
| UsedTime | Integer | 计算耗时,单位: ms 示例值:42 |
| OutputPath | String | 任务结果输出的COS桶地址 示例值:cosn://dlc-nj-125849872/test/DLCQueryResults/2021/09/ |
| CreateTime | String | 任务创建时间,时间戳 示例值:1632991895728 |
| OutputMessage | String | 任务执行信息,成功时返回success,失败时返回失败原因 示例值:success |
| RowAffectInfo | String | 被影响的行数 示例值:OK, No rows affected (0.000000 seconds) |
| ResultSchema | Array of Column | 结果的schema信息 注意:此字段可能返回 null,表示取不到有效值。 |
| ResultSet | String | 结果信息,反转义后,外层数组的每个元素为一行数据 示例值:[["3","kk"],["3","kk"]] |
| NextToken | String | 分页信息,如果没有更多结果数据,nextToken为空 示例值:nextMarker=\u0026nextKey=test/DLCQueryResults/2021/10/15/*** |
| Percentage | Integer | 任务执行进度num/100(%) 示例值:100 |
| ProgressDetail | String | 任务进度明细 示例值:[{"jobId":1,"stages":[{"stageId":1,"numTasks":3,"numActiveTasks" |
| DisplayFormat | String | 控制台展示格式。table:表格展示 text:文本展示 示例值:table |
| TotalTime | Integer | 任务耗时,单位: ms 示例值:1000 |
| QueryResultTime | Float | 获取结果消耗的时间 示例值:150.1 |
| ResultSetEncode | String | base64 编码结果集 示例值:fd19j9u1jc1j |
TasksInfo
批量顺序执行任务集合
被如下接口引用:CreateTasks, CreateTasksInOrder。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| TaskType | String | 是 | 任务类型,SQLTask:SQL查询任务。SparkSQLTask:Spark SQL查询任务 示例值:SQLTask |
| FailureTolerance | String | 是 | 容错策略。Proceed:前面任务出错/取消后继续执行后面的任务。Terminate:前面的任务出错/取消之后终止后面任务的执行,后面的任务全部标记为已取消。 示例值:Proceed |
| SQL | String | 是 | base64加密后的SQL语句,用";"号分隔每个SQL语句,一次最多提交50个任务。严格按照前后顺序执行 示例值:U0VMRUNUICogRlJPTSBgdGVzdGA7 |
| Config | Array of KVPair | 否 | 任务的配置信息,当前仅支持SparkSQLTask任务。 |
| Params | Array of KVPair | 否 | 任务的用户自定义参数信息 |
TasksOverview
任务概览
被如下接口引用:DescribeTasks, DescribeTasksOverview。
| 名称 | 类型 | 描述 |
|---|---|---|
| TaskQueuedCount | Integer | 正在排队的任务个数 示例值:1 |
| TaskInitCount | Integer | 初始化的任务个数 示例值:1 |
| TaskRunningCount | Integer | 正在执行的任务个数 示例值:1 |
| TotalTaskCount | Integer | 当前时间范围的总任务个数 示例值:1 |
TccHive
TccHive数据结构
被如下接口引用:AssociateDatasourceHouse。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| InstanceId | String | 否 | 实例ID 示例值:tcc-wiot2q1i |
| InstanceName | String | 否 | 实例名称 示例值:测试实例 |
| EndpointServiceId | String | 否 | 终端节点服务ID 示例值:vpcs-9shj2xs1 |
| MetaStoreUrl | String | 否 | thrift连接地址 示例值:thrift://127.0.0.1:7004 |
| HiveVersion | String | 否 | hive版本 示例值:3.1.3 |
| TccConnection | NetWork | 否 | 网络信息 示例值:复杂类型 |
| HmsEndpointServiceId | String | 否 | Hms终端节点服务ID 示例值:vpcsvc-6jsiek7s |
TextFile
文本格式
被如下接口引用:CreateTable。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Format | String | 否 | 文本类型,本参数取值为TextFile。 示例值:TextFile |
| Regex | String | 否 | 处理文本用的正则表达式。 示例值:"("[^]]") ("[0-9]") (-|[^ ]*)" |
UDFPolicyInfo
UDF权限信息
被如下接口引用:DescribeUDFPolicy, UpdateUDFPolicy。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Accesses | Array of String | 否 | 权限类型 示例:select,alter,drop 示例值:select |
| Users | Array of String | 否 | 拥有权限的用户信息 示例值:['100026442346', '100018379117'] |
| Groups | Array of String | 否 | 拥有权限的工作组的信息 示例值:['221458'] |
UpdateConfContext
配置下发参数
被如下接口引用:UpdateStandardEngineResourceGroupConfigInfo。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| ConfigType | String | 是 | 参数类型,可选:StaticConfigType,DynamicConfigType 示例值:StaticConfigType |
| Params | Array of Param | 是 | 参数的配置数组 |
UserDetailInfo
用户详细信息
被如下接口引用:DescribeUserInfo。
| 名称 | 类型 | 描述 |
|---|---|---|
| UserId | String | 用户Id 示例值:1208763821 |
| Type | String | 返回的信息类型,Group:返回的当前用户的工作组信息;DataAuth:返回的当前用户的数据权限信息;EngineAuth:返回的当前用户的引擎权限信息 示例值:Group |
| UserType | String | 用户类型:ADMIN:管理员 COMMON:一般用户 示例值:ADMIN |
| UserDescription | String | 用户描述信息 示例值:testUser |
| DataPolicyInfo | Policys | 数据权限信息集合 注意:此字段可能返回 null,表示取不到有效值。 |
| EnginePolicyInfo | Policys | 引擎权限集合 注意:此字段可能返回 null,表示取不到有效值。 |
| WorkGroupInfo | WorkGroups | 绑定到该用户的工作组集合信息 注意:此字段可能返回 null,表示取不到有效值。 |
| UserAlias | String | 用户别名 示例值:testname |
| RowFilterInfo | Policys | 行过滤集合 注意:此字段可能返回 null,表示取不到有效值。 |
| AccountType | String | 账号类型 示例值:UserAccount |
| CatalogPolicyInfo | Policys | 数据源权限集合 注意:此字段可能返回 null,表示取不到有效值。 |
UserIdSetOfWorkGroupId
绑定到同一个工作组的用户Id的集合
被如下接口引用:AddUsersToWorkGroup, DeleteUsersFromWorkGroup。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| WorkGroupId | Integer | 是 | 工作组Id 示例值:1 |
| UserIds | Array of String | 是 | 用户Id集合,和CAM侧Uin匹配 示例值:["12345678"] |
UserInfo
授权用户信息
被如下接口引用:DescribeUsers。
| 名称 | 类型 | 描述 |
|---|---|---|
| UserId | String | 用户Id,和子用户uin相同 示例值:12345678 |
| UserDescription | String | 用户描述信息,方便区分不同用户 示例值:测试用户 |
| PolicySet | Array of Policy | 单独给用户绑定的权限集合 注意:此字段可能返回 null,表示取不到有效值。 |
| Creator | String | 当前用户的创建者 示例值:Administrator |
| CreateTime | String | 创建时间,格式如2021-07-28 16:19:32 示例值:2021-07-28 16:19:32 |
| WorkGroupSet | Array of WorkGroupMessage | 关联的工作组集合 注意:此字段可能返回 null,表示取不到有效值。 |
| IsOwner | Boolean | 是否是主账号 示例值:false |
| UserType | String | 用户类型。ADMIN:管理员 COMMON:普通用户。 示例值:ADMIN |
| UserAlias | String | 用户别名 示例值:username |
| AccountType | String | 账号类型 示例值:UserAccount |
UserMessage
用户部分信息
被如下接口引用:DescribeWorkGroupInfo, DescribeWorkGroups。
| 名称 | 类型 | 描述 |
|---|---|---|
| UserId | String | 用户Id,和CAM侧子用户Uin匹配 示例值:12345678 |
| UserDescription | String | 用户描述 注意:此字段可能返回 null,表示取不到有效值。 示例值:test user |
| Creator | String | 当前用户的创建者 示例值:Administrator |
| CreateTime | String | 当前用户的创建时间,形如2021-07-28 16:19:32 示例值:2021-07-28 16:19:32 |
| UserAlias | String | 用户别名 示例值:testname |
UserRole
用户角色
被如下接口引用:DescribeUserRoles。
| 名称 | 类型 | 描述 |
|---|---|---|
| RoleId | Integer | 角色ID 示例值:219124 |
| AppId | String | 用户app ID 示例值:1*9 |
| Uin | String | 用户ID 示例值:1*6 |
| Arn | String | 角色权限 示例值:test_arn |
| ModifyTime | Integer | 最近修改时间戳 示例值:1736953682315 |
| Desc | String | 角色描述信息 示例值:test arn |
| RoleName | String | 角色名称 示例值:arn_name |
| Creator | String | 创建者UIN 示例值:test_user |
| CosPermissionList | Array of CosPermission | cos授权路径列表 |
| PermissionJson | String | cam策略json 示例值:deny |
| IsDefault | Integer | 是否设置为常驻:1非常驻(默认)、2常驻(仅能设置一个常驻) 示例值:2 |
UserVpcConnectionInfo
用户vpc网络连接信息
被如下接口引用:DescribeUserVpcConnection。
| 名称 | 类型 | 描述 |
|---|---|---|
| EngineNetworkId | String | 引擎网络ID 注意:此字段可能返回 null,表示取不到有效值。 |
| UserVpcId | String | 用户vpcid 注意:此字段可能返回 null,表示取不到有效值。 |
| UserVpcEndpointId | String | 用户终端节点ID 注意:此字段可能返回 null,表示取不到有效值。 |
| UserVpcEndpointName | String | 用户终端节点名称 注意:此字段可能返回 null,表示取不到有效值。 |
| AccessConnectionInfos | Array of String | 接入点信息 注意:此字段可能返回 null,表示取不到有效值。 |
Users
用户信息集合
被如下接口引用:DescribeWorkGroupInfo。
| 名称 | 类型 | 描述 |
|---|---|---|
| UserSet | Array of UserMessage | 用户信息集合 注意:此字段可能返回 null,表示取不到有效值。 |
| TotalCount | Integer | 用户总数 示例值:0 |
ViewBaseInfo
视图基本配置信息
被如下接口引用:DescribeViews。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| DatabaseName | String | 是 | 该视图所属数据库名字 示例值:database1 |
| ViewName | String | 是 | 视图名称 示例值:view-test |
| UserAlias | String | 否 | 视图创建人昵称 示例值:testUser |
| UserSubUin | String | 否 | 视图创建人ID 示例值:100019878767 |
ViewResponseInfo
查询视图信息对象
被如下接口引用:DescribeViews。
| 名称 | 类型 | 描述 |
|---|---|---|
| ViewBaseInfo | ViewBaseInfo | 视图基本信息。 |
| Columns | Array of Column | 视图列信息。 注意:此字段可能返回 null,表示取不到有效值。 |
| Properties | Array of Property | 视图属性信息。 注意:此字段可能返回 null,表示取不到有效值。 |
| CreateTime | String | 视图创建时间。 示例值:1611646962 |
| ModifiedTime | String | 视图更新时间。 示例值:1611646962 |
VpcCidrBlock
VPC子网信息
被如下接口引用:DescribeOtherCHDFSBindingList。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| CidrId | String | 否 | 子网Id 示例值:subnet-e4****xj |
| CidrAddr | String | 否 | 子网网段 示例值:10...*/16 |
VpcInfo
vpc信息
被如下接口引用:CreateCHDFSBindingProduct, DeleteCHDFSBindingProduct。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| VpcId | String | 否 | vpc Id 示例值:vpc-f37xxxx |
| VpcCidrBlock | String | 否 | vpc子网 示例值:10.../ |
| RuleId | Integer | 否 | 规则Id 示例值:4549 |
| AccessGroupId | String | 否 | 权限组Id 示例值:ag-cj91234e |
WorkGroupDetailInfo
工作组详细信息
被如下接口引用:DescribeWorkGroupInfo。
| 名称 | 类型 | 描述 |
|---|---|---|
| WorkGroupId | Integer | 工作组Id 示例值:12 |
| WorkGroupName | String | 工作组名称 示例值:testGroup |
| Type | String | 包含的信息类型。User:用户信息;DataAuth:数据权限;EngineAuth:引擎权限 示例值:User |
| UserInfo | Users | 工作组上绑定的用户集合 |
| DataPolicyInfo | Policys | 数据权限集合 |
| EnginePolicyInfo | Policys | 引擎权限集合 |
| WorkGroupDescription | String | 工作组描述信息 示例值:group for admin |
| RowFilterInfo | Policys | 行过滤信息集合 |
| CatalogPolicyInfo | Policy | 数据目录权限集 注意:此字段可能返回 null,表示取不到有效值。 |
WorkGroupIdSetOfUserId
同一个用户绑定的工作组集合
被如下接口引用:BindWorkGroupsToUser, UnbindWorkGroupsFromUser。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| UserId | String | 是 | 用户Id,和CAM侧Uin匹配 示例值:“12345678” |
| WorkGroupIds | Array of Integer | 是 | 工作组Id集合 示例值:[1,2,3] |
WorkGroupInfo
工作组信息
被如下接口引用:DescribeWorkGroups。
| 名称 | 类型 | 描述 |
|---|---|---|
| WorkGroupId | Integer | 查询到的工作组唯一Id 示例值:1 |
| WorkGroupName | String | 工作组名称 示例值:testGroup |
| WorkGroupDescription | String | 工作组描述 示例值:default describe |
| UserNum | Integer | 工作组关联的用户数量 示例值:0 |
| UserSet | Array of UserMessage | 工作组关联的用户集合 注意:此字段可能返回 null,表示取不到有效值。 |
| PolicySet | Array of Policy | 工作组绑定的权限集合 注意:此字段可能返回 null,表示取不到有效值。 |
| Creator | String | 工作组的创建人 示例值:Administrator |
| CreateTime | String | 工作组的创建时间,形如2021-07-28 16:19:32 示例值:2021-07-28 16:19:32 |
WorkGroupMessage
工作组部分信息
被如下接口引用:DescribeUserInfo, DescribeUsers。
| 名称 | 类型 | 描述 |
|---|---|---|
| WorkGroupId | Integer | 工作组唯一Id 示例值:1 |
| WorkGroupName | String | 工作组名称 示例值:group1 |
| WorkGroupDescription | String | 工作组描述 示例值:default describe |
| Creator | String | 创建者 示例值:Administrator |
| CreateTime | String | 工作组创建的时间,形如2021-07-28 16:19:32 示例值:2021-07-28 16:19:32 |
WorkGroups
工作组集合
被如下接口引用:DescribeUserInfo。
| 名称 | 类型 | 描述 |
|---|---|---|
| WorkGroupSet | Array of WorkGroupMessage | 工作组信息集合 注意:此字段可能返回 null,表示取不到有效值。 |
| TotalCount | Integer | 工作组总数 示例值:10 |