文档中心>数据湖计算 DLC>API 文档>任务相关接口>查询spark应用的运行任务实例列表

查询spark应用的运行任务实例列表

最近更新时间:2024-06-13 01:36:13

我的收藏

1. 接口描述

接口请求域名: dlc.tencentcloudapi.com 。

查询Spark作业的运行任务列表

默认接口请求频率限制:40次/秒。

推荐使用 API Explorer
点击调试
API Explorer 提供了在线调用、签名验证、SDK 代码生成和快速检索接口等能力。您可查看每次调用的请求内容和返回结果以及自动生成 SDK 调用示例。

2. 输入参数

以下请求参数列表仅列出了接口请求参数和部分公共参数,完整公共参数列表见 公共请求参数

参数名称 必选 类型 描述
Action String 公共参数,本接口取值:DescribeSparkAppTasks。
Version String 公共参数,本接口取值:2021-01-25。
Region String 公共参数,详见产品支持的 地域列表
JobId String spark作业Id
示例值:batch_133e005d-6486-4517-8ea7-b6b97b183a6b
Offset Integer 分页查询偏移量
示例值:0
Limit Integer 分页查询Limit
示例值:10
TaskId String 执行实例id
StartTime String 更新时间起始点,支持格式:yyyy-MM-dd HH:mm:ss
示例值:2022-01-01 00:00:00
EndTime String 更新时间截止点,支持格式:yyyy-MM-dd HH:mm:ss
示例值:2022-01-02 00:00:00
Filters.N Array of Filter 按照该参数过滤,支持task-state

3. 输出参数

参数名称 类型 描述
Tasks TaskResponseInfo 任务结果(该字段已废弃)
注意:此字段可能返回 null,表示取不到有效值。
TotalCount Integer 任务总数
示例值:1
SparkAppTasks Array of TaskResponseInfo 任务结果列表
注意:此字段可能返回 null,表示取不到有效值。
RequestId String 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。

4. 示例

示例1 查询Spark作业的运行任务列表

查询Spark作业的运行任务列表

输入示例

POST / HTTP/1.1
Host: dlc.tencentcloudapi.com
Content-Type: application/json
X-TC-Action:DescribeSparkAppTasks
<公共请求参数>

{
    "JobId": "batch_133e005d-6486-4517-8ea7-b6b97b183a6b",
    "Offset": 0,
    "Limit": 10
}

输出示例

{
    "Response": {
        "Tasks": {
            "DatabaseName": "abc",
            "DataAmount": 0,
            "Id": "abc",
            "UsedTime": 0,
            "OutputPath": "abc",
            "CreateTime": "abc",
            "State": 0,
            "SQLType": "abc",
            "SQL": "abc",
            "ResultExpired": true,
            "RowAffectInfo": "abc",
            "DataSet": "abc",
            "Error": "abc",
            "Percentage": 0,
            "OutputMessage": "abc",
            "TaskType": "abc",
            "ProgressDetail": "abc",
            "UpdateTime": "abc",
            "DataEngineId": "abc",
            "OperateUin": "abc",
            "DataEngineName": "abc",
            "InputType": "abc",
            "InputConf": "abc",
            "DataNumber": 0,
            "CanDownload": true,
            "UserAlias": "abc",
            "SparkJobName": "abc",
            "SparkJobId": "abc",
            "SparkJobFile": "abc",
            "UiUrl": "abc",
            "TotalTime": 0,
            "CmdArgs": "abc",
            "ImageVersion": "abc",
            "DriverSize": "abc",
            "ExecutorSize": "abc",
            "ExecutorNums": 1,
            "ExecutorMaxNumbers": 1,
            "CommonMetrics": {
                "CreateTaskTime": 0,
                "ProcessTime": 0,
                "QueueTime": 0,
                "ExecutionTime": 0,
                "IsResultCacheHit": true,
                "MatchedMVBytes": 0,
                "MatchedMVs": "abc",
                "AffectedBytes": "abc",
                "AffectedRows": 0,
                "ProcessedBytes": 0,
                "ProcessedRows": 0
            },
            "SparkMonitorMetrics": {
                "ShuffleWriteBytesCos": 0,
                "ShuffleWriteBytesTotal": 0
            },
            "PrestoMonitorMetrics": {
                "LocalCacheHitRate": 0,
                "FragmentCacheHitRate": 0
            }
        },
        "TotalCount": 0,
        "SparkAppTasks": [
            {
                "DatabaseName": "abc",
                "DataAmount": 0,
                "Id": "abc",
                "UsedTime": 0,
                "OutputPath": "abc",
                "CreateTime": "abc",
                "State": 0,
                "SQLType": "abc",
                "SQL": "abc",
                "ResultExpired": true,
                "RowAffectInfo": "abc",
                "DataSet": "abc",
                "Error": "abc",
                "Percentage": 0,
                "OutputMessage": "abc",
                "TaskType": "abc",
                "ProgressDetail": "abc",
                "UpdateTime": "abc",
                "DataEngineId": "abc",
                "OperateUin": "abc",
                "DataEngineName": "abc",
                "InputType": "abc",
                "InputConf": "abc",
                "DataNumber": 0,
                "CanDownload": true,
                "UserAlias": "abc",
                "SparkJobName": "abc",
                "SparkJobId": "abc",
                "SparkJobFile": "abc",
                "UiUrl": "abc",
                "TotalTime": 0,
                "CmdArgs": "abc",
                "ImageVersion": "abc",
                "DriverSize": "abc",
                "ExecutorSize": "abc",
                "ExecutorNums": 1,
                "ExecutorMaxNumbers": 1,
                "CommonMetrics": {
                    "CreateTaskTime": 0,
                    "ProcessTime": 0,
                    "QueueTime": 0,
                    "ExecutionTime": 0,
                    "IsResultCacheHit": true,
                    "MatchedMVBytes": 0,
                    "MatchedMVs": "abc",
                    "AffectedBytes": "abc",
                    "AffectedRows": 0,
                    "ProcessedBytes": 0,
                    "ProcessedRows": 0
                },
                "SparkMonitorMetrics": {
                    "ShuffleWriteBytesCos": 0,
                    "ShuffleWriteBytesTotal": 0
                },
                "PrestoMonitorMetrics": {
                    "LocalCacheHitRate": 0,
                    "FragmentCacheHitRate": 0
                }
            }
        ],
        "RequestId": "abc"
    }
}

5. 开发者资源

腾讯云 API 平台

腾讯云 API 平台 是综合 API 文档、错误码、API Explorer 及 SDK 等资源的统一查询平台,方便您从同一入口查询及使用腾讯云提供的所有 API 服务。

API Inspector

用户可通过 API Inspector 查看控制台每一步操作关联的 API 调用情况,并自动生成各语言版本的 API 代码,也可前往 API Explorer 进行在线调试。

SDK

云 API 3.0 提供了配套的开发工具集(SDK),支持多种编程语言,能更方便的调用 API。

命令行工具

6. 错误码

以下仅列出了接口业务逻辑相关的错误码,其他错误码详见 公共错误码

错误码 描述
FailedOperation 操作失败。
InternalError.InternalSystemException 业务系统异常,请重试或提工单联系我们。
InvalidParameter.FiltersValuesNumberOutOfLimit 指定Filter.Values参数数量超限,当前应小于等于50个
InvalidParameter.InvalidTimeFormat 指定时间格式不合规,当前仅支持: YYYY-mm-dd HH:MM:SS
InvalidParameter.InvalidTimeParameter 日期参数异常,如结束时间早于开始时间
InvalidParameter.ParameterNotFoundOrBeNone 找不到参数或参数为空
InvalidParameter.SparkJobFiltersKeyTypeNotMath 指定的Spark任务Filter.Key不匹配,当前仅支持: spark-app-type/user-name/spark-job-name/spark-job-id/key-word
InvalidParameter.SparkJobNotFound 指定的Spark任务不存在
InvalidParameter.SparkJobNotUnique 指定的Spark任务已存在
ResourceUnavailable.WhiteListFunction 当前为白名单功能,请联系我们开通