数据湖计算 DLC 查询spark应用的运行任务实例列表

1. 接口描述

接口请求域名： dlc.tencentcloudapi.com 。

查询Spark作业的运行任务列表

默认接口请求频率限制：40次/秒。

推荐使用 API Explorer

点击调试

API Explorer 提供了在线调用、签名验证、SDK 代码生成和快速检索接口等能力。您可查看每次调用的请求内容和返回结果以及自动生成 SDK 调用示例。

2. 输入参数

以下请求参数列表仅列出了接口请求参数和部分公共参数，完整公共参数列表见公共请求参数。

参数名称	必选	类型	描述
Action	是	String	公共参数，本接口取值：DescribeSparkAppTasks。
Version	是	String	公共参数，本接口取值：2021-01-25。
Region	是	String	公共参数，详见产品支持的地域列表。
JobId	是	String	spark作业Id 示例值：batch_133e005d-6486-4517-8ea7-b6b97b183a6b
Offset	否	Integer	分页查询偏移量示例值：0
Limit	否	Integer	分页查询Limit 示例值：10
TaskId	否	String	执行实例id 示例值：20241028204024629
StartTime	否	String	更新时间起始点，支持格式：yyyy-MM-dd HH:mm:ss 示例值：2022-01-01 00:00:00
EndTime	否	String	更新时间截止点，支持格式：yyyy-MM-dd HH:mm:ss 示例值：2022-01-02 00:00:00
Filters.N	否	Array of Filter	按照该参数过滤,支持task-state

3. 输出参数

参数名称	类型	描述
Tasks	TaskResponseInfo	任务结果（该字段已废弃）注意：此字段可能返回 null，表示取不到有效值。
TotalCount	Integer	任务总数示例值：1
SparkAppTasks	Array of TaskResponseInfo	任务结果列表注意：此字段可能返回 null，表示取不到有效值。
RequestId	String	唯一请求 ID，由服务端生成，每次请求都会返回（若请求因其他原因未能抵达服务端，则该次请求不会获得 RequestId）。定位问题时需要提供该次请求的 RequestId。

4. 示例

示例1 查询Spark作业的运行任务列表

查询Spark作业的运行任务列表

输入示例

POST / HTTP/1.1
Host: dlc.tencentcloudapi.com
Content-Type: application/json
X-TC-Action:DescribeSparkAppTasks
<公共请求参数>

{
    "JobId": "batch_133e005d-6486-4517-8ea7-b6b97b183a6b",
    "Offset": 0,
    "Limit": 10
}

输出示例

{
    "Response": {
        "Tasks": {
            "DatabaseName": "my_database",
            "DataAmount": 1000,
            "Id": "task_001",
            "UsedTime": 120,
            "OutputPath": "/data/output/",
            "CreateTime": "2025-01-13T12:00:00Z",
            "State": 1,
            "SQLType": "SELECT",
            "SQL": "SELECT * FROM my_table;",
            "ResultExpired": false,
            "RowAffectInfo": "100 rows affected",
            "DataSet": "my_data_set",
            "Error": "",
            "Percentage": 75,
            "OutputMessage": "Task completed",
            "TaskType": "DataProcessing",
            "ProgressDetail": "75% complete",
            "UpdateTime": "2025-01-13T13:00:00Z",
            "DataEngineId": "engine_01",
            "OperateUin": "user_123",
            "DataEngineName": "Spark Engine",
            "InputType": "CSV",
            "InputConf": "/config/input.csv",
            "DataNumber": 5000,
            "CanDownload": true,
            "UserAlias": "john_doe",
            "SparkJobName": "data_processing_job",
            "SparkJobId": "job_001",
            "SparkJobFile": "/jobs/job_001.jar",
            "UiUrl": "https://mydashboard.com/job_001",
            "TotalTime": 150,
            "CmdArgs": "--input /data/input.csv --output /data/output/",
            "ImageVersion": "1.0.0",
            "DriverSize": "large",
            "ExecutorSize": "medium",
            "ExecutorNums": 4,
            "ExecutorMaxNumbers": 10,
            "CommonMetrics": {
                "CreateTaskTime": 5,
                "ProcessTime": 100,
                "QueueTime": 10,
                "ExecutionTime": 120,
                "IsResultCacheHit": true,
                "MatchedMVBytes": 2048,
                "MatchedMVs": "2",
                "AffectedBytes": "11",
                "AffectedRows": 1000,
                "ProcessedBytes": 314572800,
                "ProcessedRows": 1000
            },
            "SparkMonitorMetrics": {
                "ShuffleWriteBytesCos": 500000,
                "ShuffleWriteBytesTotal": 1000000
            },
            "PrestoMonitorMetrics": {
                "LocalCacheHitRate": 95,
                "FragmentCacheHitRate": 90
            }
        },
        "TotalCount": 1,
        "SparkAppTasks": [
            {
                "DatabaseName": "my_database",
                "DataAmount": 1000,
                "Id": "task_001",
                "UsedTime": 120,
                "OutputPath": "/data/output/",
                "CreateTime": "2025-01-13T12:00:00Z",
                "State": 1,
                "SQLType": "SELECT",
                "SQL": "SELECT * FROM my_table;",
                "ResultExpired": false,
                "RowAffectInfo": "100 rows affected",
                "DataSet": "my_data_set",
                "Error": "",
                "Percentage": 75,
                "OutputMessage": "Task completed",
                "TaskType": "DataProcessing",
                "ProgressDetail": "75% complete",
                "UpdateTime": "2025-01-13T13:00:00Z",
                "DataEngineId": "engine_01",
                "OperateUin": "user_123",
                "DataEngineName": "Spark Engine",
                "InputType": "CSV",
                "InputConf": "/config/input.csv",
                "DataNumber": 5000,
                "CanDownload": true,
                "UserAlias": "john_doe",
                "SparkJobName": "data_processing_job",
                "SparkJobId": "job_001",
                "SparkJobFile": "/jobs/job_001.jar",
                "UiUrl": "https://mydashboard.com/job_001",
                "TotalTime": 150,
                "CmdArgs": "--input /data/input.csv --output /data/output/",
                "ImageVersion": "1.0.0",
                "DriverSize": "large",
                "ExecutorSize": "medium",
                "ExecutorNums": 4,
                "ExecutorMaxNumbers": 10,
                "CommonMetrics": {
                    "CreateTaskTime": 5,
                    "ProcessTime": 100,
                    "QueueTime": 10,
                    "ExecutionTime": 120,
                    "IsResultCacheHit": true,
                    "MatchedMVBytes": 2048,
                    "MatchedMVs": "2",
                    "AffectedBytes": "11",
                    "AffectedRows": 1000,
                    "ProcessedBytes": 314572800,
                    "ProcessedRows": 1000
                },
                "SparkMonitorMetrics": {
                    "ShuffleWriteBytesCos": 500000,
                    "ShuffleWriteBytesTotal": 1000000
                },
                "PrestoMonitorMetrics": {
                    "LocalCacheHitRate": 95,
                    "FragmentCacheHitRate": 90
                }
            }
        ],
        "RequestId": "dbb4e0d5-d07a-4c63-8af2-7ccd00b4ab90"
    }
}

5. 开发者资源

腾讯云 API 平台

腾讯云 API 平台是综合 API 文档、错误码、API Explorer 及 SDK 等资源的统一查询平台，方便您从同一入口查询及使用腾讯云提供的所有 API 服务。

API Inspector

用户可通过 API Inspector 查看控制台每一步操作关联的 API 调用情况，并自动生成各语言版本的 API 代码，也可前往 API Explorer 进行在线调试。

SDK

云 API 3.0 提供了配套的开发工具集（SDK），支持多种编程语言，能更方便的调用 API。

Tencent Cloud SDK 3.0 for Python: GitHub, Gitee
Tencent Cloud SDK 3.0 for Java: GitHub, Gitee
Tencent Cloud SDK 3.0 for PHP: GitHub, Gitee
Tencent Cloud SDK 3.0 for Go: GitHub, Gitee
Tencent Cloud SDK 3.0 for Node.js: GitHub, Gitee
Tencent Cloud SDK 3.0 for .NET: GitHub, Gitee
Tencent Cloud SDK 3.0 for C++: GitHub, Gitee
Tencent Cloud SDK 3.0 for Ruby: GitHub, Gitee

命令行工具

Tencent Cloud CLI 3.0

6. 错误码

以下仅列出了接口业务逻辑相关的错误码，其他错误码详见公共错误码。

错误码	描述
FailedOperation	操作失败。
InternalError.InternalSystemException	业务系统异常，请重试或提工单联系我们。
InvalidParameter.FiltersValuesNumberOutOfLimit	指定Filter.Values参数数量超限，当前应小于等于50个
InvalidParameter.InvalidTimeFormat	指定时间格式不合规，当前仅支持: YYYY-mm-dd HH:MM:SS
InvalidParameter.InvalidTimeParameter	日期参数异常，如结束时间早于开始时间
InvalidParameter.ParameterNotFoundOrBeNone	找不到参数或参数为空
InvalidParameter.SparkJobFiltersKeyTypeNotMath	指定的Spark任务Filter.Key不匹配，当前仅支持: spark-app-type/user-name/spark-job-name/spark-job-id/key-word
InvalidParameter.SparkJobNotFound	指定的Spark任务不存在
InvalidParameter.SparkJobNotUnique	指定的Spark任务已存在
ResourceUnavailable.WhiteListFunction	当前为白名单功能，请联系我们开通

查询spark应用的运行任务实例列表

本页目录：