数据湖计算 DLC 查询spark应用的运行任务实例列表

1. 接口描述

接口请求域名： dlc.tencentcloudapi.com 。

查询Spark作业的运行任务列表

默认接口请求频率限制：40次/秒。

推荐使用 API Explorer

点击调试

API Explorer 提供了在线调用、签名验证、SDK 代码生成和快速检索接口等能力。您可查看每次调用的请求内容和返回结果以及自动生成 SDK 调用示例。

2. 输入参数

以下请求参数列表仅列出了接口请求参数和部分公共参数，完整公共参数列表见公共请求参数。

参数名称	必选	类型	描述
Action	是	String	公共参数，本接口取值：DescribeSparkAppTasks。
Version	是	String	公共参数，本接口取值：2021-01-25。
Region	是	String	公共参数，详见产品支持的地域列表。
JobId	是	String	spark作业Id 示例值：batch_133e005d-6486-4517-8ea7-b6b97b183a6b
Offset	否	Integer	分页查询偏移量示例值：0
Limit	否	Integer	分页查询Limit 示例值：10
TaskId	否	String	执行实例id 示例值：20241028204024629
StartTime	否	String	更新时间起始点，支持格式：yyyy-MM-dd HH:mm:ss 示例值：2022-01-01 00:00:00
EndTime	否	String	更新时间截止点，支持格式：yyyy-MM-dd HH:mm:ss 示例值：2022-01-02 00:00:00
Filters.N	否	Array of Filter	按照该参数过滤,支持task-state

3. 输出参数

参数名称	类型	描述
Tasks	TaskResponseInfo	任务结果（该字段已废弃）注意：此字段可能返回 null，表示取不到有效值。
TotalCount	Integer	任务总数示例值：1
SparkAppTasks	Array of TaskResponseInfo	任务结果列表注意：此字段可能返回 null，表示取不到有效值。
RequestId	String	唯一请求 ID，由服务端生成，每次请求都会返回（若请求因其他原因未能抵达服务端，则该次请求不会获得 RequestId）。定位问题时需要提供该次请求的 RequestId。

4. 示例

示例1 查询Spark作业的运行任务列表

查询Spark作业的运行任务列表

输入示例

POST / HTTP/1.1
Host: dlc.tencentcloudapi.com
Content-Type: application/json
X-TC-Action:DescribeSparkAppTasks
<公共请求参数>

{
    "JobId": "batch_133e005d-6486-4517-8ea7-b6b97b183a6b",
    "Offset": 0,
    "Limit": 10
}

输出示例

{
    "Response": {
        "Tasks": {
            "DatabaseName": "my_database",
            "DataAmount": 1000,
            "Id": "task_001",
            "UsedTime": 120,
            "OutputPath": "/data/output/",
            "CreateTime": "2025-01-13T12:00:00Z",
            "State": 1,
            "SQLType": "SELECT",
            "SQL": "SELECT * FROM my_table;",
            "ResultExpired": false,
            "RowAffectInfo": "100 rows affected",
            "DataSet": "my_data_set",
            "Error": "",
            "Percentage": 75,
            "OutputMessage": "Task completed",
            "TaskType": "DataProcessing",
            "ProgressDetail": "75% complete",
            "UpdateTime": "2025-01-13T13:00:00Z",
            "DataEngineId": "engine_01",
            "OperateUin": "user_123",
            "DataEngineName": "Spark Engine",
            "InputType": "CSV",
            "InputConf": "/config/input.csv",
            "DataNumber": 5000,
            "CanDownload": true,
            "UserAlias": "john_doe",
            "SparkJobName": "data_processing_job",
            "SparkJobId": "job_001",
            "SparkJobFile": "/jobs/job_001.jar",
            "UiUrl": "https://mydashboard.com/job_001",
            "TotalTime": 150,
            "CmdArgs": "--input /data/input.csv --output /data/output/",
            "ImageVersion": "1.0.0",
            "DriverSize": "large",
            "ExecutorSize": "medium",
            "ExecutorNums": 4,
            "ExecutorMaxNumbers": 10,
            "CommonMetrics": {
                "CreateTaskTime": 5,
                "ProcessTime": 100,
                "QueueTime": 10,
                "ExecutionTime": 120,
                "IsResultCacheHit": true,
                "MatchedMVBytes": 2048,
                "MatchedMVs": "2",
                "AffectedBytes": "11",
                "AffectedRows": 1000,
                "ProcessedBytes": 314572800,
                "ProcessedRows": 1000
            },
            "SparkMonitorMetrics": {
                "ShuffleWriteBytesCos": 500000,
                "ShuffleWriteBytesTotal": 1000000
            },
            "PrestoMonitorMetrics": {
                "LocalCacheHitRate": 95,
                "FragmentCacheHitRate": 90
            }
        },
        "TotalCount": 1,
        "SparkAppTasks": [
            {
                "DatabaseName": "my_database",
                "DataAmount": 1000,
                "Id": "task_001",
                "UsedTime": 120,
                "OutputPath": "/data/output/",
                "CreateTime": "2025-01-13T12:00:00Z",
                "State": 1,
                "SQLType": "SELECT",
                "SQL": "SELECT * FROM my_table;",
                "ResultExpired": false,
                "RowAffectInfo": "100 rows affected",
                "DataSet": "my_data_set",
                "Error": "",
                "Percentage": 75,
                "OutputMessage": "Task completed",
                "TaskType": "DataProcessing",
                "ProgressDetail": "75% complete",
                "UpdateTime": "2025-01-13T13:00:00Z",
                "DataEngineId": "engine_01",
                "OperateUin": "user_123",
                "DataEngineName": "Spark Engine",
                "InputType": "CSV",
                "InputConf": "/config/input.csv",
                "DataNumber": 5000,
                "CanDownload": true,
                "UserAlias": "john_doe",
                "SparkJobName": "data_processing_job",
                "SparkJobId": "job_001",
                "SparkJobFile": "/jobs/job_001.jar",
                "UiUrl": "https://mydashboard.com/job_001",
                "TotalTime": 150,
                "CmdArgs": "--input /data/input.csv --output /data/output/",
                "ImageVersion": "1.0.0",
                "DriverSize": "large",
                "ExecutorSize": "medium",
                "ExecutorNums": 4,
                "ExecutorMaxNumbers": 10,
                "CommonMetrics": {
                    "CreateTaskTime": 5,
                    "ProcessTime": 100,
                    "QueueTime": 10,
                    "ExecutionTime": 120,
                    "IsResultCacheHit": true,
                    "MatchedMVBytes": 2048,
                    "MatchedMVs": "2",
                    "AffectedBytes": "11",
                    "AffectedRows": 1000,
                    "ProcessedBytes": 314572800,
                    "ProcessedRows": 1000
                },
                "SparkMonitorMetrics": {
                    "ShuffleWriteBytesCos": 500000,
                    "ShuffleWriteBytesTotal": 1000000
                },
                "PrestoMonitorMetrics": {
                    "LocalCacheHitRate": 95,
                    "FragmentCacheHitRate": 90
                }
            }
        ],
        "RequestId": "dbb4e0d5-d07a-4c63-8af2-7ccd00b4ab90"
    }
}

5. 开发者资源

腾讯云 API 平台

腾讯云 API 平台是综合 API 文档、错误码、API Explorer 及 SDK 等资源的统一查询平台，方便您从同一入口查询及使用腾讯云提供的所有 API 服务。

API Inspector

用户可通过 API Inspector 查看控制台每一步操作关联的 API 调用情况，并自动生成各语言版本的 API 代码，也可前往 API Explorer 进行在线调试。

SDK

云 API 3.0 提供了配套的开发工具集（SDK），支持多种编程语言，能更方便的调用 API。

Tencent Cloud SDK 3.0 for Python: GitHub Gitee
Tencent Cloud SDK 3.0 for Java: GitHub Gitee
Tencent Cloud SDK 3.0 for PHP: GitHub Gitee
Tencent Cloud SDK 3.0 for Go: GitHub Gitee
Tencent Cloud SDK 3.0 for Node.js: GitHub Gitee
Tencent Cloud SDK 3.0 for .NET: GitHub Gitee
Tencent Cloud SDK 3.0 for C++: GitHub Gitee
Tencent Cloud SDK 3.0 for Ruby: GitHub Gitee

命令行工具

Tencent Cloud CLI 3.0

6. 错误码

以下仅列出了接口业务逻辑相关的错误码，其他错误码详见公共错误码。

错误码	描述
FailedOperation	操作失败。
InternalError.InternalSystemException	业务系统异常，请重试或提工单联系我们。
InvalidParameter.FiltersValuesNumberOutOfLimit	指定Filter.Values参数数量超限，当前应小于等于50个
InvalidParameter.InvalidTimeFormat	指定时间格式不合规，当前仅支持: YYYY-mm-dd HH:MM:SS
InvalidParameter.InvalidTimeParameter	日期参数异常，如结束时间早于开始时间
InvalidParameter.ParameterNotFoundOrBeNone	找不到参数或参数为空
InvalidParameter.SparkJobFiltersKeyTypeNotMath	指定的Spark任务Filter.Key不匹配，当前仅支持: spark-app-type/user-name/spark-job-name/spark-job-id/key-word
InvalidParameter.SparkJobNotFound	指定的Spark任务不存在
InvalidParameter.SparkJobNotUnique	指定的Spark任务已存在
ResourceUnavailable.WhiteListFunction	当前为白名单功能，请联系我们开通

近期搜索热词

云服务器

云硬盘

容器服务

负载均衡

弹性伸缩

云函数

私有网络

批量计算

专线接入

API 网关

微服务平台 TSF

对象存储

文件存储

全站加速网络

消息队列 CKafka 版

日志服务

云数据库 MySQL

云数据库 MariaDB

云数据库 SQL Server

云数据库 PostgreSQL

内容分发网络 CDN

云数据库 Redis®

云数据库 Memcached

云数据库 MongoDB

TDSQL MySQL版

数据传输服务

全球应用加速

腾讯云区块链服务平台 TBaaS

云拨测

访问管理

主机安全

DDoS 防护

标签

Web 应用防火墙

密钥管理系统

操作审计

域名注册

SSL 证书

数据万象

短信

NLP 技术

云点播

云市场

云加密机

云安全中心

云开发 CloudBase

腾讯云数据仓库 TCHouse-P

人脸识别

文字识别

图像识别

口语评测（基础版）

集团账号管理

Elasticsearch Service

流计算 Oceanus

媒体处理

云直播

云联络中心

物联网通信

机器翻译

人脸融合

游戏数据库 TcaplusDB

弹性 MapReduce

腾讯云 BI

游戏多媒体引擎

实时音视频

TI-ONE 训练平台

渠道合作伙伴

数据安全审计

商场客留大数据

腾讯云健康看板

Cloud Studio（云端 IDE）

声音复刻

文旅客情大数据

实时互动-工业能源版

腾讯健康组学平台

大模型图像创作引擎

云压测

数据加速器 GooseFS

云数据库 KeeWiDB