1. 接口描述
接口请求域名: dlc.tencentcloudapi.com 。
更新spark作业
默认接口请求频率限制:20次/秒。
推荐使用 API Explorer
点击调试
API Explorer 提供了在线调用、签名验证、SDK 代码生成和快速检索接口等能力。您可查看每次调用的请求内容和返回结果以及自动生成 SDK 调用示例。
2. 输入参数
以下请求参数列表仅列出了接口请求参数和部分公共参数,完整公共参数列表见 公共请求参数。
参数名称 | 必选 | 类型 | 描述 |
---|---|---|---|
Action | 是 | String | 公共参数,本接口取值:ModifySparkApp。 |
Version | 是 | String | 公共参数,本接口取值:2021-01-25。 |
Region | 是 | String | 公共参数,详见产品支持的 地域列表。 |
AppName | 是 | String | spark作业名 示例值:app-test |
AppType | 是 | Integer | spark作业类型,1代表spark jar作业,2代表spark streaming作业 示例值:1,2 |
DataEngine | 是 | String | 执行spark作业的数据引擎名称 示例值:spark-engine |
AppFile | 是 | String | spark作业程序包文件路径 示例值:test.jar |
RoleArn | 是 | Integer | 数据访问策略,CAM Role arn 示例值:12 |
AppDriverSize | 是 | String | 指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu) 示例值:small |
AppExecutorSize | 是 | String | 指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu) 示例值:small |
AppExecutorNums | 是 | Integer | spark作业executor个数 示例值:1 |
SparkAppId | 是 | String | spark作业Id 示例值:batch_ssta |
Eni | 否 | String | 该字段已下线,请使用字段Datasource 示例值:kafka-datasource |
IsLocal | 否 | String | spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用) 示例值:cos |
MainClass | 否 | String | spark作业主类 示例值:org.test.WordCount |
AppConf | 否 | String | spark配置,以换行符分隔 示例值:spark.default.parallelism=2000 |
IsLocalJars | 否 | String | spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用) 示例值:cos |
AppJars | 否 | String | spark 作业依赖jar包(--jars),以逗号分隔 示例值:com.test.jar |
IsLocalFiles | 否 | String | spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用) 示例值:cos |
AppFiles | 否 | String | spark作业依赖文件资源(--files)(非jar、zip),以逗号分隔 示例值:spark-default.properties |
IsLocalPythonFiles | 否 | String | pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用) 示例值:cos |
AppPythonFiles | 否 | String | pyspark作业依赖python资源(--py-files),支持py/zip/egg等归档格式,多文件以逗号分隔 示例值:test.py |
CmdArgs | 否 | String | spark作业程序入参 示例值:10 |
MaxRetries | 否 | Integer | 最大重试次数,只对spark流任务生效 示例值:1 |
DataSource | 否 | String | 数据源名 示例值:kafka-datasource |
IsLocalArchives | 否 | String | spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用) 示例值:cos |
AppArchives | 否 | String | spark作业依赖archives资源(--archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔 示例值:file1.tar.gz#abc |
SparkImage | 否 | String | Spark Image 版本号 示例值:1.0 |
SparkImageVersion | 否 | String | Spark Image 版本名称 示例值:spark:3.2.1-java |
AppExecutorMaxNumbers | 否 | Integer | 指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums 示例值:1 |
SessionId | 否 | String | 关联dlc查询脚本 示例值:dshd-dsdw-deksa-2esd-edsaw |
IsInherit | 否 | Integer | 任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承 示例值:0 |
IsSessionStarted | 否 | Boolean | 是否使用session脚本的sql运行任务:false:否,true:是 示例值:false |
DependencyPackages.N | 否 | Array of DependencyPackage | 标准引擎依赖包 |
3. 输出参数
参数名称 | 类型 | 描述 |
---|---|---|
RequestId | String | 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。 |
4. 示例
示例1 更新spark作业
输入示例
POST / HTTP/1.1
Host: dlc.tencentcloudapi.com
Content-Type: application/json
X-TC-Action: ModifySparkApp
<公共请求参数>
{
"AppName": "jar_check_1",
"AppType": 1,
"DataEngine": "thea_T282_spark_勿删",
"IsLocal": "lakefs",
"AppFile": "lakefs://demo/1304581893/.system/sparkAppJar/20250519/be923656-33c0-4b6a-a4f8-814efb293f29/app-1.0-SNAPSHOT.jar",
"IsLocalJars": "cos",
"AppJars": "",
"IsLocalFiles": "cos",
"AppArchives": "",
"IsLocalArchives": "cos",
"AppFiles": "",
"IsLocalPythonFiles": "cos",
"AppPythonFiles": "",
"RoleArn": 1211,
"SparkImage": "",
"MainClass": "org.example.job.AppTest",
"CmdArgs": "",
"AppConf": "",
"AppExecutorSize": "small",
"AppDriverSize": "small",
"AppExecutorNums": 1,
"MaxRetries": 1,
"DataSource": "",
"SessionId": "",
"AppExecutorMaxNumbers": 1,
"IsInherit": 0,
"SparkImageVersion": "",
"DependencyPackages": [
{
"PackageSource": "Maven",
"MavenPackage": "com.github.penfeizhou.android.animation:glide-plugin:3.0.5"
}
],
"IsSessionStarted": false,
"SparkAppId": "batch_776890ff-4f47-48e7-88ea-5c50c55c3866"
}
输出示例
{
"Response": {
"RequestId": "d1e95669-101e-4d06-a9a7-c56d83f60b03"
}
}
5. 开发者资源
腾讯云 API 平台
腾讯云 API 平台 是综合 API 文档、错误码、API Explorer 及 SDK 等资源的统一查询平台,方便您从同一入口查询及使用腾讯云提供的所有 API 服务。
API Inspector
用户可通过 API Inspector 查看控制台每一步操作关联的 API 调用情况,并自动生成各语言版本的 API 代码,也可前往 API Explorer 进行在线调试。
SDK
云 API 3.0 提供了配套的开发工具集(SDK),支持多种编程语言,能更方便的调用 API。
- Tencent Cloud SDK 3.0 for Python: GitHub, Gitee
- Tencent Cloud SDK 3.0 for Java: GitHub, Gitee
- Tencent Cloud SDK 3.0 for PHP: GitHub, Gitee
- Tencent Cloud SDK 3.0 for Go: GitHub, Gitee
- Tencent Cloud SDK 3.0 for Node.js: GitHub, Gitee
- Tencent Cloud SDK 3.0 for .NET: GitHub, Gitee
- Tencent Cloud SDK 3.0 for C++: GitHub, Gitee
- Tencent Cloud SDK 3.0 for Ruby: GitHub, Gitee
命令行工具
6. 错误码
以下仅列出了接口业务逻辑相关的错误码,其他错误码详见 公共错误码。
错误码 | 描述 |
---|---|
FailedOperation | 操作失败。 |
InternalError.InternalSystemException | 业务系统异常,请重试或提工单联系我们。 |
InvalidParameter.InvalidAppFileFormat | 指定的Spark任务程序包文件格式不匹配,当前仅支持.jar或.py |
InvalidParameter.InvalidDataEngineName | 无效的数据引擎名。 |
InvalidParameter.InvalidDriverSize | 当前DriverSize规格仅支持: small/medium/large/xlarge/m.small/m.medium/m.large/m.xlarge |
InvalidParameter.InvalidExecutorSize | 当前ExecutorSize规格仅支持: small/medium/large/xlarge/m.small/m.medium/m.large/m.xlarge |
InvalidParameter.InvalidFileCompressionFormat | 指定的文件压缩格式不合规,当前仅支持: tar.gz/tar/tgz |
InvalidParameter.InvalidFilePathFormat | 指定的文件路径格式不合规,当前仅支持:cosn://或lakefs:// |
InvalidParameter.SQLBase64DecodeFail | SQL脚本Base64解析失败 |
InvalidParameter.SparkJobNotFound | 指定的Spark任务不存在 |
InvalidParameter.SparkJobOnlySupportSparkBatchEngine | Spark任务仅支持使用Spark作业引擎运行 |
ResourceInsufficient.SparkJobInsufficientResources | 指定的spark作业资源不足,请调整driver/executor规格 |
ResourceNotFound.DataEngineNotFound | 指定的引擎不存在 |