1. 接口描述
接口请求域名: dlc.tencentcloudapi.com 。
本接口(CreateSparkSubmitTask)用于提交SparkSbumit批流任务。
默认接口请求频率限制:20次/秒。
推荐使用 API Explorer
点击调试
API Explorer 提供了在线调用、签名验证、SDK 代码生成和快速检索接口等能力。您可查看每次调用的请求内容和返回结果以及自动生成 SDK 调用示例。
2. 输入参数
以下请求参数列表仅列出了接口请求参数和部分公共参数,完整公共参数列表见 公共请求参数。
| 参数名称 | 必选 | 类型 | 描述 |
|---|---|---|---|
| Action | 是 | String | 公共参数,本接口取值:CreateSparkSubmitTask。 |
| Version | 是 | String | 公共参数,本接口取值:2021-01-25。 |
| Region | 是 | String | 公共参数,详见产品支持的 地域列表。 |
| TaskName | 是 | String | 任务名称 示例值:testName |
| TaskType | 是 | Integer | 任务类型:当前支持1: BatchType, 2: StreamingType, 4: SQLType 示例值:1 |
| DataEngineName | 是 | String | 引擎名称,当前仅支持Spark批作业集群 示例值:testEngine |
| PackagePath | 是 | String | 指定运行的程序脚本路径,当前仅支持jar和py,对于SQLType该值设为空字符串 示例值:cosn://xxx.jar |
| RoleArn | 是 | Integer | 指定的鉴权信息 示例值:1 |
| IsInherit | 是 | Integer | 运行任务所需资源是否继承自集群上配置资源信息,0(默认,不继承)、1(继承,当设置为该值,则任务级资源配置可不额外指定) 示例值:0 |
| MainClass | 否 | String | jar任务时需要指定主程序 示例值:Main |
| DriverSize | 否 | String | 当前DriverSize规格仅支持(内存型集群则使用m前缀的枚举值): small/medium/large/xlarge/m.small/m.medium/m.large/m.xlarge 示例值:small |
| ExecutorSize | 否 | String | 当前ExecutorSize规格仅支持(内存型集群则使用m前缀的枚举值): small/medium/large/xlarge/m.small/m.medium/m.large/m.xlarge 示例值:small |
| ExecutorNumbers | 否 | Integer | 指定使用的executor数量,最小为1 示例值:1 |
| ExecutorMaxNumbers | 否 | Integer | 指定使用的executor最大数量, 当该值大于ExecutorNums则自动开启动态 示例值:5 |
| CmdArgs.N | 否 | Array of KVPair | 提交任务的附加配置集合,当前支持Key包含:MAINARGS:程序入口参数,空格分割(SqlType任务通过该值指定base64加密后的sql)、SPARKCONFIG:Spark配置,以换行符分隔、ENI:Eni连接信息、DEPENDENCYPACKAGEPATH:依赖的程序包(--jars、--py-files:支持py/zip/egg等归档格式),多文件以逗号分隔、DEPENDENCYFILEPATH:依赖文件资源(--files: 非jar、zip),多文件以逗号分隔、DEPENDENCYARCHIVESPATH:依赖archives资源(--archives: 支持tar.gz/tgz/tar等归档格式),多文件以逗号分隔、MAXRETRIES:任务重试次数,非流任务默认为1、SPARKIMAGE:Spark镜像版本号,支持使用dlc镜像/用户自定的tcr镜像运行任务、SPARKIMAGEVERSION:Spark镜像版本名称,与SPARKIMAGE一一对应;SPARKPRESETCODE:base64后的notebook预置代码;SPARKENV:base64后的spark环境变量;SPARKGITINFO:base64后的git相关信息 |
| SourceInfo.N | 否 | Array of KVPair | 任务来源信息 |
| ResourceGroupName | 否 | String | ai资源组名称 示例值:ai-resource |
3. 输出参数
| 参数名称 | 类型 | 描述 |
|---|---|---|
| BatchId | String | 批作业ID 示例值:04529f7b-2e3a-70d7-72b4-a0dd3a300c |
| TaskId | String | 批任务ID,用改ID进行任务的查询与删除等 示例值:045sjeb-2e3a-70d7-72b4-a0dd3a300c |
| RequestId | String | 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。 |
4. 示例
示例1 提交SparkSubmit任务
本接口用于提交SparkSubmit任务
输入示例
POST / HTTP/1.1
Host: dlc.tencentcloudapi.com
Content-Type: application/json
X-TC-Action: CreateSparkSubmitTask
<公共请求参数>
{
"TaskName": "testName",
"TaskType": 1,
"DataEngineName": "testEngine",
"PackagePath": "cosn://xxx.jar",
"MainClass": "Main",
"RoleArn": 0,
"IsInherit": 1,
"DriverSize": "small",
"ExecutorSize": "small",
"ExecutorNumbers": 1,
"ExecutorMaxNumbers": 1,
"CmdArgs": [
{
"Key": "MAINARGS",
"Value": "xejalljhhlJFJLd1gl"
}
]
}
输出示例
{
"Response": {
"BatchId": "2ade477a-9f72-44aa-9fd4-65cb739d6301",
"TaskId": "2ae0ds7a-9f72-44aa-9fd4-65cb739d6301",
"RequestId": "2ae4707a-9f72-44aa-9fd4-65cb739d6301"
}
}
5. 开发者资源
腾讯云 API 平台
腾讯云 API 平台 是综合 API 文档、错误码、API Explorer 及 SDK 等资源的统一查询平台,方便您从同一入口查询及使用腾讯云提供的所有 API 服务。
API Inspector
用户可通过 API Inspector 查看控制台每一步操作关联的 API 调用情况,并自动生成各语言版本的 API 代码,也可前往 API Explorer 进行在线调试。
SDK
云 API 3.0 提供了配套的开发工具集(SDK),支持多种编程语言,能更方便的调用 API。
- Tencent Cloud SDK 3.0 for Python: CNB, GitHub, Gitee
- Tencent Cloud SDK 3.0 for Java: CNB, GitHub, Gitee
- Tencent Cloud SDK 3.0 for PHP: CNB, GitHub, Gitee
- Tencent Cloud SDK 3.0 for Go: CNB, GitHub, Gitee
- Tencent Cloud SDK 3.0 for Node.js: CNB, GitHub, Gitee
- Tencent Cloud SDK 3.0 for .NET: CNB, GitHub, Gitee
- Tencent Cloud SDK 3.0 for C++: CNB, GitHub, Gitee
- Tencent Cloud SDK 3.0 for Ruby: CNB, GitHub, Gitee
命令行工具
6. 错误码
以下仅列出了接口业务逻辑相关的错误码,其他错误码详见 公共错误码。
| 错误码 | 描述 |
|---|---|
| FailedOperation | 操作失败。 |
| FailedOperation.NoPermissionToUseTheDataEngine | 用户没有指定引擎的使用权限 |
| InternalError.InternalSystemException | 业务系统异常,请重试或提工单联系我们。 |
| InvalidParameter.ImageEngineTypeNotMatch | 指定引擎类型不匹配,当前仅支持: SparkSQL, PrestoSQL, SparkBatch |
| InvalidParameter.ImageIsPublicNotMatch | 指定isPublic不匹配,当前仅支持: 1:公共, 2:私有 |
| InvalidParameter.ImageParameterSubmitMethodNotMatch | 指定集群镜像ParameterSubmitMethod不匹配,当前仅支持: User, BackGround |
| InvalidParameter.ImageParameterTypeNotMatch | 指定集群镜像ParameterType不匹配,当前仅支持: 1: session , 2: common, 3: cluster |
| InvalidParameter.ImageSessionParametersFormatNotJson | 指定集群镜像Session参数格式非JSON |
| InvalidParameter.ImageStateNotMatch | 指定state不匹配,当前仅支持: 1:初始化, 2:上线, 3:下线 |
| InvalidParameter.ImageUserRecordsTypeNotMatch | 指定集群镜像UserRecords不匹配,当前仅支持: 1: parentVersion, 2: childVersion, 3: pySpark |
| InvalidParameter.InvalidAppFileFormat | 指定的Spark任务程序包文件格式不匹配,当前仅支持.jar或.py |
| InvalidParameter.InvalidDriverSize | 当前DriverSize规格仅支持: small/medium/large/xlarge/m.small/m.medium/m.large/m.xlarge |
| InvalidParameter.InvalidExecutorSize | 当前ExecutorSize规格仅支持: small/medium/large/xlarge/m.small/m.medium/m.large/m.xlarge |
| InvalidParameter.InvalidFilePathFormat | 指定的文件路径格式不合规,当前仅支持:cosn://或lakefs:// |
| InvalidParameter.InvalidIntFormat | 指定参数int类型转换失败 |
| InvalidParameter.InvalidRoleArn | 无效的CAM role arn。 |
| InvalidParameter.InvalidSparkAppParam | SparkAppParam无效。 |
| InvalidParameter.InvalidTcrSparkImageFormat | 指定的TCR Spark镜像格式不匹配,参考样例: my-image/ndf/python/latest |
| InvalidParameter.InvalidWhiteListKey | 获取白名单错误,请重试,或者提交工单联系我们 |
| InvalidParameter.NumberOfSQLExceedsTheLimit | 提交的SQL数量范围限制为1~50 |
| InvalidParameter.ParameterBase64DecodeFailed | 指定参数Base64解析失败 |
| InvalidParameter.ParameterNotFoundOrBeNone | 找不到参数或参数为空 |
| InvalidParameter.SQLBase64DecodeFail | SQL脚本Base64解析失败 |
| InvalidParameter.SQLParameterPreprocessingFailed | SQL参数预处理失败 |
| InvalidParameter.SparkJobNotFound | 指定的Spark任务不存在 |
| InvalidParameter.SparkJobNotUnique | 指定的Spark任务已存在 |
| InvalidParameter.SparkJobOnlySupportSparkBatchEngine | Spark任务仅支持使用Spark作业引擎运行 |
| InvalidParameter.SparkJobRoleArnNotFound | 指定的Spark任务RoleArn不存在 |
| ResourceInsufficient.SparkJobInsufficientResources | 指定的spark作业资源不足,请调整driver/executor规格 |
| ResourceNotFound.DataEngineConfigInstanceNotFound | 指定集群配置实例不存在 |
| ResourceNotFound.DataEngineConfigInstanceNotUnique | 指定集群配置实例已存在 |
| ResourceNotFound.DataEngineNotActivity | 指定集群未处于运行状态 |
| ResourceNotFound.DataEngineNotFound | 指定的引擎不存在 |
| ResourceNotFound.DataEngineNotUnique | 指定的引擎已存在 |
| ResourceNotFound.ImageVersionNotFound | 指定集群镜像版本不存在 |
| ResourceNotFound.ImageVersionNotUnique | 指定集群镜像版本已存在 |
| ResourceNotFound.ResourceUsageOutOfLimit | 指定任务资源超过集群剩余资源限制,请调整后重试 |
| ResourceNotFound.SessionInsufficientResources | 当前无资源创建session,请稍后重试或使用包年包月集群。 |
| ResourceNotFound.ShuffleDirNotFound | 找不到Spark Shuffle存储路径,请到控制台->数据探索页面->存储配置中设置 |
| ResourceNotFound.SparkJobInsufficientResources | 任务资源不足,请调整driver或executor指定规格大小 |
| ResourceNotFound.WarehouseDirNotFound | 找不到Warehouse存储路径,请到控制台->数据探索页面->存储配置中设置 |
| ResourceUnavailable | 资源不可用。 |
| UnauthorizedOperation.UseComputingEngine | 子用户无权使用计算引擎。 |