创建DIP转储任务

最近更新时间：2024-04-03 11:13:42

我的收藏

本页目录：

1. 接口描述

接口请求域名： ckafka.tencentcloudapi.com 。

创建DIP转储任务

默认接口请求频率限制：20次/秒。

推荐使用 API Explorer

点击调试

API Explorer 提供了在线调用、签名验证、SDK 代码生成和快速检索接口等能力。您可查看每次调用的请求内容和返回结果以及自动生成 SDK 调用示例。

2. 输入参数

以下请求参数列表仅列出了接口请求参数和部分公共参数，完整公共参数列表见公共请求参数。

参数名称	必选	类型	描述
Action	是	String	公共参数，本接口取值：CreateDatahubTask。
Version	是	String	公共参数，本接口取值：2019-08-19。
Region	是	String	公共参数，详见产品支持的地域列表。
TaskName	是	String	任务名称示例值：xxx
TaskType	是	String	任务类型，SOURCE数据接入，SINK数据流出示例值：SINK
SourceResource	否	DatahubResource	数据源示例值：xxx
TargetResource	否	DatahubResource	数据目标示例值：xxx
TransformParam	否	TransformParam	数据处理规则示例值：xxx
PrivateLinkParam	否	PrivateLinkParam	实例连接参数【已废弃】示例值：xxx
SchemaId	否	String	选择所要绑定的SchemaId 示例值：schema-rgi94jg
TransformsParam	否	TransformsParam	数据处理规则示例值：xxx
TaskId	否	String	任务ID 示例值：xxx
Tags.N	否	Array of Tag	标签列表示例值：xxx

3. 输出参数

参数名称	类型	描述
Result	CreateDatahubTaskRes	任务id 示例值：xxx
RequestId	String	唯一请求 ID，由服务端生成，每次请求都会返回（若请求因其他原因未能抵达服务端，则该次请求不会获得 RequestId）。定位问题时需要提供该次请求的 RequestId。

4. 示例

示例1 创建SINK任务

SINK任务

输入示例

POST / HTTP/1.1
Host: ckafka.tencentcloudapi.com
Content-Type: application/json
X-TC-Action: CreateDatahubTask
<公共请求参数>

{
    "TaskName": "MyTaskName",
    "TaskType": "SINK",
    "SourceResource": {
        "Type": "KAFKA",
        "KafkaParam": {
            "SelfBuilt": false,
            "Resource": "ckafka-7kd5rzza",
            "Topic": "topic-test",
            "OffsetType": "timestamp",
            "StartTime": 1635339533
        }
    },
    "TargetResource": {
        "Type": "EB",
        "EventBusParam": {
            "Type": "COS",
            "SelfBuilt": false,
            "Resource": "target-resource",
            "Namespace": "default",
            "FunctionName": "ckafka-7kd5rzza_topic-0cus2p9z_task_1633501781881_schedule",
            "Qualifier": "$LATEST"
        }
    }
}

输出示例

{
    "Response": {
        "Result": {
            "TaskId": "datahub-xx",
            "DatahubId": "xx"
        },
        "RequestId": "xx"
    }
}

示例2 创建SINK任务(ES)

输入示例

POST / HTTP/1.1
Host: ckafka.tencentcloudapi.com
Content-Type: application/json
X-TC-Action: CreateDatahubTask
<公共请求参数>

{
    "TaskName": "MyTaskName",
    "TaskType": "SINK",
    "SourceResource": {
        "Type": "KAFKA",
        "KafkaParam": {
            "SelfBuilt": false,
            "Resource": "ckafka-7kd5rzza",
            "Topic": "topic-test",
            "OffsetType": "earliest"
        }
    },
    "TargetResource": {
        "Type": "ES",
        "EsParam": {
            "Resource": "resource-xxx",
            "DropInvalidMessage": true,
            "Index": "xxx",
            "DropInvalidJsonMessage": false
        }
    }
}

输出示例

{
    "Response": {
        "Result": {
            "TaskId": "task-xx",
            "DatahubId": "xx"
        },
        "RequestId": "xx"
    }
}

示例3 创建TRANSFORM任务

TRANSFORM任务

输入示例

POST / HTTP/1.1
Host: ckafka.tencentcloudapi.com
Content-Type: application/json
X-TC-Action: CreateDatahubTask
<公共请求参数>

{
    "TaskName": "MyTaskName",
    "TaskType": "TRANSFORM",
    "SourceResource": {
        "Type": "KAFKA",
        "KafkaParam": {
            "SelfBuilt": false,
            "Resource": "ckafka-aaa",
            "Topic": "topic-source"
        }
    },
    "TargetResource": {
        "Type": "KAFKA",
        "KafkaParam": {
            "SelfBuilt": false,
            "Resource": "ckafka-bbb",
            "Topic": "topic-traget"
        }
    },
    "TransformParam": {
        "Regex": ";",
        "AnalysisFormat": "DELIMITER",
        "OutputFormat": "JSON",
        "SourceType": "xx",
        "FilterParam": [
            {
                "MatchMode": "PREFIX",
                "Value": "cass",
                "Key": "0"
            }
        ],
        "FailureParam": {
            "Type": "DLQ",
            "MaxRetryAttempts": 1,
            "KafkaParam": {
                "Resource": "ckafka-xxx",
                "SelfBuilt": false,
                "Topic": "test-dlq"
            }
        },
        "Content": "xx",
        "MapParam": [
            {
                "Type": "DEFAULT",
                "Key": "1"
            },
            {
                "Type": "DEFAULT",
                "Key": "2"
            },
            {
                "Type": "DEFAULT",
                "Value": "abc",
                "Key": "3"
            },
            {
                "Type": "DATE",
                "Value": "",
                "Key": "5"
            }
        ]
    }
}

输出示例

{
    "Response": {
        "Result": {
            "TaskId": "datahub-xx",
            "DatahubId": "xx"
        },
        "RequestId": "xx"
    }
}

示例4 创建SINK任务(DIP Topic to ES)

输入示例

POST / HTTP/1.1
Host: ckafka.tencentcloudapi.com
Content-Type: application/json
X-TC-Action: CreateDatahubTask
<公共请求参数>

{
    "TaskName": "MyTaskName",
    "TaskType": "SINK",
    "SourceResource": {
        "Type": "TOPIC",
        "TopicParam": {
            "Resource": "12345-xxx",
            "OffsetType": "earliest"
        }
    },
    "TargetResource": {
        "Type": "ES",
        "EsParam": {
            "Resource": "resource-xxx",
            "DropInvalidMessage": true,
            "Index": "xxx",
            "DropInvalidJsonMessage": false
        }
    }
}

输出示例

{
    "Response": {
        "Result": {
            "TaskId": "task-xx",
            "DatahubId": "xx"
        },
        "RequestId": "xx"
    }
}

5. 开发者资源

腾讯云 API 平台

腾讯云 API 平台是综合 API 文档、错误码、API Explorer 及 SDK 等资源的统一查询平台，方便您从同一入口查询及使用腾讯云提供的所有 API 服务。

API Inspector

用户可通过 API Inspector 查看控制台每一步操作关联的 API 调用情况，并自动生成各语言版本的 API 代码，也可前往 API Explorer 进行在线调试。

SDK

云 API 3.0 提供了配套的开发工具集（SDK），支持多种编程语言，能更方便的调用 API。

Tencent Cloud SDK 3.0 for Python: GitHub Gitee
Tencent Cloud SDK 3.0 for Java: GitHub Gitee
Tencent Cloud SDK 3.0 for PHP: GitHub Gitee
Tencent Cloud SDK 3.0 for Go: GitHub Gitee
Tencent Cloud SDK 3.0 for Node.js: GitHub Gitee
Tencent Cloud SDK 3.0 for .NET: GitHub Gitee
Tencent Cloud SDK 3.0 for C++: GitHub Gitee
Tencent Cloud SDK 3.0 for Ruby: GitHub Gitee

命令行工具

Tencent Cloud CLI 3.0

6. 错误码

以下仅列出了接口业务逻辑相关的错误码，其他错误码详见公共错误码。

错误码	描述
AuthFailure	CAM签名/鉴权错误。
FailedOperation	操作失败。
InternalError	内部错误。
InvalidParameter	参数错误。
InvalidParameterValue	参数取值错误。
InvalidParameterValue.InstanceNotExist	实例不存在。
InvalidParameterValue.NotAllowedEmpty	参数不允许为空。
InvalidParameterValue.RepetitionValue	已存在相同参数。
ResourceNotFound	资源不存在。

上一篇: 创建cdc-ckafka集群下一篇: 添加普罗米修斯监控