Kafka连接路径格式不能正常工作
Kafka连接路径格式不能正常工作
提问于 2021-01-05 09:23:22
我使用下面的脚本创建连接器，但在S3中，我看到分区格式为/year=2015/month=12/day=07/hour=15/。有没有办法实现‘dt’=YYYY-MM-dd/‘HH’=HH/ format的分区？
curl -X POST \
-H "Content-Type: application/json" \
--data '{
"name": "content.logging.test",
"config": {
"topics": "content.logging",
"connector.class": "io.confluent.connect.s3.S3SinkConnector",
"storage.class": "io.confluent.connect.s3.storage.S3Storage",
"format.class": "io.confluent.connect.s3.format.json.JsonFormat",
"s3.region": "ap-northeast-1",
"s3.bucket.name": "kafka-connect-test",
"locale": "en-US",
"timezone": "UTC",
"tasks.max": 1,
"flush.size": 10,
"partitioner.class": "io.confluent.connect.storage.partitioner.HourlyPartitioner",
"partition.duration.ms": 3600000,
"path.format": "'dt'=YYYY-MM-dd/'hour'=HH/"
}
}' http://$CONNECT_REST_ADVERTISED_HOST_NAME:8083/connectors回答 1
Stack Overflow用户
发布于 2021-01-05 23:37:52
如果要使用格式，则应使用TimeBasedPartitioner
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/65572010
复制相关文章
相似问题
腾讯云开发者
