kafka连接elasticsearch连接器(接收器)数据移动(几乎)实时
kafka连接elasticsearch连接器(接收器)数据移动(几乎)实时
提问于 2020-02-18 07:43:24
有兴趣将数据从kafka转移到elasticsearch。所以我设置了kafka连接elasticsearch连接器。
尽管我查看了所有文档和配置，但我仍然找到了如何配置连接器，以便将数据从kafka移动到elasticsearch (接近于实时)。
也就是说，让连接器每秒使用来自( kafka )主题的消息，并将它们写入elasticsearch，模拟从kafka流到elasticsearch的消息流。
这是连接器的当前配置：
{
"name": "elasticsearch-sink",
"config": {
"connector.class": "io.confluent.connect.elasticsearch.ElasticsearchSinkConnector",
"tasks.max": "1",
"topics": "foo",
"key.ignore": "true",
"schema.ignore": "true",
"connection.url": "http://elasticsearch:9200",
"type.name": "kafka-connect",
"name": "elasticsearch-sink"
}
}连接器需要如何配置，以便从kafka到elasticsearch的“流”消息？
回答 1
Stack Overflow用户
发布于 2020-02-18 09:37:37
由于Kafka Sink Connector是基于consumer的，所以可以通过消费者属性 (例如max.poll.interval.ms、max.poll.records)控制轮询间隔。要进行配置，只需在连接器配置中添加前缀为consumer.的使用者属性：
consumer.max.poll.records=1
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/60276009
复制相关文章
相似问题
腾讯云开发者
