confluent kafka连接elasticsearch接收器吞吐量在任务重新启动后永久下降
confluent kafka连接elasticsearch接收器吞吐量在任务重新启动后永久下降
提问于 2019-11-01 02:38:57
我有一个有700万条记录的主题(3个分区)，并使用默认配置部署一个带有1个任务的Elasticsearch接收器。接收器从在Elasticsearch中创建索引开始，然后以每秒10,000 msgs的速度开始编写。如果我对连接器的任务做了任何更改
- 暂停连接器，重新启动任务，启动连接器
- 保持连接器运行，但重新启动任务
吞吐量下降到400毫希/秒，永远不会恢复到原来的10,000毫希/秒。
如果我停止了连接器，从Elasticsearch中删除索引并恢复连接器，它将返回到每秒下降10k消息。
我尝试将连接器从默认设置中删除，但没有结果。
connection.timeout.ms=1000
batch.size=2000
max.retries=5
max.in.flight.requests=5
retry.backoff.ms=100
max.buffered.records=20000
flush.timeout.ms=10000
read.timeout.ms=3000我的连接器配置
connector.class=io.confluent.connect.elasticsearch.ElasticsearchSinkConnector
type.name=logdata
errors.log.include.messages=true
tasks.max=1
topics=d8.qa.id.log.sso.transformed.0
key.ignore=true
schema.ignore=true
value.converter.schemas.enable=false
elastic.security.protocol=PLAINTEXT
name=elasticsearch-sink-d8.qa.id.log.transformed
connection.url=http://172.30.2.23:9200,http://172.30.0.158:9200,http://172.30.1.63:9200
client.id=elasticsearch-sink-d8.qa.id.log.transformed环境详细信息
Elasticsearch 6.8 (10 data nodes, 3 master)
Elasticsearch connector (version 2.2.1)
Kafka Connect (2 workers with 16GB memory, version 2.2.1)
Kafka Broker (3 brokers with 32GB memory, version 2.2.1)备注：
- ES 7.2和Elasticsearch连接器版本2.3.1的行为相同
- 这是部署到连接群集上的唯一连接器。
回答 1
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/58653472
复制相关文章
相似问题
腾讯云开发者
