0759-Kafka2.3性能测试
文档编写目的
了解Kafka的性能指标可以很好的帮助你规划Kafka集群，但使用不同的消息大小，保留时间(retention periods)，分区，复制因子，网络速度，甚至是同步还是异步都可能影响到对Kafka集群的硬件配置和大小的规划。几年前，Linkedin做过一个Kafka的基准测试，参考：
https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines因为这篇文章是2014年写的，经过这6年，Kafka发展更新了很多版本，新的硬件或更快的网速都能对Kafka的性能带来提升。本文会基于之前同样的测试案例，但使用较新的Kafka2.3以及更好的硬件来重新进行测试，以看看新版本的Kafka带来了什么改进。
硬件规格
一共6个测试节点，其中3个节点会被作为Kafka Broker，还有三个节点会作为producers / consumers。假设网络带宽是10Gb/s，我们应该能在三个Kafka节点上推送近30Gb/s，在所有6个节点上推送60Gb/s。
为了简化测试，我设置了一些环境变量，这样运行的每个命令都可以重复使用：
BOOTSTRAP=10.0.0.4:9092,10.0.0.5:9092,10.0.0.6:9092
首先，我们需要根据分区数和副本创建各种topic：
kafka-topics --bootstrap-server ${BOOTSTRAP} --create --topic test-rep-one --partitions 6 --replication-factor 1
kafka-topics --bootstrap-server ${BOOTSTRAP} --create --topic test-rep-three --partitions 6 --replication-factor 3
kafka-topics --bootstrap-server ${BOOTSTRAP} --create --topic test-7k --partitions 18 --replication-factor 3
Kafka附带了两个方便的脚本，可用于测试集群：kafka-producer-perf-test和kafka-consumer-perf-test
测试结果
上面的这些测试案例与之前Linkedin在2014的测试是一样的。但是由于之前的测试是使用100byte大小的记录完成的，下面我们使用7KB大小的记录来重新测试，并且对Kafka的配置进行一些优化：8GB的heap，更大的batch size，并使用snappy压缩。
7KB记录的测试结果
超过每秒100万条消息，每条消息读写7KB。已经达到了万兆网的限制。
测试命令如下：
Test 1:
kafka-producer-perf-test --topic test-rep-one --num-records 50000000 --record-size 100 --throughput -1 --producer-props acks=0 bootstrap.servers=${BOOTSTRAP}
Test 2:
kafka-producer-perf-test --topic test-rep-three --num-records 50000000 --record-size 100 --throughput -1 --producer-props acks=0 bootstrap.servers=${BOOTSTRAP}
Test 3:
kafka-producer-perf-test --topic test-rep-three --num-records 50000000 --record-size 100 --throughput -1 --producer-props acks=1 bootstrap.servers=${BOOTSTRAP}
Test 4 (run three instances in parallel, one on each node):
kafka-producer-perf-test --topic test-rep-three --num-records 50000000 --record-size 100 --throughput -1 --producer-props acks=0 bootstrap.servers=${BOOTSTRAP}
Test 5:
kafka-consumer-perf-test --broker-list ${BOOTSTRAP} --messages 50000000 --topic test-rep-three --threads 1 --timeout 60000 --print-metrics --num-fetch-threads 6
Test 6 (run three instances in parallel, one on each node):
kafka-consumer-perf-test --broker-list ${BOOTSTRAP} --messages 50000000 --topic test-rep-three --threads 1 --timeout 60000 --print-metrics --num-fetch-threads 6
Test 7 (run a producer on each node, including the Kafka brokers):
kafka-producer-perf-test --topic test-7k --num-records 50000000 --record-size 7168 --throughput -1 --producer-props acks=0 bootstrap.servers=${BOOTSTRAP} linger.ms=100 compression.type=snappy
Test 8 (run a consumer on each node, including the Kafka brokers):
kafka-consumer-perf-test --broker-list ${BOOTSTRAP} --messages 50000000 --topic test-7k --threads 1 --timeout 60000 --print-metrics --num-fetch-threads 18
原文参考：
https://community.cloudera.com/t5/Community-Articles/Kafka-2-3-Performance-testing/ta-p/284767本文参与 腾讯云自媒体分享计划，分享自微信公众号。
原始发表：2020-04-11，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读