学习
实践
活动
工具
TVP
写文章

kafka-broker的参数说明

前言

Kafka为broker提供了很多配置参数,了解这些参数,有助于我们更好地维护和使用kafka。

参数

1、brokerid

默认值:none,每一个boker都有一个唯一的id作为它们的名字。 这就允许boker切换到别的主机/端口上, consumer依然知道,这个这个id最小是0,最大1000

2、enable.zookeeper

默认值:true,允许注册到zookeeper。

3、log.flush.interval.messages

默认值:Long.MaxValue,在数据被写入到硬盘和消费者可用前最大累积的消息的数量。

4、log.flush.interval.ms

默认值:Long.MaxValue,在数据被写入到硬盘前的最大时间。

5、log.flush.scheduler.interval.ms

默认值:Long.MaxValue,检查数据是否要写入到硬盘的时间间隔。

6、log.retention.hours

默认值:168,控制一个log保留多长个小时。

7、log.retention.bytes

默认值:-1,控制log文件的最大尺寸。

8、log.cleaner.enable

默认值:false,是否log cleaning。

9、log.cleanup.policy

默认值:delete,delete还是compat. 其它控制参数还包括log.cleaner.threads,log.cleaner.io.max.bytes.per.second,log.cleaner.dedupe.buffer.size,log.cleaner.io.buffer.size,log.cleaner.io.buffer.load.factor,log.cleaner.backoff.ms,log.cleaner.min.cleanable.ratio,log.cleaner.delete.retention.ms 。

10、log.dir

默认值:/tmp/kafka-logs,指定log文件的根目录。量大的话记得放到大的分区,防止影响系统分区。

11、log.segment.bytes

默认值:110241024*1024,单一的log segment文件大小。

12、log.roll.hours

默认值:24 * 7,开始一个新的log文件片段的最大时间。

13、message.max.bytes

默认值:1000000 + MessageSet.LogOverhead,一个socket 请求的最大字节数。

14、num.network.threads

默认值:3,处理网络请求的线程数

15、num.io.threads

默认值:8,处理IO的线程数。

16、background.threads

默认值:10,后台线程序

17、num.partitions

默认值:1,默认分区数。

18、socket.send.buffer.bytes

默认值:102400,socket SO_SNDBUFF参数。

19、socket.receive.buffer.bytes

默认值:102400,socket SO_RCVBUFF参数。

20、zookeeper.connect

默认值:localhost:2182/kafka,指定zookeeper连接字符串, 格式如hostname:port/chroot。chroot是一个namespace。

21、zookeeper.connection.timeout.ms

默认值:6000,指定客户端连接zookeeper的最大超时时间。

22、zookeeper.session.timeout.ms

默认值:6000,连接zk的session超时时间。

23、zookeeper.sync.time.ms

默认值:2000,zookeeper follower落后于zookeeper leader的最长时间。

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180511A29I7R00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注腾讯云开发者

领取腾讯云代金券