首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

kafka相关配置参数说明

#每个broker在集群中的唯一标识,即使broker的IP地址发生了变化,broker.id只要没变,则不会影响consumers的消息情况

broker.id=0

#是否允许topic被删除,如果是false,使用管理员工具删除topic的时候,kafka并不会处理此操作

#kafka 服务端是否可以根据请求自动创建topic,默认是true,如果打开此项,下面三种请求会触发topic自动创建

#1、producer 向某个不存在的topic写入消息

#2、consumer从某个不存在的topic读取消息

#3、fetch从某个不存在的topic读取消息

#建议此项设置为false,并在使用topic之前手工创建

#kafka server 使用的协议,主机名以及端口的格式如下

# listeners = listener_name://host_name:port

#参考案例

# listeners = PLAINTEXT://your.host.name:9092

#listeners=PLAINTEXT://:9092

#接收请求的线程数

#执行请求的线程数

#下面两个缓冲区介绍一下背景

#每个TCP socket 的内核中都有一个发送缓冲区(SO_SNDBUF) 和一个接收缓冲区(SO_RCVBUF)

#接收缓冲区把数据缓存在内核,应用进程一直没有调用read进行读取的话,此数据会一直缓存在相应socket的接收缓冲区内,

#数据都会经由内核接收并且缓存到socket的内核接收缓冲区中,read所做的工作,就是把内核缓冲区中的数据复制到应用层用户的buffer里面

#tcp连接的SO_SNDBUF 缓冲区大小,默认是102400 ,单位是字节。如果是-1,就使用操作系统的默认值

#tcp连接的SO_RCVBUF 缓冲区大小,默认是102400 ,单位是字节。如果是-1,就使用操作系统的默认值

#请求的最大长度

#用于存储log文件的目录,可以将多个目录通过逗号分隔,形成一个目录列表

log.dirs=E:\\log

#每个topic默认的partition数量,默认值是1

num.partitions=1

#用来恢复log文件以及关闭时将log数据刷新到磁盘的线程数量,每个目录对应一个值

#每隔多少个消息触发一次flush 操作,将内存中的消息刷新到硬盘上

#每隔多少毫秒触发一次flush操作,将内存中的消息刷新到硬盘上

#上面这两个配置是全局的,可以在topic中重新设置,并覆盖这两个配置

#注意:下面有两种配置,一个种是基于时间的策略,另一种是基于日志文件大小的策略,两种策略同时配置的话

#主要满足其中一种策略,则触发log删除的操作,删除操作总是先删除最旧的日志

#消息在kafka中保存的时间,168小时之前的log,可以被删除掉

#segment日志文件大小的上限值,当超过这个值时,会创建新的segment日志文件

#每隔300000毫秒,logcleaner线程将检查一次,看是否符合上述 保留策略的消息可以被删除

#############################Zookeeper############################

#kafka依赖的zookeeper集群地址,可以配置多个zookeeper地址,使用逗号隔开

zookeeper.connect=192.168.1.106:2181

#zookeeper连接的超时时间

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180604G01FP500?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券