kafka生产者罢工,停止生产,生产者内存急剧升高,导致程序几次重启。
查看日志,发现Pro程序爆异常kafka.common.MessageSizeTooLargeException。
查看kafka配置,默认单条消息最大1M,当单条消息长度超过1M,就会出现发送到broker失败,从而导致消息在producer的队列一直累积,直到Pro OOM。
赶紧修改kafka配置,解决问题。
按需调整上三参数。
或者说,单条消息越大越好?参考http://www.mamicode.com/info-detail-453907.html说法:
通过性能测试,kafka在消息为10K时吞吐量达到最大,更大消息降低吞吐量,在设计集群的容量时,尤其要考虑。
Brokers会为每个分区分配replica.fetch.max.bytes参数指定的内存空间,假设
replica.fetch.max.bytes=1M
且有1000个分区,则需近1G内存,确保分区数最大的消息不会超过服务器内存,否则OOM。
消费端的fetch.message.max.bytes指定最大消息需要的内存空间,同样,分区数最大需要内存空间不能超过服务器内存。所以,若你有大消息要传送,则在内存一定时,只能:
更大的消息会让GC更长(因为broker需分配更大的块),关注GC日志和服务器日志信息。若长时间的GC导致kafka丢失了zk的会话,则需配置zookeeper.session.timeout.ms参数为更大的超时时间。