前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >(知识短文)kafka中partition和消费者对应关系

(知识短文)kafka中partition和消费者对应关系

作者头像
互扯程序
发布2019-09-25 15:38:56
2.3K0
发布2019-09-25 15:38:56
举报
文章被收录于专栏:互扯程序互扯程序

kafka 为了保证同一类型的消息顺序性(FIFO),一个partition只能被同一组的一个consumer消费,不同组的consumer可以消费同一个partition。但是一个consumer可以消费多个partition

消费者多于partition

Topic: T1只有1个partition

Group: G1组中启动2个consumer

消费者数量为2大于partition数量1,此时partition和消费者进程对应关系如下:

只有C1能接收到消息,C2则不能接收到消息,即同一个partition内的消息只能被同一个组中的一个consumer消费。当消费者数量多于partition的数量时,多余的消费者空闲。

也就是说如果只有一个partition你在同一组启动多少个consumer都没用,partition的数量决定了此topic在同一组中被可被均衡的程度,例如partition=4,则可在同一组中被最多4个consumer均衡消费。

消费者少于partition

Topic:T2包含3个partition

Group: G2组中启动2个consumer

消费者数量为2小于partition数量3,此时partition和消费者进程对应关系如下:

此时P1、P2对应C1,即多个partition对应一个消费者,C1接收到消息量是C2的两倍

消费者等于partition

Topic:T3包含3个partition

Group: G3组中启动3个consumer

消费者数量为3等于partition数量3,此时partition和消费者进程对应关系如下:

C1,C2,C3均分了T3的所有消息,即消息在同一个组之间的消费者之间均分了。

多个消费者组

Topic:T3包含3个partition

Group: G3组中启动3个consumer,G4组中启动1个consumer

此时partition和消费者进程对应关系如下:

消息被G3组的消费者均分,G4组的消费者在接收到了所有的消息。启动多个组,则会使同一个消息被消费多次。

如果想要了解更多kafka内容,请参考:

Kafka 架构-图文讲解

Kafka 高性能吞吐揭秘

Kafka最新面试题

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2019-09-24,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 互扯程序 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档