专栏首页后端技术KafkaConsumer 入门理解

KafkaConsumer 入门理解

offset思路

需要理解offset的提交机制、保存。比如commitSync、commitAsync、__consumer_offsets。 深入还能了解offset的恢复。

rebalance理解思路

消费者组需要理解两个角色:

  • coordinator,负责某个消费者组的broker
  • group leader,由coordinator指派负责分配方案的客户端 建组流程有两步:
  • JoinGroup流程
  • SyncGroup流程

客户端与coordinator间除了发送Join/Sync请求,还有心跳包、提交位移请求。Join和Sync请求会对消费者组的状态产生影响,而心跳包、提交唯一请求会捕获消费者组状态的改变。

KafkaConsumer比KafkaProducer复杂,因为除了基本的发出请求、接收响应、网络IO,还引入了consumer group的概念(分布式消费),组成员的变动就引入了rebalance话题,还需要管理offset,防止丢失读取。这里每个都是话题。

主要组件

Kafka主要分为以下几个组件:

Kafka主要组件

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • spring bean配置

    理解spring中的BeanFactory和FactoryBean的区别与联系指出两点:

    平凡的学生族
  • 142. Linked List Cycle II

    首先要证明链表有环: 用快慢两个指针解决。快指针每次走两步,慢指针每次走一步。如果有环,则一定会最终在环内某点相遇。下面证明这一点:

    平凡的学生族
  • netty源码分析之pipeline(二)

    netty源码分析之pipeline(一)中,我们已经了解了pipeline在netty中所处的角色,像是一条流水线,控制着字节流的读写,本文,我们在这个基础上...

    平凡的学生族
  • 高难度函数声明 int (*(*pf( )) ( ) ) ( ) 了解一下?

    各位,当你看到上面的函数声明int (*(*pf( )) ( )) ( )时是不是头都大了?那它究竟表示的是什么意思呢?今天我们就拿它分析一下。

    7089bAt@PowerLi
  • New UWP Community Toolkit - RotatorTile

    概述 UWP Community Toolkit  中有一个为图片或磁贴提供轮播效果的控件 - RotatorTile,本篇我们结合代码详细讲解  Rotato...

    Shao Meng
  • 基于跳跃表的 ConcurrentSkipListMap 内部实现(Java 8)

    我们知道 HashMap 是一种键值对形式的数据存储容器,但是它有一个缺点是,元素内部无序。由于它内部根据键的 hash 值取模表容量来得到元素的存储位置,所以...

    Single
  • 关于网络请求的面试题总结

    用户1687375
  • JMeter吞吐量误差分析

    我自己并不用JMeter进行压测,故事的缘起是因为看到了同事适用JMeter进行测试的测试报告,偶然间发现一个问题,JMeter报告中的吞吐量误差较大。结果如图...

    FunTester
  • 彭博全球科技富翁排行榜出炉,亚马逊贝佐斯居榜首 | 热点

    镁客网
  • 组件化开发--实践记录与总结

    组件的规范可在组件实现时通过代码风格和格式来约束,也可通过基类扩展来强制规范。所以,当组件都是通过同一个基类扩展而来时,在那个基类上就可以很方便地统一组件规范,...

    IMWeb前端团队

扫码关注云+社区

领取腾讯云代金券