腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
Java进阶之路
专栏成员
举报
68
文章
140487
阅读量
26
订阅数
订阅专栏
申请加入专栏
全部文章(68)
java(23)
大数据(9)
其他(8)
python(8)
编程算法(8)
缓存(4)
node.js(3)
yarn(3)
分布式(3)
jdk(3)
hadoop(3)
jvm(3)
hashmap(3)
安全(3)
javascript(2)
go(2)
数据库(2)
linux(2)
nginx(2)
spring(2)
日志服务(2)
容器(2)
存储(2)
开源(2)
shell(2)
spark(2)
面向对象编程(2)
数据处理(2)
数据结构(2)
负载均衡(1)
php(1)
bash(1)
xml(1)
json(1)
nosql(1)
云数据库 Redis(1)
打包(1)
ide(1)
git(1)
github(1)
api(1)
maven(1)
中文分词(1)
analyzer(1)
unix(1)
apache(1)
bash 指令(1)
TDSQL MySQL 版(1)
海外加速(1)
网站(1)
http(1)
爬虫(1)
网络安全(1)
正则表达式(1)
zookeeper(1)
dubbo(1)
rabbitmq(1)
https(1)
hbase(1)
nat(1)
processing(1)
kafka(1)
flink(1)
key(1)
程序员(1)
函数(1)
搜索文章
搜索
搜索
关闭
极客时间kafka专栏评论区笔记
kafka
缓存
linux
Consumer Group :Kafka提供的可扩展且具有容错性的消息者机制。 1、重要特征: A:组内可以有多个消费者实例(Consumer Instance)。 B:消费者组的唯一标识被称为Group ID,组内的消费者共享这个公共的ID。 C:消费者组订阅主题,主题的每个分区只能被组内的一个消费者消费 D:消费者组机制,同时实现了消息队列模型和发布/订阅模型。 2、重要问题: A:消费组中的实例与分区的关系: 消费者组中的实例个数,最好与订阅主题的分区数相同,否则多出的实例只会被闲置。一个分区只能被一个消费者实例订阅。 B:消费者组的位移管理方式: (1)对于Consumer Group而言,位移是一组KV对,Key是分区,V对应Consumer消费该分区的最新位移。 (2)Kafka的老版本消费者组的位移保存在Zookeeper中,好处是Kafka减少了Kafka Broker端状态保存开销。但ZK是一个分布式的协调框架,不适合进行频繁的写更新,这种大吞吐量的写操作极大的拖慢了Zookeeper集群的性能。 (3)Kafka的新版本采用了将位移保存在Kafka内部主题的方法。 C:消费者组的重平衡: (1)重平衡:本质上是一种协议,规定了消费者组下的每个消费者如何达成一致,来分配订阅topic下的每个分区。 (2)触发条件: a,组成员数发生变更 b,订阅主题数发生变更 c,定阅主题分区数发生变更 (3)影响: Rebalance 的设计是要求所有consumer实例共同参与,全部重新分配所有用分区。并且Rebalance的过程比较缓慢,这个过程消息消费会中止。
神秘的寇先森
2020-02-19
1K
1
linux中/etc/security/limits.conf配置文件说明
linux
linux资源限制配置文件是/etc/security/limits.conf;限制用户进程的数量对于linux系统的稳定性非常重要。 limits.conf文件限制着用户可以使用的最大文件数,最大线程,最大内存等资源使用量。
神秘的寇先森
2019-03-15
22.6K
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档