shysh95-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

shysh95

专栏成员

190

文章

181733

阅读量

27

订阅数

消息队列 CMQ 版 kafka

由于各个进程之间独享一块用户地址空间，一般而言这块独立的用户地址空间不能互相访问，所以进程之间想要通信必须通过内核空间（每个进程共享）。

2021-10-14

3730

varint是啥你真的知道么？

作为熟悉Kafka的读者，肯定知道Kafka的消息中的很多长度字段均采用了可变长度的编码格式，那么这种可变的编码格式是什么呢，没错，就是我们今天要讲的varint编码格式。下面我们会有两个知识点需要讲解：

2020-07-28

1.4K0

Kafka Consumer Reblance

kafka node.js 正则表达式

Kafka常见的消费模式会以组进行组织，通常Kafa会将Topic的分区均匀的分配给同一个组下的不同实例，通常的策略有以下三种：

2020-03-31

6040

kafka node.js 文件存储

Kafka Consumer消费以组的方式划分，Topic中的每一个分区只会分给同一个组中的其中一个实例。这是基于队列模式，如果想基于发布订阅模式，那订阅同一个Topic的实例需要指定不同的组名。

2020-03-31

1.3K0

文件存储 kafka 编程算法 http

指定一组host:port键值对，用于连接kafka broker节点，producer可以通过该参数发现Kafka集群中的所有broker，因此可以指定部分节点。

2020-03-19

6790

Kafka基于HW备份恢复弊端分析(III)

上节中我们已经讲述了关于follower副本的同步机制，并且我们提到了基于HW的备份恢复是有缺陷的。在本节中我们会阐述弊端的原因，并且讲解kafka为了解决问题从而引入了Lead Epoch的概念。

2020-03-06

4630

Kafka副本同步(II)

在上节中，我们讲述了ISR，如何判断段follower副本与leader副本同步以及相关概念(HW、LEO)，那么今天这节我们来看一下follower副本与leader副本的详细同步过程，但是这节所讲的同步过程是有弊端的，在新的版本中kafka对副本同步进行了优化，消除了这种弊端。

2020-03-06

6980

Kafka日志分段与消息查找

Kafka作为一个消息中间件(后面Kafka逐渐转向一个流失处理平台KafkaStream)，消息最终的存储都落在日志中。

2020-03-06

3.9K0

Kafka副本与ISR设计(I)

在Kafka中一个分区日志其实就是一个备份日志，kafka利用多个相同备份日志来提高系统的可用性。这些备份日志其实就是所谓的副本。

2020-03-06

7890

Kafka消息规范

Kafka作为一个消息队列，有其自己定义消息的格式。Kafka中的消息采用ByteBuf，之所以采用ByteBuf这种紧密的二进制存储格式是因为这样可以节省大量的空间。毕竟如果使用Java类的格式来定义消息对象将会浪费大量的空间(Java对象除了本身属性所占的空间外，还存在一些Header，还会存在一些补齐)。

2020-03-06

1.8K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态