涓流-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

涓流

专栏成员

101

文章

62732

阅读量

26

订阅数

首页归档分类标签作者 kafka原理总结

分区策略决定 producer 将消息怎么分发到 partition 中，分区策略不合适可能导致数据倾斜，有些时候我们需要实现顺序消息，也需要将同一业务的消息都发送到同一个 partition 上。生产端将消息发送给 broker 之前主要经过拦截、序列化、分区(Partitioner)几个步骤。分区器主要读取 partition 配置(生产端配置partitioner.class, 默认值是 DefaultPartitioner)

2023-03-08

4230

存储 apache kafka

pulsar 是 Apache 的顶级项目，定位为下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性，被看作是云原生时代实时消息流传输、存储和计算最佳解决方案。Pulsar 是一个 pub-sub (发布-订阅)模型的消息队列系统。

2023-03-08

9770

kafka参数使用

kafka 批量计算 node.js

客户端先将消息写入内存缓存，多个消息形成一个个Batch，然后send线程将多个Batch打包成一个request发送到kafka服务器上。

2022-06-28

5810

kafka使用以及原理

zookeeper node.js 文件存储数据处理 kafka

每条发布到Kafka集群的消息都有一个类别，这个类别被称为topic。（物理上不同topic的消息分开存储，逻辑上一个topic的消息虽然保存于一个或多个broker上但用户只需指定消息的topic即可生产或消费数据而不必关心数据存于何处）

2022-06-28

3900

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态