前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【kafka源码】kafka内部的一些术语

【kafka源码】kafka内部的一些术语

原创
作者头像
皮皮熊
发布2020-09-17 20:04:32
5080
发布2020-09-17 20:04:32
举报

自己阅读kafka源码时的一些记录,更多内容见: https://github.com/pierre94/kafka-notes/blob/master/kafka%E6%9C%AF%E8%AF%AD.md

  • Abort 中止
  • expires到期\失效

请求超时等场景用到

  • Thunk 一个回调以及传递给它的关联FutureRecordMetadata参数。

A callback and the associated FutureRecordMetadata argument to pass to it.

  • drain 排空

RecordAccumulator中将缓存的ProducerBatch排空,并整理成按节点对应的列表 Map<Integer, List<ProducerBatch>>

  • Mute 静音

mute all the partitions drained 如果需要保证消息的强顺序性(maxInflightRequests == 1),则缓存对应 topic 分区对象,防止同一时间往同一个 topic 分区发送多条处于未完成状态的消息。 实际上就是将本批次消息所在的分区信息添加到一个集合中,不能再往这个分区里排空数据,以保障每个topic下的该分区只有一个批次发送

  • collated 整理

Map<Integer, List<ProducerBatch>> collateddrain后生成 经过整理的数据集

  • magic 消息格式

A record batch is a container for records. In old versions of the record format (versions 0 and 1)

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
消息队列 CKafka 版
消息队列 CKafka 版(TDMQ for CKafka)是一个分布式、高吞吐量、高可扩展性的消息系统,100%兼容开源 Kafka API 2.4、2.8、3.2 版本。CKafka 基于发布/订阅模式,通过消息解耦,使生产者和消费者异步交互,无需彼此等待。CKafka 具有高可用、数据压缩、同时支持离线和实时数据处理等优点,适用于日志压缩收集、监控数据聚合、流式数据集成等场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档