专栏首页互联网技术杂谈【kafka源码】kafka内部的一些术语
原创

【kafka源码】kafka内部的一些术语

自己阅读kafka源码时的一些记录,更多内容见: https://github.com/pierre94/kafka-notes/blob/master/kafka%E6%9C%AF%E8%AF%AD.md

  • Abort 中止
  • expires到期\失效

请求超时等场景用到

  • Thunk 一个回调以及传递给它的关联FutureRecordMetadata参数。

A callback and the associated FutureRecordMetadata argument to pass to it.

  • drain 排空

RecordAccumulator中将缓存的ProducerBatch排空,并整理成按节点对应的列表 Map<Integer, List<ProducerBatch>>

  • Mute 静音

mute all the partitions drained 如果需要保证消息的强顺序性(maxInflightRequests == 1),则缓存对应 topic 分区对象,防止同一时间往同一个 topic 分区发送多条处于未完成状态的消息。 实际上就是将本批次消息所在的分区信息添加到一个集合中,不能再往这个分区里排空数据,以保障每个topic下的该分区只有一个批次发送

  • collated 整理

Map<Integer, List<ProducerBatch>> collateddrain后生成 经过整理的数据集

  • magic 消息格式

A record batch is a container for records. In old versions of the record format (versions 0 and 1)

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • kafka高版本Client连接0.9Server引发的血案排查

    在一个月黑风高的夜晚,我们kafka生产端开始疯狂告警,出现大量程序队列堵塞、数据写入失败、写入性能下降的告警。

    皮皮熊
  • 【kafka】高吞吐源码分析-顺序写入与刷盘机制

    kafka作为一个处理实时数据和日志的管道,每秒可以处理几十万条消息。其瓶颈自然也在I/O层面,所以其高吞吐背后离不开如下几个特性:

    皮皮熊
  • kafka-producer(数据生产)笔记

    Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统)。Kafk...

    皮皮熊
  • Dubbo集群容错模式之Failover实现 原

                                                         图1 Dubbo的FailoverClusterInv...

    克虏伯
  • 给AI一张高清照片,分分钟还你细节满满的3D人体模型,GitHub标星3.6k | 在线可玩

    并且已经在GitHub上开源,标星3.6k,还在一天内就涨了207颗星,登上GitHub热榜。

    深度学习技术前沿公众号博主
  • MySQL之load data和select into outfile

    今天上午,帮助业务方解决了一个问题,过程大概是这样的。业务方有一个需求是要实现在客户端的应用服务器使用select into outfile的方法导出一个文...

    AsiaYe
  • 再次针对中国?美国新规限制AI软件出口,周一生效

    路透社最新消息,美国将于1月6日,也就是明天,专门针对AI软件出口进行新的管制。没错,这次针对的还是中国。

    镁客网
  • spark2.2 SparkSession思考与总结1

    问题导读 1.你认为为何出现SparkSession? 2.SparkSession如何创建RDD? 3.SparkSession通过那个类来实例化? 4.b...

    用户1410343
  • 美国国防部“黑了空军(Hack the Air Force)”漏洞奖励计划即将启动,仍由HackerOne运营

    大数据文摘
  • Linux lseek函数的使用详解

    Name : lseek – reposition read/write file offset

    砸漏

扫码关注云+社区

领取腾讯云代金券