这个错误的意思是，消费者在处理完一批poll的消息后，在同步提交偏移量给broker时报的错。初步分析日志是由于当前消费者线程消费的分区已经被broker给回收了，因为kafka认为这个消费者死了，那么为什么呢？
接下来是《如何在您的Spring启动应用程序中使用Apache Kafka》https://www.confluent.io/blog/apache-kafka-spring-boot-application ，这展示了如何开始使用Spring启动和Apache Kafka®，这里我们将更深入地挖掘Apache Kafka项目的Spring提供的一些附加功能。
ConsumerInterceptor是Kafka中的一个重要组件，它允许开发人员在Kafka消费者端拦截和修改消息的处理过程。ConsumerInterceptor可以用于实现各种功能，从消息监控到数据转换和错误处理，为开发人员提供了更大的灵活性和可定制性。
在 kafka 中，topic 是一个存储消息的逻辑概念，可以认为是一个消息集合。每条消息发送到 kafka 集群的消息都有一个类别。物理上来说，不同的 topic 的消息是分开存储的，每个 topic 可以有多个生产者向它发送消息，也可以有多个消费者去消费其中的消息。
可靠的数据传输是系统的属性之一，不能在事后考虑，就像性能一样，它必须从最初的白板图设计成一个系统，你不能事后把系统抛在一边。更重要的是，可靠性是系统的属性，而不是单个组件的属性，因此即使在讨论apache kafka的可靠性保证时，也需要考虑其各种场景。当谈到可靠性的时候，与kafka集成的系统和kafka本身一样重要。因为可靠性是一个系统问题，它不仅仅是一个人的责任。每个卡夫卡的管理员、linux系统管理员、网络和存储管理员以及应用程序开发人员必须共同来构建一个可靠的系统。 Apache kafka的数据传输可靠性非常灵活。我们知道kafka有很多用例，从跟踪网站点击到信用卡支付。一些用例要求最高的可靠性，而另外一些用例优先考虑四度和简单性而不是可靠性。kafka被设计成足够可配置，它的客户端API足够灵活，允许各种可靠性的权衡。 由于它的灵活性，在使用kafka时也容易意外地出现错误。相信你的系统是可靠的，但是实际上它不可靠。在本章中，我们将讨论不同类型的可靠性以及它们在apache kafka上下文中的含义开始。然后我们将讨论kafka的复制机制，以及它如何有助于系统的可靠性。然后我们将讨论kafka的broker和topic，以及如何针对不同的用例配置它们。然后我们将讨论客户，生产者、消费者以及如何在不同的可靠性场景中使用它们。最后，我们将讨论验证系统可靠性的主体，因为仅仅相信一个系统的可靠是不够的，必须彻底的测试这个假设。
总体周期在 4.15 ~ 5.15，中间还包含了个五一假期。看机会原因是好久没挪窝了，想再提高下自己的技能跟待遇，我自己是个焦虑患者，所以不想面试周期太长，本次面试原则就是主攻周期较快的公司。
在这个博客系列的第1部分之后，Apache Kafka的Spring——第1部分:错误处理、消息转换和事务支持，在这里的第2部分中，我们将关注另一个增强开发者在Kafka上构建流应用程序时体验的项目:Spring Cloud Stream。
JEP 466（类文件 API(第二轮预览)）已从其 JEP Draft 8324965 进入 Candidate 状态。该 JEP 提议进行第二轮预览，以便获取针对前一轮预览的反馈：将在 JDK 22 中交付的 JEP 457（类文件 API(预览)）。这个特性提供用于解析、生成和转换 Java 类文件的 API。它最初将作为 JDK 中 ASM （ Java 字节码操作和分析框架）的内部替代方案，并计划在后续将其开放为公共 API。Goetz 将 ASM 描述为“一个带有大量遗留负担的旧代码库”，并提供了背景信息，说明该草案将如何演化并最终取代 ASM。
导致kafka的重复消费问题原因在于，已经消费了数据，但是offset没来得及提交（比如Kafka没有或者不知道该数据已经被消费）。 总结以下场景导致Kakfa重复消费：
点击上方蓝色字体，选择“设为星标” 回复”学习资料“获取学习宝典 ---- 文章来源：https://lxkaka.wang/kafka-rebalance/ 前 言 消息队列是服务端必不可少的组件，其中Kafka可以说是数一数二的选择，对于大部分服务端的同学来说Kafka也是最熟悉的消息中间件之一。而当我们在生产上遇到kafka的使用问题时想要透过现象看到问题的本质，从而找到解决问题的办法。这就要求对kafka的设计和实现有这较为深刻的认识。在这篇文章里我们就以生产实际的例子来展开讨论Kafka在消费
Kafka 和 ES 都是用来处理大数据的中间件，一个是消息中间件的代表（Kafka），另一个是大数据搜索引擎的代表（ES）。它们在 Java 领域的使用非常广泛，在大数据方面就更不用说了，但它们的选主（选择主节点）有什么关联与区别呢？接下来，我们一起来看。
上篇文章说了，kafka位移提交通过enable.auto.commit控制手动提交还是自动提交，手动提交又分为异步提交和同步提交，还可以指定分区进行提交，默认是提交给所有分区。手动提交可以对应不同的业务场景，当需要业务全部处理完才提交位移，则可以选择手动提交，但这时候需要做幂等性处理，因为当业务执行完毕，但系统宕机，这时候consumer重启则因为位移没提交会重复消费之前的数据。
点击上方“芋道源码”，选择“设为星标” 管她前浪，还是后浪？ 能浪的浪，才是好浪！ 每天 10:33 更新文章，每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路，很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析 网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析 作业调度中间件 Elastic-Job 源码解析 分布式事务中间件 TCC-Transaction
接着上一篇博客，本篇主要介绍Kafka的生产与消费的过程。Producers往Brokers里面的指定Topic中写消息，Consumers从Brokers里面拉去指定Topic的消息。
# **kafka release reviews: what happen from kafka 0.10 to 2.6*
Kafka 是由 Linkedin 公司开发的，它是一个分布式的，支持多分区、多副本，基于 Zookeeper 的分布式消息流平台，它同时也是一款开源的基于发布订阅模式的消息引擎系统。
快递小哥手上有很多快递需要送，他每次都需要先电话一一确认收货人是否有空、哪个时间段有空，然后再确定好送货的方案。这样完全依赖收货人了！如果快递一多，快递小哥估计的忙疯了……如果有了便利店，快递小哥只需要将同一个小区的快递放在同一个便利店，然后通知收货人来取货就可以了，这时候快递小哥和收货人就实现了解耦！
针对上述问题，为了提供分布式的实时日志搜集和分析的监控系统，我们采用了业界通用的日志数据管理解决方案 - 它主要包括 Elasticsearch 、 Logstash 和 Kibana 三个系统。通常，业界把这套方案简称为ELK，取三个系统的首字母。调研了ELK技术栈，发现新一代的logstash-forward即Filebeat，使用了golang，性能超logstash，部署简单，占用资源少，可以很方便的和logstash和ES对接，作为日志文件采集组件。所以决定使用ELK+Filebeat的架构进行平台搭建。
消费者读取消息。在其他基于发布与订阅的消息系统中，消费者可能被称为订阅者 或 读者。
服务器有敏感数据，不允许直接登陆服务器查看日志文件，也不允许使用如ELK等日志功能收集日志，所以只能使用最简单的办法，只将错误日志进行收集，然后通过应用的webhook进行收集。
作者 | Michael Redlich 译者 | 平川 策划 | 丁晓昀 OpenJDK 上周，JEP 440（记录模式）已从 JEP Draft 8300541提升 到 Candidate 状态。该 JEP 最终确定了这一特性，并针对前 2 轮 预览 的反馈做了增强。这两轮预览分别是在 JDK 20 中发布的 JEP 432（记录模式第 2 次预览）和在 JDK 19 中发布的 JEP 405（记录模式预览）。该特性为这门语言添加了记录模式，用于解构记录值。记录模式可以与类型模式搭配使用，
Kafka中的消息是以topic进行分类的，生产者生产消息，消费者消费消息都是面向topic。而每个topic里面都是有分区的概念，一个topic有三个分区，而每个分区都是有分区leader（partition leader）和partition follower，注意重点，每个leader和follower对应的在不同的服务器，否则一个服务器挂掉了，则没有任何备份的意义。每个数据都有offset，主要是记录每次消费到哪个位置，方便kafka宕机后从当前位置继续消费。
上篇文章讲到了消息在 Partition 上的存储形式，本来准备接着来聊聊生产中的一些使用方式，想了想还有些很重要的工作组件原理没有讲清楚，比如一个 Topic 由 N 个 Partition 组成，那么这些 Partition 是如何均匀的分布在不同的 Broker 上？再比如当一个 Broker 宕机后，其上负责读写请求的主 Partition 无法正常访问，如何让从 Partition 转变成主 Partition 来继续提供正常的读写服务？想要解决这些问题，就必须先要了解一下 Kafka 集群内部的管理机制，其中一个非常重要的控制器就是 KafkaController。本文我们就来讲讲 KafkaController 是如何来解决上面提到的那些问题的。
在结束了评审之后，JEP 454（外部函数和内存 API）从 Proposed to Target 进入到了 Targeted（JDK 22）状态。该 JEP 建议在经历了两轮孵化和三轮预览之后确定这个特性：在 JDK 17 中交付的 JEP 412（外部函数和内存 API(孵化器)）、在 JDK 18 中交付的 JEP 419（外部函数和内存 API(第二轮孵化器)）、在 JDK 19 中交付的 JEP 424（外部函数和内存 API(预览)）、在 JDK 20 中交付的 JEP 434（外部函数和内存 API(第二次预览)），以及在 JDK 21 GA 版本中交付的 JEP 442（外部函数和内存 API(第三次预览)）。自上一个版本以来的改进包括：新的 Enable-Native-Access manifest 属性，允许可执行 JAR 包中的代码调用受限制的方法而无需使用——Enable-Native-Access 标志；允许客户端通过编程的方式构建 C 函数描述符，避免使用特定于平台的常量；改进了对本地内存中可变长度数组的支持；支持多字符集本地字符串。InfoQ 将会继续跟进报道。
导读：Kafka 是一个分布式消息队列，具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。 Kafka 对外使用 Topic 的概念，生产者往 Topic 里写消息，消费者从中读消息。为了做到水平扩展，一个 Topic 实际是由多个 Partition 组成的，遇到瓶颈时，可以通过增加 Partition 的数量来进行横向扩容。单个 Parition 内是保证消息有序。 每新写一条消息，Kafka 就是
JEP 466（类文件 API (第二次预览)）已从 Candidate 进入到 Proposed to Target 状态。该 JEP 提议进行第二轮预览，以获取来自之前一轮预览的反馈，即 在 JDK 22 中发布的 JEP 457（类文件 API (预览)）。该特性提供用于解析、生成和转换 Java 类文件的 API。这将先作为 ASM （在 JDK 中 ASM 是 Java 字节码操作和分析框架）的内部替代方案，并计划在后续将其开放为公共 API。Goetz 将 ASM 描述为“一个带有大量遗留负担的老代码库”，并提供了背景信息，说明该提议将如何发展并最终取代 ASM。
Kafka 是一个分布式消息队列，具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。
作者 | Natan Silnitsky 来源 | Wix 工程博客 最近经常听到谁谁谁用事件驱动了，正好看到一篇不错的关于事件架构的文章，分享给你，希望对你有帮助，以下是正文。 在过去一年里，我一直是数据流团队的一员，负责Wix事件驱动的消息传递基础设施（基于 Kafka）。有超过 1400 个微服务使用这个基础设施。在此期间，我实现或目睹了事件驱动消息传递设计的几个关键模式，这些模式有助于创建一个健壮的分布式系统，该系统可以轻松地处理不断增长的流量和存储需求。 1.消费与投影 针对那些使用非常广泛、已
Kafka初识 1、Kafka使用背景 在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题： 我们想分析下用户行为（pageviews），以便我们设计出更好的广告位 我想对用户的搜索关键词进行统计，分析出当前的流行趋势 有些数据，存储数据库浪费，直接存储硬盘效率又低 这些场景都有一个共同点： 数据是由上游模块产生，上游模块，使用上游模块的数据计算、统计、分析，这个时候就可以使用消息系统，尤其是分布式消息系统！ 2、Kafka的定义 What is Kafka：它是一个分布式消息系统
我第一次看到他事件环（event-loop）的时候，我是一脸懵，这是什么鬼，是什么循环吗，为什么event还要loop，不是都是一次性的吗？
kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。
本系列笔记涉及到的代码在GitHub上，地址：https://github.com/zsllsz/cloud
消息发送者生产消息发送到消息队列中，然后消息接收者从消息队列中取出并且消费消息。消息被消费以后，消息队列中不再有存储，所以消息接收者不可能消费到已经被消费的消息。
HCIER&S面试高频面试知识点QOS，近期会将QOS专题的所有知识点及面试中考官问到的问题点做一个分析。
在实际应用中，往往需要根据业务需求动态开启/关闭Kafka消费者监听。例如，在某些时间段内，可能需要暂停对某个Topic的消费，或者在某些条件下才开启对某个Topic的消费。
2020版中间件面试题总结（RabbitMQ+Kafka+ZooKeeper）
还有一个点是，看书的时候可以尝试记一下笔记，这样效率会高一些，不至于看完就忘记了。
延迟信息处理，比如10分钟之后给下单未付款的用户发送邮件提醒。解耦系统，对于新增的功能可以单独写模块扩展，比如用户确认评价之后，新增了给用户返积分的功能，这个时候不用在业务代码里添加新增积分的功能，只需要把新增积分的接口订阅确认评价的消息队列即可，后面再添加任何功能只需要订阅对应的消息队列即可。
•Spring Cloud Stream实现消息过滤消费•Spring Cloud Stream 错误处理详解
引言 在探究 Kafka 核心知识之前，我们先思考一个问题：什么场景会促使我们使用 .Kafka? 说到这里，我们头脑中或多或少会蹦出异步解耦和削峰填谷等字样，是的，这就是 Kafka 最重要的落地场
KafkaProducer会将消息先放入缓冲区中，然后由单独的sender线程异步发送到broker服务端，那么既然消息是批量发送的，那么触发批量发送的条件是什么呢？
在 Kafka 中，消费者通常是消费者群组的一部分，多个消费者群组共同读取同一个主题时，彼此之间互不影响。Kafka 之所以要引入消费者群组这个概念是因为 Kafka 消费者经常会做一些高延迟的操作，比如把数据写到数据库或 HDFS ，或者进行耗时的计算，在这些情况下，单个消费者无法跟上数据生成的速度。此时可以增加更多的消费者，让它们分担负载，分别处理部分分区的消息，这就是 Kafka 实现横向伸缩的主要手段。
你好，我是码哥，可以叫我靓仔 作者：mo 引言 在探究 Kafka 核心知识之前，我们先思考一个问题：什么场景会促使我们使用 Kafka? 说到这里，我们头脑中或多或少会蹦出异步解耦和削峰填谷等字样
在开始正题之前，先闲聊几句。有人说，计算机科学这个学科，软件方向研究到头就是数学，硬件方向研究到头就是物理，最轻松的是中间这批使用者，可以不太懂物理，不太懂数学，依旧可以使用计算机作为自己谋生的工具。这个规律具有普适应，再看看“定时器”这个例子，往应用层研究，有 Quartz，Spring Schedule 等框架；往分布式研究，又有 SchedulerX，ElasticJob 等分布式任务调度；往底层实现研究，又有不同的定时器实现原理，工作效率，数据结构…简单上手使用一个框架，并不能体现出个人的水平，如何与他人构成区分度？我觉得至少要在某一个方向有所建树：
hello，大家好，我是张张，「架构精进之路」公号作者。 引言 在探究 Kafka 核心知识之前，我们先思考一个问题：什么场景会促使我们使用 Kafka? 说到这里，我们头脑中或多或少会蹦出异步解耦
作者：mo 引言 在探究 Kafka 核心知识之前，我们先思考一个问题：什么场景会促使我们使用 Kafka? 说到这里，我们头脑中或多或少会蹦出异步解耦和削峰填谷等字样，是的，这就是 Kafka 最
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
