假设我们正在开发一个核心的电商交易平台。在最原始的单体架构或早期的微服务架构中，订单微服务创建完一条新订单后，需要通过网络接口直接调用库存系统扣减商品、调用积分...

不知道有没有朋友和我一样，虽然了解 Kafka 的逻辑存储，例如 Broker、Topic、Partition 这些概念，但是对于底层数据是如何存储还是比较模糊...

前面我们对 Kafka 的整体架构和一些关键的概念有了一个基本的认知，本文主要介绍 Kafka 的一些配置参数。掌握这些参数的作用对我们的运维和调优工作还是非常...

在深入讨论技术细节之前，我们需要先对齐一个核心指标：RTO (Recovery Time Objective，恢复时间目标)。在分布式系统的语境下，RTO 并不...

我们非常荣幸地宣布，AutoMQ 与 Aklivity 正式达成战略合作伙伴关系！共同致力于推进云原生实时数据基础设施的演进，助力企业深度释放实时数据的核心价值...

中国的企业软件产业正处在一个“多重压力交汇”的关键十字路口。表面上看，是“白嫖文化”、开源冲击、外包盛行、招标机制扭曲、数科公司挤压、AI颠覆等外部力量在“摧毁...

在前文中，我们从源码层面介绍了 Flink 的 Kafka Connector 的实现。从本文开始，我们的目标也正式从 Flink 过渡到 Kafka。

本文是由 Gemini 生成的 Kafka 学习路径。Gemini 中有一个学习辅导的工具，它可以通过互动问答的形式帮助你由浅入深的学习一个知识点，个人感觉还是...

已经在虚拟机部署好Apache DolphinScheduler了，想尝试下在Flink新建一个Flink节点，然后用Flink消费Kafka数据。

某天，突然发现生产环境一些topic的kafka消费者，不再消费新的消息。通过查日志发现，出现如下报错后，消费便卡住了。

在介绍 Kafka Connector 之前，我们先来看一下在 Flink 中是如何支持自定义 Source 和 Sink 的。我们来看一张 Flink 官方文...

Producer 重试、宕机重启，可能造成 消息重复（同一条业务消息写多次 Topic）

在分布式系统架构中，消息队列是实现系统解耦、异步通信、流量削峰的关键组件。而Apache Kafka作为当前最主流的分布式消息中间件之一，凭借其超高吞吐量、高可...

说到kafka调优，不知道大家有没有遇到这类场景。比如，我们团队现在维护一个日活百万的应用，每人每天产生100条日志。光这个数字一出来，就不得了。算笔账：一天就...