Flink是使用Kafka链接计算任务,利用kafka的exactly once实现流计算的不重不丢,而Kafka 的 Exactly Once 语义是通过它的...

漏洞通告地址：https://kafka.apache.org/cve-list.html

这一个漏洞所影响的组件其实是 Spring-Kafka，严格意义上来说并不算是 kafka 的漏洞，应该算是 Spring 的漏洞。

我们应该将脚本移动kafka_stream_dag.py到文件夹下以便能够运行 DAG 使用提供的脚本访问 Airflow bash 并安装所需的软件包：kaf...

FileBeat 配置文件说明，坑点 1（需设置 keys_under_root: true）。如果不设置kafka 的消息字段，会提示如下的错误。

写入到kafka中的数据是落地到了磁盘上，并且有冗余备份，kafka允许producer等待确认,通过配置，可实现直到所有的replication完成复制才算写...

        Kafka集群将 Record 流存储在称为 Topic 的类中，每个记录由⼀个键、⼀个值和⼀个时间戳组成。

看到云 + 社区发布了「热点技术征文赛第二期」征文活动，决定参与【编程语言】选题赛道，本文属于【项目实战经验分享】

副本： 本质就是一个只能追加写消息的提交日志。根据 Kafka 副本机制的定义，同一个分区下的所有副本保存有相同的消息序列，这些副本分散保存在不同的 Broke...

--bootstrap-server，连接的Kafka Broker主机名称和端口号。

        kafka是依靠zookeeper来实现分布式的，所以再启动前需要先启动zookeeper，如下图

先简单介绍下我们的使用场景，线上5台Broker节点的kafka承接了所有binlog订阅的数据，用于Flink组件接收数据做数据中台的原始数据。昨儿开发反...

最近在弄kafka相关的东东，因为是spring boot工程，所以用到了Spring-kafka，一个包含了kafka-producer和kafka-co...

昨天博主写了《windows环境下flink入门demo实例》实现了官方提供的最简单的单词计数功能，今天升级下，将数据源从socket流换成生产级的消息队列...

        熟悉负载均衡的朋友应该知道，当我们向某个服务器发送请求的时候，服务端可能会对请求做一个负载，将流量分发到不同的服务器，那在kafka中，如果某个...

消费者提了异步 commit 实际还没更新完offset，消费者再不断地poll，其实会有重复消费的情况？

消费者组: Consumer Group 是 Kafka 提供的可扩展且具有容错性的消费者机制。组内必然可以有多个消费者或消费者实例（Consumer Inst...

producer采用push模式将消息发布到broker，每条消息都被append到patition中，属于顺序写磁盘（顺序写磁盘 比 随机写 效率要高，保障 ...

首先，我们在做数据开发的过程中涉及到一些基本要素：时效性保障、质量保障、稳定性保障，此外还有敏捷性、可管理性等其他要素。根据公司业务场景和重要性不同，重点也有所...

分区的作用就是提供负载均衡的能力，或者说对数据进行分区的主要原因，就是为了实现系统的高伸缩性（Scalability）。不同的分区能够被放置到不同节点的机器上，...