腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据实战演练

专栏作者

157

文章

535878

阅读量

60

订阅数

实操 | 10分钟带你轻松掌握 Kafka 源码编译环境搭建，调试无忧！

ide kafka 打包 gradle git

众所周知，要研究 Kafka，阅读 Kafka 源码是必不可少的环节。因此，本文将介绍如何使用 idea 加载 Kafka 源码并编译的具体步骤。由于 Kafka 核心模块是用 Scala 语言开发，用 Gradle 编译和构建的，因此下面先介绍相关环境的安装配置。

2022-11-17

2.2K0

悄悄掌握 Kafka 常用命令，再也不用全网搜索了（建议收藏）

前言对于从事大数据相关职位的朋友们来说，使用 kafka 的频率应该不会少。为了解决各位在操作 kafka 时记不住命令参数的痛点，所以我整理了一下在我工作中经常用到的 kafka 实操命令，希望各位看官能够喜欢。 kafka版本：2.11-1.1.0

2020-12-16

7K0

解惑 | kafka集群三节点下,挂掉一个节点,为什么消费者消费不到数据了

node.js kafka 负载均衡负载均衡缓存

之前，Kafka 集群就一个 broker ，id 为 200 ，然后根据需求，我又扩展了 2 个节点，修改 broker.id 、listeners 、创建数据目录，然后就启动 Kafka 节点了，到此，我以为 Kafka 集群三节点部署完毕，kafka broker id 分别为 200、201、202。于是，我创建了新的 topic:test ，3 分区 3 副本，生产、消费数据都很正常。

2020-12-01

4.3K0

kafka 如何对 topic 分区 replica leader 进行负载均衡

kafka json 负载均衡 bash bash 指令

在上一篇《必会 | 教你如何重新分布kafka分区、增加分区副本数》文章中，描述了如何重新分配 kafka topic 分区以及增加分区副本数。在最后我留了一个小疑问，如果 kafka leader replica 不挂掉的话，如何选择某 replica 为指定leader 呢？

2020-12-01

1.7K0

必会 | 教你如何重新分布kafka分区、增加分区副本数

kafka json bash bash 指令 linux

已知，Kafka 集群中有两个 kafka broker ，id 分别为 200、201 。

2020-12-01

8.1K1

解惑 | 为什么我根据时间戳获得的offset为空呢？

node.js http kafka java shell

最近有一个需求，要查询某一时间戳对应的offset值，于是就想到了使用 ./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --time <timestamp> ，但是我在测试的时候，发现有的时间戳会获取不到offset，是空。但是明明指定的时间戳有上报数据，肯定有对应的 offset 的。于是就谷歌，找到了这篇帖子：

2020-09-24

2.5K0

实操 | kafka如何手动异步提交offset

至于为什么消费者提交 offsets 时要 +1，在《Kafka消费者之如何提交消息的偏移量》中的概述章节里面也给出了答案。

2020-09-24

3.8K0

两种实现方式 | 如何查看消费者组的消费情况

node.js kafka html 文件存储 api

本文提供两种方式来查看消费者组的消费情况，分别通过命令行和 java api 的方式来消费 __consumer_offsets 。

2020-09-18

6.2K0

Kafka消费者之指定位移消费

在 Kafka 中，每当消费者组内的消费者查找不到所记录的消费位移或发生位移越界时，就会根据消费者客户端参数 auto.offset.reset 的配置来决定从何处开始进行消费，这个参数的默认值为 “latest” 。

2019-07-23

15.7K0

Kafka消费者之如何订阅主题或分区

github git 开源 kafka java

https://github.com/841809077/hdpproject/blob/master/src/main/java/com/hdp/project/kafka/consumer/KafkaConsumerAnalysis.java

2019-07-17

2K0

Kafka消费者之如何进行消息消费

java unix kafka

放弃不难，但坚持很酷~由于消费者模块的知识涉及太多，所以决定先按模块来整理知识，最后再进行知识模块汇总。

2019-07-16

3.4K0

Kafka消费者之如何提交消息的偏移量

kafka javascript node.js

由于消费者模块的知识涉及太多，所以决定先按模块来整理知识，最后再进行知识模块汇总。

2019-07-12

3.4K0

Kafka基础（二）：生产者相关知识汇总

文件存储网络安全 kafka 编程算法

本文章部分内容摘自朱忠华老师的《深入理解Kafka：核心设计与实践原理》，也特别推荐广大读者购买阅读。

2019-06-24

7490

Kafka基础（一）：基本概念及生产者、消费者示例

node.js kafka zookeeper

Kafka 起初是由 LinkedIn 公司采用 Scala 语言开发的一个多分区、多副本且基于 Zookeeper 协调的分布式消息系统，现已被捐献给 Apache 基金会。目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性被广泛使用。目前越来越多的开源式分布处理系统如：Storm、Spark、Flink 等都支持与 Kafka 集成。

2019-06-19

7380

Flume入门 | 基本概念及架构说明

大数据日志数据负载均衡 kafka 负载均衡缓存

今天，给大家分享一下Flume的基础知识。本篇文章主要是对Flume的基本概念及架构进行一些说明。

2019-03-12

8460

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态