#Kafka

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。

【kafka运维】你真的懂数据迁移吗?(附教学视频)

石臻臻的杂货铺[同名公众号]

Kafka提供一个broker之间复制传输的流量限制,限制了副本从机器到另一台机器的带宽上限,当重新平衡集群,引导新broker,添加或移除broker时候,这...

8220

【kafka运维】TopicCommand-Kafka运维脚本(1)

石臻臻的杂货铺[同名公众号]

>bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic topic1 --partiti...

8850

【kafka运维】Kafka全网最全最详细运维命令合集(精品强烈建议收藏!!!)

石臻臻的杂货铺[同名公众号]

本文所有命令,博主均全部操作验证过,保证准确性; 非复制粘贴拼凑文章; 如果想了解更多工具命令,可在评论区留下评论,博主会择期加上;

10800

生产-消费模型组件实现 Producer Consumer Solution using BlockingQueue

LiosWong

原来各个应用某些业务节点的日志通过filebeat+elk收集,供各个业务方使用,线上发现filebeat消耗非常大的硬件资源,而且应用集群较大,每次新增日志类...

8330

6、深潜kafka-consumer——consumer rebalance 协议详解

杨四正

在开始分析 KafkaConsumer 的具体实现之前,我们先来介绍一下 KafkaConsumer 涉及到的一些基础理论。在第一课时介绍 Consumer G...

12200

大数据开发:Kafka延迟队列

成都加米谷大数据

Kafka作为实时消息队列的一个重要框架,在大数据技术架构搭建层面,越来越得到重用。相应的,Kafka在大数据技术生态当中的地位,也越来越重要。今天的大数据开发...

16430

Kafka监控与调优-文末思维导图

温安适

Linux/Unix like OS 的文件系统中每个目录树中的节点,只包含了文件名和 Inode number Inode number 所找到对应于文件名的...

8630

kafka进阶-文末思维导图

温安适

session.timeout.ms >= 3* heartbeat.interval.ms 至少3轮的心跳请求。

7740

【Kafka】使用Wireshark抓包分析Kafka通信协议

图样图森跛

腾讯 · 大数据运维工程师 (已认证)

Kafka的Producer、Broker和Consumer之间采用的是一套自行设计的基于TCP层的协议。Kafka的这套协议完全是为了Kafka自身的业务需求...

38150

5、深潜KafkaProducer——Sender线程

杨四正

通过上一课时的介绍我们了解到,业务线程通过 KafkaProducer.send() 方法将 message 放入 RecordAccumulator 中进行能...

12600

4、深潜KafkaProducer —— RecordAccumulator

杨四正

通过上一课时的介绍我们了解到,业务线程使用 KafkaProducer.send() 方法发送 message 的时候,会先将其写入RecordAccumula...

10000

超详细的Kafka架构原理图解,不懂的你还不抓紧时间上车!

Java程序猿

同时建议读者同学结合 Kafka 的配置去了解 Kafka 的实现原理,Kafka 有大量的配置,这也是 Kafka 高度扩展的一个表现,很多同学对 Kafka...

11740

Kafka很强大,但是一步出错就可能导致系统数据损坏!

Java程序猿

Apache Kafka 已成为跨微服务异步通信的主流平台。它有很多强大的特性,让我们能够构建健壮、有弹性的异步架构。

7520

阿里资深架构师仅用8个知识点带你参透Kafka!

Java程序猿

Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以...

14220

3、深潜 kafka producer —— 核心架构

杨四正

kafka 自定义了一套网络协议,我们可以使用任意语言来实现这套协议,实现向 kafka 集群 push message 以及从 kafka 集群 pull m...

9100

2、kafka 2.8.0 源码环境搭建

杨四正

JDK 的安装非常简单,这里我们安装 JDK 8 即可(虽然 JDK 现在的新版本是 16,但是国内生产环境还有相当一大部分还是停留在 8 这个版本上)。首先到...

23500

Kafka万亿级消息实战

2020labs小助手

vivo · 技术编辑 (已认证)

本文主要总结当Kafka集群流量达到 万亿级记录/天或者十万亿级记录/天  甚至更高后,我们需要具备哪些能力才能保障集群高可用、高可靠、高性能、高吞吐、安全的运...

10300

【赵强老师】Kafka的消息持久化

赵强老师

京东大学 · 大数据学院院长 (已认证)

Kakfa依赖文件系统来存储和缓存消息。对于硬盘的传统观念是硬盘总是很慢,基于文件系统的架构能否提供优异的性能?实际上硬盘的快慢完全取决于使用方式。同时 Kaf...

11730

通过kafka/flink加载MySQL表数据消费 快速安装配置

用户7689089

说明:对于数据迁移工具来说,好多封装了kafka和flink的,出于好奇,个人试着去下载了一下kafka和flink试着部署一下,本次就简单的记录一下安装过程,...

16710

Filebeat/Kafka/LogStash/ES/Kibana架构

Honest1y

腾讯云 · 容器运维工程师 (已认证)

在数据源端配置日志采集客户端,负责采集原始日志并汇总到MQ,MQ选择Kafka进行日志消息缓存与分发,后端部署LogStash,订阅Kafka topic内日志...

11340

扫码关注云+社区

领取腾讯云代金券