#Kafka

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。

Cluster Sharding及Kafka应用

小虫飞飞

腾讯 · 高级工程师 (已认证)

数据流处理面临四个基本问题(Tyler Akidau, Slava Chernyak & Reuven lax. Streaming Systems: The ...

127110

消息队列的消费幂等性如何保证

lyb-geek

当出现消费者对某条消息重复消费的情况时,重复消费的结果与消费一次的结果是相同的,并且多次消费并未对业务系统产生任何负面影响

2100

Zookeeper搭载kafka消息发布和订阅

刘文正

ZooKeeper 是一个开源的分布式协调服务,由雅虎创建,是 Google Chubby 的开源实现。

6320

干货 | Kafka 内核知识梳理,附思维导图

大数据技术架构

前面我们已经分享过几篇Kafka的文章,最近简单梳理了下Kafka内核相关的知识,涵盖了Kafka架构总结,副本机制,控制器,高水位机制,日志或消息存储,消息发...

13630

ES明明还没到瓶颈,可为啥kafka中有大量消息堆积呢?

吴容

深夜接到客户紧急电话,反馈腾讯云kafka中有大量消息堆积未及时消费。每分钟堆积近100w条数据。但是查看es监控,各项指标都远还没到性能瓶颈。后天公司就要搞电...

29580

Kafka是如何利用零拷贝提高性能的

大数据技术架构

Kafka 在执行消息的写入和读取这么快的原因,其中的一个原因是零拷贝(Zero-copy)技术,下面我们来了解一下这么高效的原因。

17820

Kafka精进 | Producer端核心参数及调优建议

大数据技术架构

在前面文章《Kafka精进 | 一文读懂Producer消息发送机制》中,我们从Kafka消息结构、序列化器、分区器及消息缓冲池等方面介绍了Producer端的...

13130

Kafka精进 | Broker服务端核心参数解析

大数据技术架构

关于Kafka,我们在之前的文章里也介绍,简而言之Kafka是一个分布式消息引擎与流处理平台,经常用做企业的消息总线、实时数据管道,有时还可以当做存储系统来用。...

12410

记一次 Kafka 重启失败问题排查

张乘辉

在 2 月10 号下午大概 1 点半左右,收到用户方反馈,发现日志 kafka 集群 A 主题 的 34 分区选举不了 leader,导致某些消息发送到该分区时...

14820

从源码和日志文件结构中分析 Kafka 重启失败事件

张乘辉

上次的 Kafka 重启失败事件,对为什么重启失败的原因似乎并没有解释清楚,那么我就在这里按照我对 Kafka 的认识,从源码和日志文件结构去尝试寻找原因。

9950

SparkStreaming On Kafka —— Offset 管理

solve

inveno · 大数据开发工程师 (已认证)

我之前有写一篇kafka Consumer — offset的控制 如果你对于这方面的知识还不太清楚, 建议你去看一下, 毕竟理解了Kafka的消费者, ...

11120

关于kafka监控工具

阿dai学长

较之传统的消息中间件(例如 ActiveMQ、RabbitMQ),Kafka 具有高吞吐量、内置分区、支持消息副本和高容错的特性,非常适合大规模消息处理应用程序...

20930

日志系统Kafka运维的经验

stevenclji

腾讯科技 · 后台工程师 (已认证)

Kafka集群中日志一般保持1天,如果在1天内有需要特殊处理的数据,就需要对Kafka数据重新读取。这时需要提前在每个时间点记录当前partition的offs...

14710

如何快速全面掌握Kafka?5000字吐血整理

大数据技术架构

Kafka 是目前主流的分布式消息引擎及流处理平台,经常用做企业的消息总线、实时数据管道,本文挑选了 Kafka 的几个核心话题,帮助大家快速掌握 Kafka,...

28270

你能说出 Kafka 这些原理吗

用户1564362

如果只是为了开发 Kafka 应用程序,或者只是在生产环境使用 Kafka,那么了解 Kafka 的内部工作原理不是必须的。不过,了解 Kafka 的内部工作原...

7410

大白话带你认识Kafka

黄泽杰

所以消息系统就是如上图我们所说的仓库,能在中间过程作为缓存,并且实现解耦合的作用。

10600

RabbitMQ和Kafka到底怎么选?RabbitMQ和Kafka 性能对比!

黄泽杰

开源社区有好多优秀的队列中间件,比如RabbitMQ和Kafka,每个队列都貌似有其特性,在进行工程选择时,往往眼花缭乱,不知所措。对于RabbitMQ和Kaf...

12010

Apache Kafka 版本演进及特性介绍

大数据技术架构

前段时间有一个同事问到:Kafka 0.8.2 只能使用Zookeeper连接吗?虽然仍有一部分Kafka的老用户在使用 0.8.x 版本,但 Kafka 0....

23630

Kafka基于HW备份恢复弊端分析(III)

shysh95

由于基于HW的备份恢复机制会产生上述两种问题,因此Kafka在0.11.0.0版本之后引入Lead Epoch的解决上述问题。

7710

Kafka日志分段与消息查找

shysh95

Kafka作为一个消息中间件(后面Kafka逐渐转向一个流失处理平台KafkaStream),消息最终的存储都落在日志中。

25610

扫码关注云+社区

领取腾讯云代金券