腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

EffectiveCoding

专栏作者

113

文章

97307

阅读量

28

订阅数

Kafka 交付语义机制详解

上一篇提到了如何利用ISR完成“消息不丢失”，接下来看看如何整体来说，如何实现Kafka的交付语义。 Kafka 或者所有的消息队列中都存在的交付语义：最多一次、至少一次、精确一次，如何去理解这些语义，并用在合适的业务场景是十分重要的，看Kafka 社区中经常有吐槽丢消息等，其实通常来说不是Kafka 丢消息，而是用户用的不是那么明白，没有选择实现合适的交付语义，没有按照Kafka 规范来使用交付策略，下面具体来看看这几种交付语义。

2019-07-31

5180

Kafka 之压缩算法&Hash算法

文件存储 kafka hashmap java 编程算法

Kafka 支持的压缩算法还挺多的，这一篇来站在Kafka的角度看一下压缩算法。就当前情况来说，支持GZIP、Snappy、LZ4 这三种压缩算法。具体是通过compression.type 来开启消息压缩并且设定具体的压缩算法。

2019-07-31

1.9K0

Kafka “高吞吐” 之顺序访问与零拷贝

kafka jvm java 缓存批量计算

上一篇所说的micr-batch 其实主要是针对producer 来实现的，Kafka整体吞吐量高可不只是依赖于micr-batch这一点，还有broker端及consumer端。

2019-07-31

1.3K0

Kafka “高性能” mirc-batch

windows 批量计算 kafka

最开始在Kafka 概述中提到了mirc-batch（微批处理），mirc-batch是Kafka 高性能的一个非常重要的原因，这一下子就使Kafka 成为了一个拥有近乎流式处理框架的的高吞吐级别，但是mirc相对于流式处理还是存在很大差异的，但是一些所谓的流式处理框架使用的也有mirc-batch（比如说spark Streaming），当然啦一些正统的流式处理框架，比如说storm、Flink使用的都是典型的流式处理。本文按照批处理、微批处理、流式处理来说一下为什么Kafka选择了micr-batch。在介绍之前先说一下几个经典概念：

2019-07-31

9450

消息队列 CMQ 版 kafka 分布式 java 负载均衡

比较常见的概念：建立在计算机网络之上的软件系统，若干独立计算机的集合，这计算机对用户来说就像是单个相关系统。

2019-07-31

6200

Kafka “不丢消息” ISR 机制解析

许多消息都会各种保证自己的产品不会丢消息或者消息丢失概率较小，但是靠谱的很少，而且消息队列丢消息排查起来是非常麻烦的，所以大多数在使用的过程中都会在上层或者下层建立一种消息核对或者应对丢失的策略。在丢消息这方面，Kafka 算是有着不小的优势，只要去正确使用，Kafka 基本是不会产生丢失的，并且能做到精确一次处理。

2019-07-31

5.4K2

Kafka consumer 解析

kafka zookeeper

上一篇说了Kafka consumer的处理逻辑、实现原理及相关的特点，本篇来看看Kafka 另一个client Consumer，作为生产者消费者的另一端，consumer提供了消费消息的能力，下面来看看Kafka中的consumer 应该如何正确使用及实现原理。

2019-07-31

7850

Kafka producer 解析

文件存储 kafka 批量计算 java

Kafka 作为一个消息系统，其中很大的一个用途就是作为业务上的解耦，而它实现的模式就是经典的生产者消费者模式。毫无疑问，就出现了producer、consumer。然后消息总得有地方存放啊，然后就有了具体的broker，那在broker上是如何进行组织和存放的，就出现了partition。对应的为保证消息不丢失，也就出现了消息备份组这样一个概念（ISR，in-sync replica）再加上消息的topic也就形成了，kafka的 topic-partition-message 的三级负载结构。到这里Kafka中比较核心的几个概念就都有了，下面开始详细介绍。

2019-07-31

6400

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态