腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

EffectiveCoding

专栏作者

113

文章

97152

阅读量

28

订阅数

Kafka “高吞吐” 之顺序访问与零拷贝

kafka jvm java 缓存批量计算

上一篇所说的micr-batch 其实主要是针对producer 来实现的，Kafka整体吞吐量高可不只是依赖于micr-batch这一点，还有broker端及consumer端。

2019-07-31

1.3K0

Kafka “高性能” mirc-batch

windows 批量计算 kafka

最开始在Kafka 概述中提到了mirc-batch（微批处理），mirc-batch是Kafka 高性能的一个非常重要的原因，这一下子就使Kafka 成为了一个拥有近乎流式处理框架的的高吞吐级别，但是mirc相对于流式处理还是存在很大差异的，但是一些所谓的流式处理框架使用的也有mirc-batch（比如说spark Streaming），当然啦一些正统的流式处理框架，比如说storm、Flink使用的都是典型的流式处理。本文按照批处理、微批处理、流式处理来说一下为什么Kafka选择了micr-batch。在介绍之前先说一下几个经典概念：

2019-07-31

9450

Kafka producer 解析

文件存储 kafka 批量计算 java

Kafka 作为一个消息系统，其中很大的一个用途就是作为业务上的解耦，而它实现的模式就是经典的生产者消费者模式。毫无疑问，就出现了producer、consumer。然后消息总得有地方存放啊，然后就有了具体的broker，那在broker上是如何进行组织和存放的，就出现了partition。对应的为保证消息不丢失，也就出现了消息备份组这样一个概念（ISR，in-sync replica）再加上消息的topic也就形成了，kafka的 topic-partition-message 的三级负载结构。到这里Kafka中比较核心的几个概念就都有了，下面开始详细介绍。

2019-07-31

6400

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态