腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据技术栈

专栏作者

67

文章

83246

阅读量

17

订阅数

Kafka 保证分区有序

Kafka能做到全局有序吗？ Kafka只能保证分区有序，如果只有一个分区，那也是变向的全局有序 Kafka如何保证分区有序通过配置 max.in.flight.requests.per.connection = 1 这个配置是生产者往服务度发送数据的请求数，配置为1，则一次只能发送1个请求，如果失败继续重试，知道成功，才会进行下一个请求的发送，这样就保证了消息的有序性，但是相对性能就大大降低了。通过生产者幂等特性幂等的保证是需要给每条消息加一个 Seqnum的

2021-01-26

6650

Kafka 水位详解

kafka中用水位来描述，一个分区中的可见数据的offset。大概你需要知道这几点：

2021-01-21

7300

SparkStreaming On Kafka —— Offset 管理

我之前有写一篇kafka Consumer — offset的控制如果你对于这方面的知识还不太清楚，建议你去看一下，毕竟理解了Kafka的消费者，你才能更好的使用SparkStreaming结合Kafka。

2020-03-24

1.1K0

spark sql api hadoop kafka

根据目前的情况看起来，国内普遍对于flink比较看好，从实际情况来看，flink也是以后的发展方向，但是目前Spark的活跃程度远高于Flink，很难说Spark以后的底层不会也才有flink这种方式，

2020-02-25

5170

kafka Consumer — offset的控制

kafka javascript node.js

在N久之前，曾写过kafka 生产者使用详解，今天补上关于 offset 相关的内容。那么本文主要涉及：

2019-12-16

2.9K0

Kafka —— 如何保证消息不会丢失

当我们通过 send(msg, callback) 是不是就意味着消息一定不丢失了呢？

2019-11-26

1.4K0

Kafka 重平衡全流程解析

本文来自极客时间 Kafka核心技术与实战这段时间有看极客时间的这个课程, 这里仅以分享的角度来做个笔记。那么本文将涉及到以下几个知识点：

2019-10-30

3.1K0

Kafka 为什么快？

kafka 存储缓存

本文只想从作者本身的认识来谈谈 kafka 为什么会这么快？我们都知道 kafka 是基于磁盘的，但是他的存储和读取速度确是非常的快的。阅读本文前，你可能需要基本了解 kafka 使用和架构。

2019-10-30

6650

Kafka 关于压缩的一点经验

文件存储 kafka

就压缩而言，对于数据储存应该是一个比较大的优化，而 Kafka 自然也是支持这种特性的，但是这里可能会有那么一点坑。我们主要从：

2019-10-30

2.2K0

kafka 消费者详解

kafka 编程算法

使用起来还是很简单的，不过如果想要用好 consumer，可能你还需要了解以下这些东西：

2019-10-30

1.1K0

kafka 生产者使用详解

是不是觉得很简单？虽然使用起来是很简单，但是要使用好也不是那么容易噢。。。这里请注意以下几点： 1、一定要记得close producer,以免造成资源浪费 2、send() 是异步的，所以上面的代码是有点问题的，producer.close();应该在合适的机会调用，而不是代码末尾 3、如果你想使用同步发送，那么只需要简单的producer.send().get() 使用get()函数就可以了

2019-10-30

1.8K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态