腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

码字搬砖

专栏作者

209

文章

289571

阅读量

32

订阅数

kafka 生产者的幂等性

node.js kafka 分布式

kafka 提供了 “at least once” 的语义，即消息会发送一次或者是多次。但是人们真正想要的是 “exactly once” 的语义，即重复的消息不会再被发送

2022-01-11

7350

Kafka中的HW、LEO、LSO等分别代表什么？

HW 、 LEO 等概念和上一篇文章所说的 ISR有着紧密的关系，如果不了解 ISR 可以先看下ISR相关的介绍。

2021-03-17

4.8K0

一文搞懂 FlinkSQL 的 KafkaSource

flink 大数据 sql kafka

前面我们了解了写给大忙人看的Flink 消费 Kafka，今天我们一起来看一下 FlinkSQL Kafka 是如何与 Flink Streaming Kafka 结合起来的

2021-02-01

1.4K0

Flink SQL 自定义 format

由于 kafka 中的 json 属于嵌套，又不想二次序列化再把它展开，故自定义 format。

2020-10-27

2.2K0

一文搞定 Flink Task 提交执行全流程

flink 大数据 kafka

这里创建了一个 Task 对象并启动，我们来看一下 Task 启动的时候都做了什么

2020-07-14

1.2K0

一文搞定 Flink 消费消息的全流程

flink 大数据文件存储编程算法 kafka

当 Flink 程序启动，leader、blobServer 等都创建完毕，当 ExecutionGraph 构建完成，提交成功之后。就到了，task 正式执行的阶段了。这个时候，一条消息是如何流转的呢？首先，进入了 Task 的 run 方法

2020-06-04

1.3K0

彻底搞懂 Flink Kafka OffsetState 存储

node.js flink 大数据 kafka 存储

写给大忙人看的Flink 消费 Kafka 已经对 Flink 消费 kafka 进行了源码级别的讲解。可是有一点没有说的很明白那就是 offset 是怎么存储到状态中的？

2020-06-02

1K0

写给大忙人看的Flink 消费 Kafka

flink 大数据 kafka

对于实时计算来说，Flink 可以说是如日中天，国内很多公司也开始慢慢转向于 Flink 的使用。而对于 Flink 来说最常见的使用场景莫过于读取 Kafka 中的数据，若对此熟练掌握，在面试中拔得头筹也不是不可能的。

2020-04-08

1.6K0

Flink消费kafka如何获取每条消息对应的topic

1.首先自定义个 KafkaDeserializationSchema public class CustomKafkaDeserializationSchema implements KafkaDeserializationSchema<Tuple2<String, String>> { @Override //nextElement 是否表示流的最后一条元素，我们要设置为 false ,因为我们需要 msg 源源不断的被消费 public boolean isEndOfStream(Tuple2<

2020-03-26

2.3K0

Flink 消费 kafka 时如何处理空闲 task

flink 大数据 kafka

我们都知道 flink 消费 kafka 是一个 partition 对应一个 task，但比如说 flink task 数多于 kafka partition 时。flink 是如何处理这个空闲的 task 的。

2020-03-26

5340

深入理解kafka: 核心设计与实践原理

文件存储 kafka 批量计算 http 缓存

bootstrap.servers ,分割，这里并非需要所有的broker地址清单，因为生产者会从给定的broker里查找到其他broker信息，不过建议至少要设置两个以上broker地址信息

2019-06-16

2.4K0

FlinkConsumer是如何保证一个partition对应一个thread的

kafka 大数据

版权声明：本文为博主原创，欢迎转载，转载请标明出处 Blog Address:http://blog.csdn.net/jsjsjs1789 https://blog.csdn.net/jsjsjs1789/article/details/90576232

2019-06-14

1.3K0

Flink是如何kafka读取数据的

kafka http 大数据

版权声明：本文为博主原创，欢迎转载，转载请标明出处 Blog Address:http://blog.csdn.net/jsjsjs1789 https://blog.csdn.net/jsjsjs1789/article/details/89067747

2019-04-18

1.7K0

Flink startupMode是如何起作用的

node.js kafka .net

版权声明：本文为博主原创，欢迎转载，转载请标明出处 Blog Address:http://blog.csdn.net/jsjsjs1789 https://blog.csdn.net/jsjsjs1789/article/details/89067716

2019-04-18

1.3K0

Flink如何保存Offset

版权声明：本文为博主原创，欢迎转载，转载请标明出处 Blog Address:http://blog.csdn.net/jsjsjs1789 https://blog.csdn.net/jsjsjs1789/article/details/88956080

2019-04-09

2.4K0

关于分布式计算框架连接kafka不满足同一消费者组不满足只有一个消费者的情况

spark 大数据 kafka http

版权声明：本文为博主原创，欢迎转载，转载请标明出处 Blog Address:http://blog.csdn.net/jsjsjs1789 https://blog.csdn.net/jsjsjs1789/article/details/88925425

2019-04-09

4050

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态