腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
码字搬砖
专栏成员
举报
209
文章
303786
阅读量
32
订阅数
订阅专栏
申请加入专栏
全部文章(209)
java(36)
大数据(35)
编程算法(33)
flink(32)
http(16)
kafka(16)
其他(15)
apache(14)
ide(13)
jvm(13)
sql(12)
hive(12)
spark(11)
linux(10)
缓存(10)
hadoop(8)
二叉树(8)
hbase(8)
python(7)
xml(7)
jar(7)
jdk(7)
node.js(6)
数据库(6)
文件存储(6)
json(5)
存储(5)
scrapy(5)
nat(5)
排序(5)
spring(4)
shell(4)
网络安全(4)
数据结构(4)
云数据库 SQL Server(3)
打包(3)
网站(3)
面向对象编程(3)
https(3)
processing(3)
javafx(3)
c++(2)
javascript(2)
go(2)
bash(2)
html(2)
jquery(2)
云数据库 Redis(2)
api(2)
maven(2)
unix(2)
centos(2)
批量计算(2)
yarn(2)
容器(2)
分布式(2)
自动化(2)
爬虫(2)
jdbc(2)
hashmap(2)
asp(2)
zookeeper(2)
windows(2)
es(2)
count(2)
join(2)
table(2)
工作(2)
数据(2)
算法(2)
tensorflow(1)
.net(1)
scala(1)
bootstrap(1)
react(1)
css(1)
汇编语言(1)
access(1)
eclipse(1)
git(1)
struts(1)
搜索引擎(1)
ubuntu(1)
容器镜像服务(1)
mapreduce(1)
专用宿主机(1)
腾讯云测试服务(1)
vr 视频解决方案(1)
express(1)
serverless(1)
parcel(1)
开源(1)
运维(1)
数据迁移(1)
yum(1)
grep(1)
ntp(1)
anaconda(1)
数据分析(1)
腾讯云开发者社区(1)
Elasticsearch Service(1)
apply(1)
bit(1)
driver(1)
func(1)
function(1)
hash(1)
impala(1)
int(1)
key(1)
label(1)
null(1)
object(1)
olap(1)
output(1)
pivot(1)
snapshot(1)
state(1)
tableview(1)
task(1)
time(1)
window(1)
遍历(1)
登录(1)
递归(1)
队列(1)
数组(1)
索引(1)
统计(1)
效率(1)
压缩(1)
异常(1)
字符串(1)
搜索文章
搜索
搜索
关闭
kafka 生产者的幂等性
node.js
kafka
分布式
kafka 提供了 “at least once” 的语义,即消息会发送一次或者是多次。但是人们真正想要的是 “exactly once” 的语义,即重复的消息不会再被发送
shengjk1
2022-01-11
807
0
Kafka中的HW、LEO、LSO等分别代表什么?
node.js
kafka
HW 、 LEO 等概念和上一篇文章所说的 ISR有着紧密的关系,如果不了解 ISR 可以先看下ISR相关的介绍。
shengjk1
2021-03-17
5.2K
0
一文搞懂 FlinkSQL 的 KafkaSource
flink
大数据
sql
kafka
前面我们了解了 写给大忙人看的Flink 消费 Kafka,今天我们一起来看一下 FlinkSQL Kafka 是如何与 Flink Streaming Kafka 结合起来的
shengjk1
2021-02-01
1.5K
0
Flink SQL 自定义 format
kafka
python
由于 kafka 中的 json 属于嵌套,又不想二次序列化再把它展开,故自定义 format。
shengjk1
2020-10-27
2.4K
0
一文搞定 Flink Task 提交执行全流程
flink
大数据
kafka
这里创建了一个 Task 对象并启动,我们来看一下 Task 启动的时候都做了什么
shengjk1
2020-07-14
1.3K
0
一文搞定 Flink 消费消息的全流程
flink
大数据
文件存储
编程算法
kafka
当 Flink 程序启动,leader、blobServer 等都创建完毕,当 ExecutionGraph 构建完成,提交成功之后。就到了,task 正式执行的阶段了。这个时候,一条消息是如何流转的呢? 首先,进入了 Task 的 run 方法
shengjk1
2020-06-04
1.4K
0
彻底搞懂 Flink Kafka OffsetState 存储
node.js
flink
大数据
kafka
存储
写给大忙人看的Flink 消费 Kafka 已经对 Flink 消费 kafka 进行了源码级别的讲解。可是有一点没有说的很明白那就是 offset 是怎么存储到状态中的?
shengjk1
2020-06-02
1.1K
0
写给大忙人看的Flink 消费 Kafka
flink
大数据
kafka
对于实时计算来说,Flink 可以说是如日中天,国内很多公司也开始慢慢转向于 Flink 的使用。而对于 Flink 来说最常见的使用场景莫过于读取 Kafka 中的数据,若对此熟练掌握,在面试中拔得头筹也不是不可能的。
shengjk1
2020-04-08
1.7K
0
Flink消费kafka如何获取每条消息对应的topic
kafka
flink
1.首先自定义个 KafkaDeserializationSchema public class CustomKafkaDeserializationSchema implements KafkaDeserializationSchema<Tuple2<String, String>> { @Override //nextElement 是否表示流的最后一条元素,我们要设置为 false ,因为我们需要 msg 源源不断的被消费 public boolean isEndOfStream(Tuple2<
shengjk1
2020-03-26
2.3K
0
Flink 消费 kafka 时如何处理空闲 task
flink
大数据
kafka
我们都知道 flink 消费 kafka 是一个 partition 对应一个 task,但比如说 flink task 数多于 kafka partition 时。flink 是如何处理这个空闲的 task 的。
shengjk1
2020-03-26
568
0
深入理解kafka: 核心设计与实践原理
文件存储
kafka
批量计算
http
缓存
bootstrap.servers ,分割,这里并非需要所有的broker地址清单,因为生产者会从给定的broker里查找到其他broker信息,不过建议 至少要设置两个以上broker地址信息
shengjk1
2019-06-16
2.5K
0
FlinkConsumer是如何保证一个partition对应一个thread的
kafka
大数据
版权声明:本文为博主原创,欢迎转载,转载请标明出处 Blog Address:http://blog.csdn.net/jsjsjs1789 https://blog.csdn.net/jsjsjs1789/article/details/90576232
shengjk1
2019-06-14
1.3K
0
Flink是如何kafka读取数据的
kafka
http
大数据
版权声明:本文为博主原创,欢迎转载,转载请标明出处 Blog Address:http://blog.csdn.net/jsjsjs1789 https://blog.csdn.net/jsjsjs1789/article/details/89067747
shengjk1
2019-04-18
1.8K
0
Flink startupMode是如何起作用的
node.js
kafka
.net
版权声明:本文为博主原创,欢迎转载,转载请标明出处 Blog Address:http://blog.csdn.net/jsjsjs1789 https://blog.csdn.net/jsjsjs1789/article/details/89067716
shengjk1
2019-04-18
1.4K
0
Flink如何保存Offset
kafka
版权声明:本文为博主原创,欢迎转载,转载请标明出处 Blog Address:http://blog.csdn.net/jsjsjs1789 https://blog.csdn.net/jsjsjs1789/article/details/88956080
shengjk1
2019-04-09
2.5K
0
关于分布式计算框架连接kafka不满足同一消费者组不满足只有一个消费者的情况
spark
大数据
kafka
http
版权声明:本文为博主原创,欢迎转载,转载请标明出处 Blog Address:http://blog.csdn.net/jsjsjs1789 https://blog.csdn.net/jsjsjs1789/article/details/88925425
shengjk1
2019-04-09
421
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档