腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

山行AI

山行AI（原开发架构二三事），后续专注于AI应用领域

专栏作者

291

文章

642228

阅读量

56

订阅数

flink源码分析之kafka consumer的执行流程

flink 大数据 node.js kafka

线上flink任务稳定运行了两个多月了，突然之间收到了消息堆积较多的报警，kafka上看到的现象是消息堆积较多。问过业务人员得知，对应的流表在前一天重新刷了一遍数据，在我们的这个任务中有两次维表关联，而且内层有一个split操作会造成外层维表关联的数据量膨胀（最大可能为80倍，即split之后产生了80条新记录）。开始了问题分析之路。

2021-04-29

2.8K0

深入研究Apache Flink中的可缩放状态

kafka flink 大数据分布式

•本来打算写一个flink源码分析的系列文章，但由于事情太多，又不太想输出低质量的文章，所以开始看一些好的flink相关博客，本文译自https://www.ververica.com/blog/apache-flink-at-mediamath-rescaling-stateful-applications ；•flink中state的划分和介绍；•flink 中operator state在什么时候会进行rescale以及如何进行rescale？；•flink 中keyed state的when and how？。

2021-03-24

1.5K0

Rocketmq消息中间件中通过message key找消息的问题

kafka http apache 编程算法存储

参考：http://rocketmq.apache.org/docs/quick-start/

2019-06-28

7.3K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态