腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

山行AI

山行AI（原开发架构二三事），后续专注于AI应用领域

专栏作者

291

文章

644744

阅读量

57

订阅数

从头分析flink源码第六篇之ExecutionGraph的生成

数据结构 linux 编程算法

上一篇中我们梳理了jobGraph提交过程中taskmanager、jobmanager、resourcemanager各组件的启动流程，本篇我们接着上一篇中的内容来分析一下从jobGraph生成ExecutionGraph的源码执行流程。

2021-09-14

6690

从头分析flink源码第五篇之提交jobGraph时各组件内部都发生了什么？

flink 大数据数据结构 linux

上几篇文章中我们分析了一个flink wordcount任务生成streamGraph和jobGraph的过程。接下来，我们继续从jobGraph生成后开始来分析executionGraph的生成过程及任务的提交过程，本文主要分析任务提交过程中各组件的执行逻辑，如TaskManager、ResourceManager、JobManager等。本文只涉及到本地运行wordcount时各组件的内部运行逻辑分析，不包括其他资源管理模式如yarn或Kubernetes模式下任务的提交流程（后续会专门行文来分析）。文章较长，代码较多，不喜慎入。

2021-09-14

1.1K0

从头分析flink源码第四篇之channel selector

批量计算数据结构

•void setup(int numberOfChannels)：用输出通道的数量来对channel selector进行初始化操作，主要用于数据输出时使用；•selectChannel(T record)：返回逻辑channel index，给定记录应写入该索引。broadcast模式的 channel selectors对应的这个方法不应该被调用，在实现时可以抛出UnsupportedOperationException。•isBroadcast() 方法：在broadcast模式下会选择所有的channel，这个方法用来标识是否是broadcast方法。

2021-08-18

9480

从头分析flink源码第三篇之jobGraph的生成

数据结构 linux flink 大数据编程算法

上一篇中我们分析了一个简单的flink wordcount程序由DataStream的transformation列表转换成StreamGraph的过程，紧接着上文的步骤，本文我们着重分析一下从streamGraph生成jobGraph的过程。

2021-07-01

1.7K1

从头分析flink源码第二篇之streamGraph的生成

数据结构 python javascript css

上一篇我们分析了DataStream wordcount程序的几步操作中整个DataStream的转变，包括不同类型的Transformation的生成、整个Transformation链的串联、执行环境的初始化等。本篇我们来从源码角度分析下flink怎么由第一篇的transformations列表来生成StreamGraph的。

2021-07-01

9210

redis Serializer的坑小记

云数据库 Redis api node.js http 数据结构

最近入职了新公司，负责实时流平台、特征系统和推荐系统的开发工作。其中特征系统通过流平台将特征指标实时处理供推荐系统使用。其中有一处关于用户是否是当天新注册用户的判断，第一反应当然是bitmap，由于我们当前在用的主要缓存为redis，于是最先采取的选型自然是从redis开始的。

2020-06-29

1.2K0

flink的local模式启动全流程源码分析

flink 大数据 linux java 数据结构

这是一个执行WordCount的操作，我们以这个demo为入口来对整个执行流程进行分析记录。

2020-05-22

1.9K0

AQS源码分析之Elasticsearch BaseFuture

数据结构编程算法数据分析 http java

Java多线程编程中，常用的多线程设计模式包括：Future模式、Master-Worker模式、Guarded Suspeionsion模式、不变模式和生产者-消费者模式等

2020-03-25

6990

浅析skiplist(跳表)

二叉树数据结构编程算法

跳表由William Pugh 1989年发明。他在论文《Skip lists: a probabilistic alternative to balanced trees》中详细介绍了跳表的数据结构和插入删除等操作。论文是这么介绍跳表的：

2019-06-28

2.4K0

剖析Disruptor:为什么会这么快？（二）神奇的缓存行填充

缓存数据结构编程算法

我喜欢在LMAX工作的原因之一是，在这里工作让我明白从大学和A Level Computing所学的东西实际上还是有意义的。做为一个开发者你可以逃避不去了解CPU，数据结构或者大O符号 —— 而我用了10年的职业生涯来忘记这些东西。但是现在看来，如果你知道这些知识并应用它，你能写出一些非常巧妙和非常快速的代码。

2019-06-28

5050

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态