首页
学习
活动
专区
工具
TVP
发布

码字搬砖

专栏成员
209
文章
303271
阅读量
32
订阅数
一文搞定 Flink Job 的运行过程
之前我们知道了Flink 是如何生成 StreamGraph 以及 如何生成 job 和 如何生成Task,现在我们通过 Flink Shell 将他们串起来,这样我们就学习了从写代码开始到 Flink 运行 task 的整个过程是怎么样的。
shengjk1
2021-04-25
2K0
一文搞懂Flink SQL执行过程
学习了 apache calcite,基本上把 apache calcite 的官网看了一遍,也写了几个小例子,现在该分析一下 Flink SQL 的执行过程了,其中关于 apache calcite 的部分不深究,因为 apache calcite 有些复杂,真的要了解清楚需要大量时间,本次还是聚焦 Flink.
shengjk1
2021-03-17
2K0
一文搞懂 FlinkSQL 的 KafkaSource
前面我们了解了 写给大忙人看的Flink 消费 Kafka,今天我们一起来看一下 FlinkSQL Kafka 是如何与 Flink Streaming Kafka 结合起来的
shengjk1
2021-02-01
1.5K0
Flink 提交作业运行的各种模式总结
关于 Flink 的 Application Mode 自己还比较陌生,像 -d 等参数自己也不熟悉,决定好好总结一下,基于 Flink-1.12.x
shengjk1
2021-02-01
1.9K0
FlinkSQL 平台
由于公司内部需求较多,并不想每次都写一个 streaming 程序,故而开始搭建 flinksql 平台,基于 jdk1.8,flink1.12.x
shengjk1
2021-01-26
1.2K0
Flink 计算 TopN
使用 flink 很长一段时间了,突然发现竟然没有计算过 topN,这可是 flink 常见的计算场景了, 故自己想了一个场景来计算一下。 基于 Flink 1.12
shengjk1
2020-12-31
8860
Flink 计算 PV UV
使用 flink 很长一段时间了,突然发现竟然没有计算过 pv uv,这可是 flink 常见的计算场景了,面试时也是常问题之一。故自己想了一个场景来计算一下。 基于 Flink 1.12
shengjk1
2020-12-31
1.2K0
一文搞懂 Flink 中的锁
之前在介绍 flink timer 的时候( 一文搞懂 Flink Timer ) 官网有这样的一句话
shengjk1
2020-12-31
1.1K0
一文搞懂 flink 处理水印全过程
前面,我们已经学过了 一文搞懂 Flink 处理 Barrier 全过程,今天我们一起来看一下 flink 是如何处理水印的,以 Flink 消费 kafka 为例
shengjk1
2020-12-29
1.3K0
结合 Flink 学习观察者模式
定义了对象之间的一对多依赖,这样一来,当一个对象改变状态时,它的 所有依赖者都会收到通知并自动更新
shengjk1
2020-11-11
4500
Flink SQL 自定义 Sink
内部要做 Flink SQL 平台,本文以自定义 Redis Sink 为例来说明 Flink SQL 如何自定义 Sink 以及自定义完了之后如何使用 基于 Flink 1.11
shengjk1
2020-10-26
3.1K1
Flink 解决 No ExecutorFactory found to execute the application
问题 Flink 1.11 开始报错如下: Exception in thread "main" java.lang.IllegalStateException: No ExecutorFactory found to execute the application. at org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84)
shengjk1
2020-10-26
17.4K0
Flink 连接 hive 解决 java.net.UnknownHostException
今天在实验 Flink 连接 hive 的操作,由于 CDH 的 hadoop 是 HA,连接过程中报错如下:
shengjk1
2020-09-28
3K0
一文搞懂 Flink如何移动计算
对于分布式框架来说,我们经常听到的一句话就是:移动计算,不移动数据。那么对于 Flink 来说是如何移动计算的呢?我们一起重点看一下 ExecuteGraph
shengjk1
2020-09-21
5360
一文搞懂 Flink Timer
顾名思义就是 Flink 内部的定时器,与 key 和 timestamp 相关,相同的 key 和 timestamp 只有一个与之对应的 timer。timer 本质上是通过 ScheduledThreadPoolExecutor.schedule 来实现的
shengjk1
2020-08-31
9090
一文搞定 Flink Task 提交执行全流程
这里创建了一个 Task 对象并启动,我们来看一下 Task 启动的时候都做了什么
shengjk1
2020-07-14
1.3K0
一文搞定 Flink Job 提交全流程
前面,我们已经分析了 一文搞定 Flink 消费消息的全流程 、写给大忙人看的 Flink Window原理 还有 一文搞定 Flink Checkpoint Barrier 全流程 等等,接下来也该回归到最初始的时候,Flink Job 是如何提交的。
shengjk1
2020-07-13
2.4K0
一文搞懂 Flink 处理 Barrier 全过程
上次我们讲到了 Flink Checkpoint Barrier 全流程 还有 Flink 消费消息的全流程
shengjk1
2020-07-06
2.4K0
一文搞懂 checkpoint 全过程
前面我们讲解了 一文搞懂 Flink 处理 Barrier 全过程 和 一文搞定 Flink Checkpoint Barrier 全流程 基本上都是跟 checkpoint 相关。这次我们就具体看一下 checkpoint 是如何发生的。
shengjk1
2020-07-06
1.2K0
一文搞定 Flink Checkpoint Barrier 全流程
上文中,我们一起了解了 一文搞定 Flink 消费消息的全流程,接下来呢,我们一起来看一下 checkpoint barrier 的全流程。
shengjk1
2020-06-21
1.2K0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档