码字搬砖-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

码字搬砖

专栏成员

209

文章

303606

阅读量

32

订阅数

一文搞定 Flink Job 的运行过程

数据结构 flink 大数据 shell linux

之前我们知道了Flink 是如何生成 StreamGraph 以及如何生成 job 和如何生成Task，现在我们通过 Flink Shell 将他们串起来，这样我们就学习了从写代码开始到 Flink 运行 task 的整个过程是怎么样的。

2021-04-25

2K0

一文搞懂Flink SQL执行过程

flink 大数据 apache sql

学习了 apache calcite，基本上把 apache calcite 的官网看了一遍，也写了几个小例子，现在该分析一下 Flink SQL 的执行过程了，其中关于 apache calcite 的部分不深究，因为 apache calcite 有些复杂，真的要了解清楚需要大量时间，本次还是聚焦 Flink.

2021-03-17

2K0

一文搞懂 FlinkSQL 的 KafkaSource

flink 大数据 sql kafka

前面我们了解了写给大忙人看的Flink 消费 Kafka，今天我们一起来看一下 FlinkSQL Kafka 是如何与 Flink Streaming Kafka 结合起来的

2021-02-01

1.5K0

Flink 提交作业运行的各种模式总结

flink jar https 大数据网络安全

关于 Flink 的 Application Mode 自己还比较陌生，像 -d 等参数自己也不熟悉，决定好好总结一下，基于 Flink-1.12.x

2021-02-01

1.9K0

FlinkSQL 平台

sql jar flink 大数据网站

由于公司内部需求较多，并不想每次都写一个 streaming 程序，故而开始搭建 flinksql 平台，基于 jdk1.8，flink1.12.x

2021-01-26

1.2K0

Flink 计算 TopN

flink 大数据

使用 flink 很长一段时间了，突然发现竟然没有计算过 topN，这可是 flink 常见的计算场景了，故自己想了一个场景来计算一下。基于 Flink 1.12

2020-12-31

8890

Flink 计算 PV UV

flink 大数据

使用 flink 很长一段时间了，突然发现竟然没有计算过 pv uv，这可是 flink 常见的计算场景了，面试时也是常问题之一。故自己想了一个场景来计算一下。基于 Flink 1.12

2020-12-31

1.2K0

一文搞懂 Flink 中的锁

flink 大数据

之前在介绍 flink timer 的时候( 一文搞懂 Flink Timer ) 官网有这样的一句话

2020-12-31

1.1K0

一文搞懂 flink 处理水印全过程

flink 大数据 unix processing 编程算法

前面，我们已经学过了一文搞懂 Flink 处理 Barrier 全过程，今天我们一起来看一下 flink 是如何处理水印的，以 Flink 消费 kafka 为例

2020-12-29

1.3K0

结合 Flink 学习观察者模式

flink 大数据

定义了对象之间的一对多依赖，这样一来，当一个对象改变状态时，它的所有依赖者都会收到通知并自动更新

2020-11-11

4500

Flink SQL 自定义 Sink

sql 云数据库 Redis python flink 大数据

内部要做 Flink SQL 平台，本文以自定义 Redis Sink 为例来说明 Flink SQL 如何自定义 Sink 以及自定义完了之后如何使用基于 Flink 1.11

2020-10-26

3.1K1

Flink 解决 No ExecutorFactory found to execute the application

flink 大数据

问题 Flink 1.11 开始报错如下： Exception in thread "main" java.lang.IllegalStateException: No ExecutorFactory found to execute the application. at org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84)

2020-10-26

17.4K0

Flink 连接 hive 解决 java.net.UnknownHostException

面向对象编程 node.js hadoop flink 大数据

今天在实验 Flink 连接 hive 的操作，由于 CDH 的 hadoop 是 HA，连接过程中报错如下：

2020-09-28

3K0

一文搞懂 Flink如何移动计算

数据结构 flink 大数据 linux

对于分布式框架来说，我们经常听到的一句话就是：移动计算，不移动数据。那么对于 Flink 来说是如何移动计算的呢？我们一起重点看一下 ExecuteGraph

2020-09-21

5360

一文搞懂 Flink Timer

processing flink 缓存 linux 大数据

顾名思义就是 Flink 内部的定时器，与 key 和 timestamp 相关，相同的 key 和 timestamp 只有一个与之对应的 timer。timer 本质上是通过 ScheduledThreadPoolExecutor.schedule 来实现的

2020-08-31

9090

一文搞定 Flink Task 提交执行全流程

flink 大数据 kafka

这里创建了一个 Task 对象并启动，我们来看一下 Task 启动的时候都做了什么

2020-07-14

1.3K0

一文搞定 Flink Job 提交全流程

数据结构 flink 大数据 linux

前面，我们已经分析了一文搞定 Flink 消费消息的全流程、写给大忙人看的 Flink Window原理还有一文搞定 Flink Checkpoint Barrier 全流程等等，接下来也该回归到最初始的时候，Flink Job 是如何提交的。

2020-07-13

2.4K0

一文搞懂 Flink 处理 Barrier 全过程

flink 大数据 vr 视频解决方案 linux 缓存

上次我们讲到了 Flink Checkpoint Barrier 全流程还有 Flink 消费消息的全流程

2020-07-06

2.4K0

一文搞懂 checkpoint 全过程

flink 大数据

前面我们讲解了一文搞懂 Flink 处理 Barrier 全过程和一文搞定 Flink Checkpoint Barrier 全流程基本上都是跟 checkpoint 相关。这次我们就具体看一下 checkpoint 是如何发生的。

2020-07-06

1.2K0

一文搞定 Flink Checkpoint Barrier 全流程

flink 大数据数据结构

上文中，我们一起了解了一文搞定 Flink 消费消息的全流程，接下来呢，我们一起来看一下 checkpoint barrier 的全流程。

2020-06-21

1.2K0

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态