腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

实战docker

专栏作者

750

文章

835637

阅读量

101

订阅数

理解ProcessFunction的Timer逻辑

unix flink https 大数据网络安全

第一次执行processElement，时间是12:01:01，因此state中记录的是12:01:01，registerEventTimeTimer入参就是12:11:01（这就是第一个onTimer的timestamp入参）第二次执行processElement，时间是12:01:05，因此state中记录的是12:01:05，registerEventTimeTimer入参就是12:11:05（这就是第二个onTimer的timestamp入参）第一个onTimer执行，timestamp是12:11:01，取得state是12:01:05，因此timestamp == result.lastModified + 60000判断为false(12:11:01不等于12:11:05) 第二个onTimer执行，timestamp是12:11:05，取得state是12:01:05，因此timestamp == result.lastModified + 60000判断为false(12:11:05等于12:11:05)

程序员欣宸

2022-05-09

3650

Flink处理函数实战之五：CoProcessFunction(双流处理)

https 网络安全 flink 大数据 github

接下来咱们开发一个应用来体验CoProcessFunction，功能非常简单，描述如下：

程序员欣宸

2022-05-06

2710

Flink处理函数实战之四：窗口处理

flink 大数据 https 网络安全 github

本文是《Flink处理函数实战》系列的第四篇，内容是学习以下两个窗口相关的处理函数：

程序员欣宸

2022-05-06

4870

Flink处理函数实战之三：KeyedProcessFunction类

flink 大数据 https 网络安全 github

本文是《Flink处理函数实战》系列的第三篇，上一篇《Flink处理函数实战之二：ProcessFunction类》学习了最简单的ProcessFunction类，今天要了解的KeyedProcessFunction，以及该类带来的一些特性；

程序员欣宸

2022-05-06

3560

Flink处理函数实战之一：深入了解ProcessFunction的状态(Flink-1.10)

flink 大数据 http

学习Flink的ProcessFunction过程中，官方文档中涉及状态处理的时候，不止一次提到只适用于keyed stream的元素，如下图红框所示：

程序员欣宸

2022-05-06

2470

hive学习笔记之九：基础UDF

hive jar https 大数据网络安全

欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos 《hive学习笔记》系列导航基本数据类型复杂数据类型内部表和外部表分区表分桶 HiveQL基础内置函数 Sqoop 基础UDF 用户自定义聚合函数(UDAF) UDTF 本篇概览本文是《hive学习笔记》的第九篇，前面学习的内置函数尽管已经很丰富，但未必能满足各种场景下的个性化需求，此时可以开发用户自定义函数（User Defined Func

程序员欣宸

2022-05-06

2590

hive学习笔记之四：分区表

hive node.js 大数据

本文是《hive学习笔记》系列的第四篇，要学习的是hive的分区表，简单来说hive的分区就是创建层级目录的一种方式，处于同一分区的记录其实就是数据在同一个子目录下，分区一共有两种：静态和动态，接下来逐一尝试；

程序员欣宸

2022-05-06

3850

hive学习笔记之三：内部表和外部表

大数据 node.js hive 数据库 hadoop

至此，咱们对内部表和外部表已经有了基本了解，接下来的文章学习另一种常见的表类：分区表

程序员欣宸

2022-05-06

5130

CoProcessFunction实战三部曲之二：状态处理

flink 大数据容器

理解状态：《深入了解ProcessFunction的状态操作(Flink-1.10)》

程序员欣宸

2021-07-25

2680

CoProcessFunction实战三部曲之一：基本功能

flink 大数据编程算法

如果您不想写代码，整个系列的源码可在GitHub下载到，地址和链接信息如下表所示(https://github.com/zq2599/blog_demos)：

程序员欣宸

2021-07-22

2540

Flink的双流处理(CoProcessFunction)

flink 大数据

接下来咱们开发一个应用来体验CoProcessFunction，功能非常简单，描述如下：

程序员欣宸

2021-07-22

5840

Flink处理函数实战之四：窗口处理

flink 大数据

本文是《Flink处理函数实战》系列的第四篇，内容是学习以下两个窗口相关的处理函数：

程序员欣宸

2021-04-19

1.6K0

Flink处理函数实战之二：KeyedProcessFunction类

flink https 大数据网络安全 git

本文是《Flink处理函数实战》系列的第二篇，上一篇《Flink处理函数实战之一：ProcessFunction类》学习了最简单的ProcessFunction类，今天要了解的KeyedProcessFunction，以及该类带来的一些特性；

程序员欣宸

2020-05-26

2.5K0

Flink处理函数实战之一：ProcessFunction类

unix flink https 大数据网络安全

如下图，在常规的业务开发中，SQL、Table API、DataStream API比较常用，处于Low-level的Porcession相对用得较少，从本章开始，我们一起通过实战来熟悉处理函数(Process Function)，看看这一系列的低级算子可以带给我们哪些能力？

程序员欣宸

2020-05-26

9490

深入了解ProcessFunction的状态操作(Flink-1.10)

http flink hashmap 大数据

学习Flink的ProcessFunction过程中，官方文档中涉及状态处理的时候，不止一次提到只适用于keyed stream的元素，如下图红框所示：

程序员欣宸

2020-05-26

8700

Flink Native Kubernetes实战

kubernetes flink 大数据 centos linux

Flink Kubernetes与Flink Native Kubernetes是不同的概览，先回顾一下Flink Kubernetes：

程序员欣宸

2020-05-26

1.3K0

准备数据集用于flink学习

flink 大数据文件存储 https 网络安全

在学习和开发flink的过程中，经常需要准备数据集用来验证我们的程序，阿里云天池公开数据集中有一份淘宝用户行为数据集，稍作处理后即可用于flink学习；

程序员欣宸

2020-05-26

8840

Flink SQL Client初探

sql flink 大数据 scala java

Flink Table & SQL的API实现了通过SQL语言处理实时技术算业务，但还是要编写部分Java代码(或Scala)，并且还要编译构建才能提交到Flink运行环境，这对于不熟悉Java或Scala的开发者就略有些不友好了； SQL Client的目标就是解决上述问题（官方原话with a build tool before being submitted to a cluster.）

程序员欣宸

2020-05-26

2.6K0

Flink的sink实战之四：自定义

大数据 flink https 网络安全 git

Flink官方提供的sink服务可能满足不了我们的需要，此时可以开发自定义的sink，文本就来一起实战；

程序员欣宸

2020-05-26

3.6K0

Flink的sink实战之三：cassandra3

kafka flink 大数据 https 网络安全

本文是《Flink的sink实战》系列的第三篇，主要内容是体验Flink官方的cassandra connector，整个实战如下图所示，我们先从kafka获取字符串，再执行wordcount操作，然后将结果同时打印和写入cassandra：

程序员欣宸

2020-05-26

1K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态