前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >flink时间系统系列之窗口函数中的应用分析

flink时间系统系列之窗口函数中的应用分析

作者头像
Flink实战剖析
发布2022-04-18 11:20:27
6320
发布2022-04-18 11:20:27
举报
文章被收录于专栏:Flink实战剖析Flink实战剖析

flink时间系统系列篇幅目录:

一、时间系统概述介绍

二、Processing Time源码分析

三、Event Time源码分析

四、时间系统在窗口函数中的应用分析

五、ProcessFunction 使用分析

六、实例讲解:如何做定时输出

在flink中窗口划分可以基于时间、基于数量,我们这里所涉及到的窗口是针对时间类型窗口:processing-time window与event-time window,时间系统在时间窗口应用主要用来注册窗口触发时间点,来决定窗口什么时候开始执行窗口函数。接下来从源码的角度分析窗口是如何使用时间系统的。

以WindowOperator 为入口,这是窗口操作中的核心类,它继承了AbstractUdfStreamOperator并且实现了Triggerable接口,而AbstractUdfStreamOperator 又继承了AbstractStreamOperator,

首先会在WindowOperator.open 初始化方法中,注册了一个名为window-timers 的InternalTimerService服务,由前面的分析可知使用该服务可以注册一些定时器,在窗口中注册窗口触发的定时器,

注册流程在WindowOperator.processElement方法中,不管是处理时间窗口还是事件时间窗口都会调用registerCleanupTimer方法完成真正的定时注册,

该方法首先会计算出窗口的触发时间,然后按照时间类型进行注册,triggerContext表示的是WindowOperator.Context对象,在注册相应类型触发器时,实际上会调用在WindowOperator 在open 中初始化的InternalTimerService来完成相应的注册定时器,

之后的流程就会按照前面几个篇幅的分析完成成具体的注册逻辑。

在Processing time与event time源码分析中提到,定时器的触发操作最后会调用Triggerable的onProcessingTime或者onEventTime 方法,而在WindowOperator.open方法中,初始的InternalTimerService传入的Triggerable对象正好是this,也就是WindowOperator对象,也就是说在窗口中定时器的触发会调用WindowOperator的onEventTime或者onProcessingTime方法,在这些方法里面会执行窗口函数触发逻辑判断、窗口函数操作与状态清除的工作。

以上就是关于时间系统如何在窗口函数中应用。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-10-08,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Flink实战剖析 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档