在上一篇 Flink SQL 极简入门 中,我们体验了 Flink SQL 的基础用法。但在流处理中,最核心、最迷人(也最让人头秃)的概念莫过于“时间”和“窗口(Window)”。
你可能经常听到这样的业务需求:
这些需求都离不开窗口。今天,我们就来深入 Flink SQL 的窗口机制,看看它是如何驯服无限数据流的。
流数据(Stream)是无限的,像水流一样源源不断。我们无法计算“无限流”的总和(因为永远算不完)。为了计算,我们需要把无限的流“切”成有限的块,这个“切”的操作就是开窗(Windowing)。
在 Flink SQL 中,窗口主要用于将时间序列上的数据分桶,然后在桶内进行聚合计算(如 SUM, COUNT, AVG)。
在 Flink 1.13 之前,我们主要使用 GROUP WINDOW(如 TUMBLE(rowtime, ...) 在 GROUP BY 子句中)。但从 Flink 1.13 开始,官方推荐使用 Window TVF (Table-Valued Functions)。
Window TVF 符合 SQL 2016 标准,语法更自然,功能更强大(支持 TopN、去重等复杂操作)。本文将以 Window TVF 为主进行讲解。
核心语法结构通常如下:
SELECT window_start, window_end, SUM(price)
FROM TABLE(
-- 窗口函数
TUMBLE(TABLE my_table, DESCRIPTOR(ts), INTERVAL '5' MINUTE)
)
GROUP BY window_start, window_end;特点:窗口大小固定,窗口之间不重叠,首尾相接。
场景:每隔 5 分钟统计一次。

语法:
TUMBLE(TABLE data, DESCRIPTOR(time_col), INTERVAL '10' MINUTE)
特点:窗口大小固定,但窗口之间可以重叠。它有两个参数:
场景:每 5 分钟,统计过去 1 小时的 PV。

语法:
HOP(TABLE data, DESCRIPTOR(time_col), INTERVAL '5' MINUTE, INTERVAL '1' HOUR)
注意:参数顺序是先 Slide (步长),后 Size (大小)。
特点:这是 Flink 特有的窗口,用于解决“每天 0 点至今的累计值”这类需求。它会按步长输出一个个不断变大的窗口,直到达到最大窗口大小。
场景:每天的实时累计销售额(每 10 分钟更新一次看到当天的累计值)。

语法:
CUMULATE(TABLE data, DESCRIPTOR(time_col), INTERVAL '10' MINUTE, INTERVAL '1' DAY)
让我们回到开头的经典需求。假设我们有一个订单流 orders。
首先,我们启动 SQL Client
./bin/sql-client.sh创建一个模拟的订单源表(使用 DataGen 连接器):
CREATE TABLE orders (
order_id INT,
price DOUBLE,
order_time TIMESTAMP(3),
-- 定义水位线,基于 order_time,延迟 0 秒
WATERMARK FOR order_time AS order_time - INTERVAL '0' SECOND
) WITH (
'connector' = 'datagen',
'rows-per-second' = '1',
'fields.price.min' = '10',
'fields.price.max' = '100'
);这是一个典型的滚动窗口 (Tumble)。比如 12:00-12:05 一个结果,12:05-12:10 一个结果。
SELECT
window_start,
window_end,
COUNT(*) as total_orders,
SUM(price) as total_amount
FROM TABLE(
TUMBLE(TABLE orders, DESCRIPTOR(order_time), INTERVAL '5' MINUTE)
)
GROUP BY window_start, window_end;运行结果示例:

这是一个典型的滑动窗口 (Hop)。
这样,12:00 输出 11:55, 12:00 的数据;12:01 输出 11:56, 12:01 的数据。
SELECT
window_start,
window_end,
SUM(price) as total_amount
FROM TABLE(
HOP(TABLE orders, DESCRIPTOR(order_time), INTERVAL '1' MINUTE, INTERVAL '5' MINUTE)
)
GROUP BY window_start, window_end;运行结果示例:

注意:
HOP 函数的参数中,第一个时间是滑动步长 (Slide),第二个时间是窗口大小 (Size)。千万别搞反了!
INTERVAL '1' MINUTE = Slide (更新频率)
INTERVAL '5' MINUTE = Size (统计范围)
Flink SQL 的 Window TVF 极大地简化了窗口聚合的写法。
掌握了这三种窗口,你就能覆盖 90% 的实时统计需求了。
下一篇,我们将挑战更复杂的场景:双流 JOIN,看看当“订单流”遇到“用户流”,Flink 该如何处理?
原文来自
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。