在《0基础学习PyFlink——个数滚动窗口(Tumbling Count Windows)》和《0基础学习PyFlink——个数滑动窗口（Sliding Count Windows）》中，我们发现如果窗口中元素个数没有把窗口填满，则不会触发计算。

在研究Flink的水位线（WaterMark）技术之前，我们可能需要Flink接收到流式数据，比如接入Kafka等。这就要求引入其他组件，增加了学习的难度。而Flink自身提供了datagen连接器，它可以用于生成流式数据，让问题内聚在Flink代码内部，从而降低学习探索的难度。 本节我们就介绍如何使用datagen生成数据。

这是因为每次运行时，CPU等系统资源的繁忙程度是不一样的，这就影响了最后的运行结果。 为了让结果稳定，我们可以不依赖运行时间（ProcessingTime），而使用不依赖于运行环境，只依赖于数据的事件时间（EventTime）。 一般，我们需要大数据处理的数据，往往存在一个字段用于标志该条数据的“顺序”。这个信息可以是单调递增的ID，也可以是不唯一的时间戳。我们可以将这类信息看做事件发生的时间。 那如何让输入的数据中的“事件时间”参与到窗口时长的计算中呢？这儿就要引入Watermark（水印）的概念。 假如我们把数据看成一张纸上的内容，水印则是这张纸的背景。它并不影响纸上内容的表达，只是系统要用它来做更多的事情。 将数据中表达“顺序”的数据转换成“时间”，我们可以使用水印单调递增时间戳分配器

在《0基础学习PyFlink——时间滚动窗口(Tumbling Time Windows)》我们介绍了不会有重复数据的时间滚动窗口。本节我们将介绍存在重复计算数据的时间滑动窗口。 关于滑动窗口，可以先看下《0基础学习PyFlink——个数滑动窗口（Sliding Count Windows）》。下图就是个数滑动窗口示意图。

那么有没有办法让上图中（B,2）和（D,5）也会被计算呢？ 这就可以使用本节介绍的时间滚动窗口。它不依赖于窗口中元素的个数，而是窗口的时间，即窗口时间到了，计算就会进行。 我们稍微修改下《0基础学习PyFlink——个数滚动窗口(Tumbling Count Windows)》的例子，让元素集中在“A”上。

它们的相同之处就是：只有窗口内的事件数量到达窗口要求的数值时，这些窗口才会触发计算。

对于这种数据，我们称之为无界流，即没有“终止的界限”。但是程序在底层一定不能等着无止境的数据都传递结束再处理，因为“无止境”就意味着“终止的界限”触发计算的条件是不存在的。那么我们可以人为的给它设置一个“界”，这就是我们本节介绍的窗口。

为了方便，我们依然使用from_collection从内存中读取数据。 和使用Table API类似，我们给from_collection传递的第二参数是每行数据类型。本例中是String，即“A C B”的类型。

在前面几篇文章中，我们分别介绍了UDF、UDTF和UDAF这三种用户自定义函数。本节我们将介绍最后一种函数：UDTAF——用户自定义表值聚合函数。

在前面几篇文章中，我们学习了非聚合类的用户自定义函数。这节我们将介绍最简单的聚合函数UDAF。

在《0基础学习PyFlink——用户自定义函数之UDF》中，我们讲解了UDF。本节我们将讲解表值函数——UDTF

Aggregate（聚合）函数是指：以多行数据为输入，计算出一个新的值的函数。这块我们会在后续的章节介绍，本文我们主要介绍非聚合类型的用户自定义方法的简单使用。

在研究Flink的“用户自定义方法”（UserDefinedFunction）时，我们看到存在如下几种类型的装饰器：

在《0基础学习PyFlink——使用PyFlink的Sink将结果输出到Mysql》一文中，我们讲到如何通过定义Souce、Sink和Execute三个SQL，来实现数据读取、清洗、计算和入库。 如下图所示SQL是最高层级的抽象，在它之下是Table API。本文我们会将例子中的SQL翻译成Table API来实现等价的功能。

假如我们将《0基础学习PyFlink——使用PyFlink的Sink将结果输出到外部系统》中的模式从批处理（batch）改成流处理（stream），则其在print连接器上产生的输出是不一样。

在《0基础学习PyFlink——使用PyFlink的Sink将结果输出到外部系统》一文中，我们将字数统计结果输出到终端。本文将模拟生产环境，将结果输出到Mysql数据库。

在《0基础学习PyFlink——使用PyFlink的SQL进行字数统计》一文中，我们直接执行了Select查询操作，在终端中直接看到了查询结果。

在《0基础学习PyFlink——Map和Reduce函数处理单词统计》和《0基础学习PyFlink——模拟Hadoop流程》这两篇文章中，我们使用了Python基础函数实现了字（符）统计的功能。这篇我们将切入PyFlink，使用这个框架实现字数统计功能。

在很多讲解大数据的案例中，往往都会以一个单词统计例子来抛砖引玉。本文也不免俗，例子来源于PyFlink的《Table API Tutorial》，我们会通过几种方式统计不同的单词出现的个数，从而达到循序渐进的学习效果。

学习大数据还是绕不开始祖级别的技术hadoop。我们不用了解其太多，只要理解其大体流程，然后用python代码模拟主要流程来熟悉其思想。 还是以单词统计为例，如果使用hadoop流程实现，则如下图。