flink-core-1.7.0-sources.jar!/org/apache/flink/api/common/state/StateTtlConfig.java
Flink 的 window 有两个基本款，TimeWindow 和 CountWindow。 TimeWindow 是到时间就触发窗口，CountWindow 是到数量就触发。
flink-streaming-java_2.11-1.6.2-sources.jar!/org/apache/flink/streaming/api/functions/source/SourceFunction.java
Context ，又称执行上下文，特别抽象的一个东西，今天特地记录一下 Flink Context 到底是什么？有什么作用？不至于每天使用 Flink，总感觉云里雾里的
flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/functions/source/SourceFunction.java
Processing Time(处理时间)是指执行相应操作机器的系统时间(Processing time refers to the system time of the machine that is executing the respective operation.)。
flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/TimeCharacteristic.java
在 Flink 的流式处理中，绝大部分的业务都会使用 eventTime，一般只在 eventTime 无法使用时，才会被迫使用 ProcessingTime 或者 IngestionTime。
基于时间的操作（比如 Table API 和 SQL 中窗口操作），需要定义相关的时间语义和时间数据来源的信息。所以，Table 可以提供一个逻辑上的时间字段，用于在表处理程序中，指示时间和访问相应的时间戳。
SourceFunction 是 Flink 中所有流数据 Source 的基本接口。SourceFunction 接口继承了 Function 接口，并在内部定义了数据读取使用的 run() 方法、取消运行的 cancel() 方法以及 SourceContext 内部接口：
flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/datastream/DataStream.java
时间语义，要配合窗口操作才能发挥作用。最主要的用途，当然就是开窗口、根据时间段做计算了。下面我们就来看看 Table API 和 SQL 中，怎么利用时间字段做窗口操作。在 Table API 和 SQL 中，主要有两种窗口：Group Windows 和 Over Windows（时间语义的文章推荐）
实时热门统计 操作步骤： 先从Kafka读取消费数据 使用map算子对数据进行预处理 过滤数据，只留住pv数据 使用timewindow，每隔10秒创建一个20秒的window 然后将窗口自定义预聚合，并且兹定于窗口函数，按指定输入输出case操作数据 上面操作时候返回的是DataStream，那么就根据timestampEnd进行keyby 使用底层API操作，对每个时间窗口内的数据进行排序，取top package com.ongbo.hotAnalysis import java.sql.Times
本节适用于在事件时间上运行的程序。有关事件时间，处理时间和提取时间的介绍，请参阅Flink1.4 事件时间与处理时间。
“时间”在我们日常的开发学习过程中是特别常见的一个名词，例如：Java中的日期处理类、获取系统的当前时间、毫秒级的时间戳等等。接下来让我们来看看在Flink框架中，对时间不同的概念。Flink框架中有三个时间的语义：事件时间（Event Time ）、摄入时间（Ingestion Time）、系统处理时间（Processing Time）。
flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/datastream/KeyedStream.java
Flink 是一个流处理框架，支持流处理和批处理，特点是流处理有限，可容错，可扩展，高吞吐，低延迟。
一，fink支持的时间 Flink的流式应用支持不同的时间观。 1，处理时间 处理时间是指执行相应操作的机器的系统时间。 当流程序采用处理时间运行时，所有基于时间的操作（如时间窗口）将使用运行各自运算符的机器的系统时钟。例如，每小时处理时间窗口将包括在系统时钟显示一个小时的时间之间到达特定操作之间的所有记录。 处理时间是最简单的时间概念，不需要流和机器之间的协调。它提供最好的性能和最低的延迟。然而，在分布式和异步环境中，处理时间不能提供决定论，因为它易受记录到达系统（例如从消息队列）到达的速度的影响，也与记
在上一篇博客中，博主已经为大家介绍了DataStream API 开发之【Time 与 Window】，并着重介绍了常用的 Window API 。本篇博客，我们就趁热打铁，继续接下去讲， DataStream API 开发之【EventTime 与 Window】。
本篇是flink 的「电商用户行为数据分析」的第 8 篇文章，为大家带来的是市场营销商业指标统计分析之订单支付实时监控的内容！通过本期内容，我们可以实现通过使用CEP和Process Function来实现订单支付实时监控的功能，还能学会通过connect 和 join来实现flink双流join的功能，可谓干货满满！受益的朋友记得三连支持一下 ~
最近有人问了浪尖一个flink共享datastream或者临时表会否重复计算的问题。
本篇是flink 的「电商用户行为数据分析」的第 7 篇文章，为大家带来的是市场营销商业指标统计分析之页面广告分析的内容。通过本期内容，我们可以实现页面广告点击量统计和黑名单过滤的功能。
在使用eventTime的时候如何处理乱序数据？我们知道，流处理从事件产生，到流经source，再到operator，中间是有一个过程和时间的。虽然大部分情况下，流到operator的数据都是按照事件产生的时间顺序来的，但是也不排除由于网络延迟等原因，导致乱序的产生，特别是使用kafka的话，多个分区的数据无法保证有序。所以在进行window计算的时候，我们又不能无限期的等下去，必须要有个机制来保证一个特定的时间后，必须触发window去进行计算了。这个特别的机制，就是watermark。Watermark是用于处理乱序事件的，用于衡量Event Time进展的机制。watermark可以翻译为水位线。
CEP 即Complex Event Processing - 复杂事件，Flink CEP 是在 Flink 中实现的复杂时间处理(CEP)库。处理事件的规则，被叫做“模式”(Pattern)，Flink CEP 提供了 Pattern API，用于对输入流数据进行复杂事件规则定义，用来提取符合规则的事件序列。
之前的《万字长文深度解析WordCount程序》使用WordCount展示了Flink程序的基本结构，本文将以股票价格案例来演示如何使用Flink的DataStream API。通过本文，你可以学到：
为了解决上面2个问题，我们基于flink和drools规则引擎做了实时的日志处理服务。
* 按时间顺序发生的数据1 -> 2，本来应该是1先发送，1先到达，但是在1发送过程中，因为网络延时之类的原因，导致1反而到达晚了，变成2先到达，也就造成所谓的接收乱序；
掌握Flink中三种常用的Time处理方式，掌握Flink中滚动窗口以及滑动窗口的使用，了解Flink中的watermark。
本篇是flink 的「电商用户行为数据分析」的第6篇文章，为大家带来的是市场营销商业指标统计分析之APP市场推广统计的内容，通过本期内容的学习，你同样能够学会处理一些特定场景领域下的方法。话不多说，我们直入正题！
在上一篇的分析【Flink DataStream中CoGroup实现原理与三种 join 实现】中基于DataStream的join只能实现在同一个窗口的两个数据流之间进行join, 但是在实际中常常是会存在数据乱序或者延时的情况，导致两个流的数据进度不一致，就会出现数据跨窗口的情况，那么数据就无法在同一个窗口内join。flink 基于KeyedStream提供了一种interval join 机制，intervaljoin 连接两个keyedStream, 按照相同的key在一个相对数据时间的时间段内进行连接。
PV(访问量)：即Page View, 即页面浏览量或点击量，用户每次刷新即被计算一次。
我们经常需要在一个时间窗口维度上对数据进行聚合，窗口是流处理应用中经常需要解决的问题。Flink的窗口算子为我们提供了方便易用的API，我们可以将数据流切分成一个个窗口，对窗口内的数据进行处理。本文将介绍如何在Flink上进行窗口的计算。
本文是《Flink处理函数实战》系列的第四篇，内容是学习以下两个窗口相关的处理函数：
FlinkCEP是在Flink之上实现的复杂事件处理库。它提供了丰富的API，允许您在不停止的事件流中检测事件模式，并对复杂事件做相应处理。模式匹配是复杂事件处理的一个有力的保障，应用场景包括受一系列事件驱动的各种业务流程，例如在正常的网略行为中侦测异常行为；在金融应用中查找价格、交易量和其他行为的模式。
接上节继续，通常在做数据分析时需要指定时间范围，比如："每天凌晨1点统计前一天的订单量" 或者 "每个整点统计前24小时的总发货量"。这个统计时间段，就称为统计窗口。Flink中支持多种Window统计，今天介绍二种常见的窗口：TumbingWindow及SlidingWindow。
使用flink做实时数仓的公司越来越多了，浪尖这边也是很早就开发了一个flink 全sql平台来实现实时数仓的功能。说到实时数仓，两个表的概念大家一定会知道的：事实表和维表。
更多内容详见:https://github.com/pierre94/flink-notes
时间、窗口、水印、迟到数据这四个知识点几乎是Flink这个框架最难点。我之前发了很多文章来解释。很多同学仍然理解不了。
关于Springboot Kafka其他配置请参考Springboot2整合Kafka
在《基于flink的电商用户行为数据分析【3】| 实时流量统计》这篇文章中，博主为大家介绍了基于服务器 log 的热门页面浏览量统计。 最后通过运行结果的验证，我们发现，从 web 服务器 log 中得到的 url，往往更多的是请求某个资源地址（/*.js、/*.css），如果要针对页面进行统计往往还需要进行过滤。而在实际电商应用中，相比每个单独页面的访问量，我们可能更加关心整个电商网站的网络流量。这个指标，除了合并之前每个页面的统计结果之外，还可以通过统计埋点日志数据中的“pv”行为来得到…
Apache Flink 是一个==分布式大数据处理引擎==，可对==有限数据流和无限数据流==进行==有状态计算==。可部署在==各种集群环境==，对各种大小的数据规模进行快速计算。
在流处理中，时间是一个非常核心的概念，是整个系统的基石。比如，我们经常会遇到这样的需求：给定一个时间窗口，比如一个小时，统计时间窗口的内数据指标。那如何界定哪些数据将进入这个窗口呢？在窗口的定义之前，首先需要确定一个应用使用什么样的时间语义。
领取专属 10元无门槛券
手把手带您无忧上云
