Flink程序是实现分布式集合转换的常规程序（例如，过滤，映射，更新状态，加入，分组，定义窗口，聚合）。最初从源创建集合（例如，通过从文件，kafka主题或从本地的内存集合中读取）。结果通过接收器返回，接收器可以例如将数据写入（分布式）文件或标准输出（例如，命令行终端）。 Flink程序可以在各种环境中运行，独立运行或嵌入其他程序中。执行可以在本地JVM中执行，也可以在许多计算机的集群上执行。
flink-table_2.11-1.7.0-sources.jar!/org/apache/flink/table/api/table.scala
在 Flink 中，数据类型的描述信息都是定义在 TypeInformation 中，比较常用的 TypeInformatica 有 BasicTypeInfo、TupleTypeInfo、CaseClassTypeInfo、PojoTypeInfo 等
Flink程序是执行分布式集合转换(例如，filtering, mapping, updating state, joining, grouping, defining windows, aggregating)的常规程序。集合创建于原始的数据源(例如，通过从文件读取，kafka主题或从本地内存集合中进行创建)。通过sinks返回结果，例如将数据写入（分布式）文件或标准输出(例如，命令行终端)。Flink程序以各种上下文运行，独立或嵌入其他程序中。执行可能发生在本地JVM或许多机器的集群上。取决于数据源的类
几乎所有的大数据框架都要面临分布式计算、数据传输和持久化问题。数据传输过程前后要进行数据的序列化和反序列化：序列化就是将一个内存对象转换成二进制串，形成网络传输或者持久化的数据流。反序列化将二进制串转换为内存对象，这样就可以直接在编程语言中读写和操作这个对象。一种最简单的序列化方法就是将复杂数据结构转化成JSON格式。序列化和反序列化是很多大数据框架必须考虑的问题，在Java和大数据生态圈中，已有不少序列化工具，比如Java自带的序列化工具、Kryo等。一些RPC框架也提供序列化功能，比如最初用于Hadoop的Apache Avro、Facebook开发的Apache Thrift和Google开发的Protobuf，这些工具在速度和压缩比等方面与JSON相比有一定的优势。
总结下来不难发现，使用Flink的算子必须进行自定义，自定义时可以使用Lambda表达式，也可以继承并重写函数类。本文将带大家阅读一些Flink源码，并提供具体的算子使用例子。
写在前面： 博主是一名大数据的初学者，昵称来源于《爱丽丝梦游仙境》中的Alice和自己的昵称。作为一名互联网小白，写博客一方面是为了记录自己的学习历程，一方面是希望能够帮助到很多和自己一样处于起步阶段的萌新。由于水平有限，博客中难免会有一些错误，有纰漏之处恳请各位大佬不吝赐教！个人小站:http://alices.ibilibili.xyz/ , 博客主页:https://alice.blog.csdn.net/ 尽管当前水平可能不及各位大佬，但我还是希望自己能够做得更好，因为一天的生活就是一生的缩影。
本篇是flink 的「电商用户行为数据分析」的第6篇文章，为大家带来的是市场营销商业指标统计分析之APP市场推广统计的内容，通过本期内容的学习，你同样能够学会处理一些特定场景领域下的方法。话不多说，我们直入正题！
Flink DataStream 应用程序所处理的事件以数据对象的形式存在。函数调用时会传入数据对象，同时也可以输出数据对象。因此，Flink 在内部需要能够处理这些对象。当通过网络传输或者读写状态后端、检查点以及保存点时，需要对它们进行序列化和反序列化。为了能够更高效的做到这一点，Flink 需要详细了解应用程序处理的数据类型。Flink 使用类型信息的概念来表示数据类型，并为每种数据类型生成特定的序列化器、反序列化器以及比较器。
Flink有个UI界面，可以用于监控Flilnk的job运行状态 http://localhost:8081/
之前的《万字长文深度解析WordCount程序》使用WordCount展示了Flink程序的基本结构，本文将以股票价格案例来演示如何使用Flink的DataStream API。通过本文，你可以学到：
本篇是flink 的「电商用户行为数据分析」的第 7 篇文章，为大家带来的是市场营销商业指标统计分析之页面广告分析的内容。通过本期内容，我们可以实现页面广告点击量统计和黑名单过滤的功能。
Table API和SQL集成在共同API中。这个API的中心概念是一个用作查询的输入和输出的表。本文档显示了具有表API和SQL查询的程序的常见结构，如何注册表，如何查询表以及如何发出表。 Table API和SQL捆绑在flink-table Maven工程中。 为了使用Table API和SQL，必须将以下依赖项添加到您的项目中： <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-table_2.10</a
protobuf 作为目前各大公司中最广泛使用的高效的协议数据交换格式工具库，会大量作为流式数据传输的序列化方式，所以在 flink sql 中如果能实现 protobuf 的 format 会非常有用（目前社区已经有对应的实现，不过目前还没有 merge，预计在 1.14 系列版本中能 release）。
实时热门统计 操作步骤： 先从Kafka读取消费数据 使用map算子对数据进行预处理 过滤数据，只留住pv数据 使用timewindow，每隔10秒创建一个20秒的window 然后将窗口自定义预聚合，并且兹定于窗口函数，按指定输入输出case操作数据 上面操作时候返回的是DataStream，那么就根据timestampEnd进行keyby 使用底层API操作，对每个时间窗口内的数据进行排序，取top package com.ongbo.hotAnalysis import java.sql.Times
创建一个执行环境，表示当前执行程序的上下文。 如果程序是独立调用的，则此方法返回本地执行环境；如果从命令行客户端调用程序以提交到集群，则此方法返回此集群的执行环境，也就是说，getExecutionEnvironment 会根据查询运行的方式决定返回什么样的运行环境，是最常用的一种创建执行环境的方式。
Flink具有特殊类DataSet并DataStream在程序中表示数据。您可以将它们视为可以包含重复项的不可变数据集合。在DataSet数据有限的情况下，对于一个DataStream元素的数量可以是无界的。
在上一期内容中，菌哥已经为大家介绍了电商用户行为数据分析的主要功能和模块介绍。本期内容，我们需要介绍的是实时热门商品统计模块的功能开发。
本篇是flink 的「电商用户行为数据分析」的第 8 篇文章，为大家带来的是市场营销商业指标统计分析之订单支付实时监控的内容！通过本期内容，我们可以实现通过使用CEP和Process Function来实现订单支付实时监控的功能，还能学会通过connect 和 join来实现flink双流join的功能，可谓干货满满！受益的朋友记得三连支持一下 ~
前言 在上一期内容中，菌哥已经为大家介绍了实时热门商品统计模块的功能开发的过程(?基于flink的电商用户行为数据分析【2】| 实时热门商品统计)。本期文章，我们要学习的是实时流量统
今天是 Flink 从 0 到 1 系列的第 2 篇：《WordCount及FlinkSQL》。
自定义Flink Source，案例分别实现了继承于SourceFunction的四个案例，三个完全自定义的Source， 另外一个Source为常见的MySQL，通过这几个案例，启发我们进行实际案例的Source研发
上述讲到，成功将一个文件里的内容使用SQL进行了一解析（快速入门Flink SQL —— 介绍及入门）本篇文章主要会跟大家分享如何连接kafka，MySQL，作为输入流和数出的操作,以及Table与DataStream进行互转。
不知不觉，这已经是快速入门Flink系列的第7篇博客了。早在第4篇博客中，博主就已经为大家介绍了在批处理中，数据输入Data Sources 与数据输出Data Sinks的各种分类(传送门:Flink批处理的DataSources和DataSinks)。但是大家是否还记得Flink的概念？Flink是 分布式、 高性能、 随时可用以及准确的为流处理应用程序打造的开源流处理框架。所以光介绍了批处理哪里行呢！本篇博客，我们就来学习Flink流处理的DataSources和DataSinks~
scala简介 scala是运行在`JVM`上的多范式编程语言，同时支持面向对象和面向函数编程 早期，scala刚出现的时候，并没有怎么引起重视，随着Spark和Kafka这样基于scala的 大数
除了看过两周 Flink 外，其他的框架都没有接触过，只是简单的拿来用一下，也并不是很了解，所以本篇教程如果有什么错误，欢迎指出。
原因：flink1.8版本之后已弃用该参数，ResourceManager将自动启动所需的尽可能多的容器，以满足作业请求的并行性。解决方法：去掉即可
流处理系统由于需要支持无限数据集的处理，一般采用一种数据驱动的处理方式。它会提前设置一些算子，然后等到数据到达后对数据进行处理。
Flink和Spark类似，也是一种一站式处理的框架；既可以进行批处理（DataSet），也可以进行实时处理（DataStream）。
flink-table-common-1.7.1-sources.jar!/org/apache/flink/table/factories/TableFactory.java
flink-table_2.11-1.7.1-sources.jar!/org/apache/flink/table/sinks/TableSink.scala
前言 本文使用环境版本 Hive：2.3.9 Flink：flink-1.12.7-bin-scala_2.12 依赖 <?xml version="1.0" encoding="UTF-8"?> <
Scala版本 import org.apache.flink.api.java.utils.ParameterTool import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment import org.apache.flink.streaming.api.windowing.time.Time object SocketWindowWordCountScala { def main(args: Array[String]
导语 | Flink已经成为未来流计算趋势，目前在很多大厂已经有了大规模的使用。最近在学习Flink源码，就想把自己学习的过程分享出来，希望能帮助到志同道合的朋友。开始阅读源码，说明读者已经对flink的基本概念有一些了解，这里就不再重复介绍Flink了。本文作为学习过程的第一章，首先对Flink的工程目录做一个解读，了解了工程下各个模块的作用，才能在遇到问题时准确定位到代码，进一步学习。
1. 从本地集合获取数据 import org.apache.flink.api.scala._ /** * author: YangYunhe * date: 2019/8/3 18:59 * description: 从本地集合中获取数据 */ object CollectionSource { def main(args: Array[String]): Unit = { val env = ExecutionEnvironment.getExecutionEnvir
时间语义，要配合窗口操作才能发挥作用。最主要的用途，当然就是开窗口、根据时间段做计算了。下面我们就来看看 Table API 和 SQL 中，怎么利用时间字段做窗口操作。在 Table API 和 SQL 中，主要有两种窗口：Group Windows 和 Over Windows（时间语义的文章推荐）
Apache Flink 是一个开源的分布式流处理和批处理系统。Flink 的核心是在数据流上提供数据分发、通信、具备容错的分布式计算。同时，Flink 在流处理引擎上构建了批处理引擎，原生支持了迭代计算、内存管理和程序优化。
groupBy会将一个DataSet转化为一个GroupedDataSet，聚合操作会将GroupedDataSet转化为DataSet。如果聚合前每个元素数据类型是T，聚合后的数据类型仍为T。
---- 一、Scala简介 scala是运行在JVM上的多范式编程语言，同时支持面向对象和面向函数编程 多范式：就是包含多种编程思想。目前主流的编程思想有4中，即面向对象、面向过程、面向函数、以及泛型 面向函数一句话形容：函数也是一个对象，可以作为参数进行传递。 也就是： 面向对象 ：传递的参数是具体的对象或者值 函数式编程：传递的参数可以是一个函数（处理逻辑） 运行在JVM之上： 📷 Scala程序编译执行流程 就像学习MapReduce中, 各种序列化器. 类比一下, 比如: IntWritab
本文将简述Flink SQL / Table API的内部实现，为大家把 "从SQL语句到具体执行" 这个流程串起来。并且尽量多提供调用栈，这样大家在遇到问题时就知道应该从什么地方设置断点，对整体架构理解也能更加深入。
在scala专栏已经写过两篇博文,为大家详细地介绍了如何在windows上安装scala并与IDEA进行集成。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
