本文摘编于《Flink SQL 与 DataStream 入门、进阶与实战》，作者羊艺超，经出版方授权发布，转载请标明文章出处。
回顾2015，总体而言Flink在功能方面已经从一个引擎发展成为最完整的开源流处理框架之一。与此同时，Flink社区也从一个相对较小，并且地理上集中的团队，成长为一个真正的全球性的大型社区，并在Apache软件基金会成为最大的大数据社区之一。接下来看看一些有趣的统计数据，其中就包括Flink每周最繁忙的时间是星期一，肯定出乎很多人所料：） 社区发展 首先，我们从Flink的GitHub库中看一些简单的统计。在2015年，Flink社区规模扩大了一倍，人数从大约75名贡献者超过150名。从2015年2月至2
目前在实时计算的场景中，熟悉 datastream 的同学在很多场景下都会将结果数据写入到 redis 提供数据服务。
Flink提供了一个命令行接口（CLI）用来运行打成JAR包的程序，并且可以控制程序的运行。命令行接口在Flink安装完之后即可拥有，本地单节点或是分布式的部署安装都会有命令行接口。命令行接口启动脚本是 $FLINK_HOME/bin目录下的flink脚本， 默认情况下会连接运行中的Flink master(JobManager)，JobManager的启动脚本与CLI在同一安装目录下。
Cloudera 在为流处理提供综合解决方案方面有着良好的记录。Cloudera 流处理 (CSP) 由 Apache Flink 和 Apache Kafka 提供支持，提供完整的流管理和有状态处理解决方案。在 CSP 中，Kafka 作为存储流媒体底层，Flink 作为核心流处理引擎，支持 SQL 和 REST 接口。CSP 允许开发人员、数据分析师和数据科学家构建混合流数据管道，其中时间是一个关键因素，例如欺诈检测、网络威胁分析、即时贷款批准等。
Flink 的 Table & SQL API 可以处理 SQL 语言编写的查询语句，但是这些查询需要嵌入用 Java 或 Scala 编写的 Table 程序中。此外，这些程序在提交到集群前需要用构建工具打包。这或多或少限制了 Java/Scala 程序员对 Flink 的使用。
Flink文档：https://ci.apache.org/projects/flink/flink-docs-release-1.12/
Flink 1.5.0 是 1.x.y 系列的第六个主要版本。与往常一样，它兼容之前 1.x.y 版本中使用 @Public 注解标注过的 API。
针对 datastream api 大家都比较熟悉了，还是那句话，在 datastream 中，你写的代码逻辑是什么样的，它最终的执行方式就是什么样的。
Flink 可以说已经是流计算领域的事实标准，其开源社区发展迅速，提出了很多改进计划（Flink Improvement Proposals，简称 FLIP）并不断迭代，几乎每个新的版本在功能、性能和使用便捷性上都有所提高。Flink 提供了丰富的数据连接器（connecotr）来连接各种数据源，内置了 kafka、jdbc、hive、hbase、elasticsearch、file system 等常见的 connector，此外 Flink 还提供了灵活的机制方便开发者开发新的 connector。对于 source connector 的开发，有基于传统的 SourceFunction 的方式和基于 Flink 改进计划 FLIP-27 的 Source 新架构的方式。本文首先介绍基于 SourceFunction 方式的不足，接着介绍 Source 新架构以及其设计上的深层思考，然后基于 Flink 1.13 ，以从零开发一个简单的 FileSource connector 为例，介绍开发 source connector 的基本要素，尽量做到理论与实践相结合，加深大家的理解。
大家好，我是老羊，今天我们来学习 Flink SQL 中的 TopN、Order By、Limit 3个操作。
CREATE 语句用于向当前或指定的 Catalog 中注册库、表、视图或函数。注册后的库、表、视图和函数可以在 SQL 查询中使用。
作者：刘泽善，腾讯CSIG专家工程师 前言 Flink 可以说已经是流计算领域的事实标准，其开源社区发展迅速，提出了很多改进计划（Flink Improvement Proposals，简称 FLIP [1]）并不断迭代，几乎每个新的版本在功能、性能和使用便捷性上都有所提高。Flink 提供了丰富的数据连接器（connecotr）来连接各种数据源，内置了 kafka [2]、jdbc [3]、hive [4]、hbase [5]、elasticsearch [6]、file system [7] 等常见的
Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。 Flink设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。
根据微博目前站内词条消费情况，计算 top 50 消费热度词条，每分钟更新一次，并且按照列表展现给用户。
摘要：本文整理自美团实时数仓平台负责人姚冬阳在 Flink Forward Asia 2021 实时数仓专场的演讲。主要内容包括：
在本次实验中，您将使用 Cloudera SQL Stream Builder来捕获和处理来自外部数据库中活动的更改。
Flink1.14.2 Release版本已经在12月16日发布，主要是修复了Log4j导致的可执行任意代码的漏洞问题，但是还有一些非常重要的功能更新。
那么这时候，小伙伴萌就会问到，我其实可以把窗口聚合的写法也转换为 Group 聚合，只需要把 Group 聚合的 Group By key 换成时间就行，那这两个聚合的区别到底在哪？
在数仓ETL、实时计算的场景下，我们基于Flink SQL批流一体的框架进行了一定规模的作业迁移。在研发作业管理系统中，我们引入Apache Zeppelin组件作为Flink SQL作业提交客户端，Flink 批流作业可视化预览的核心组件。在一年多时间的产线实践中，我们对作业提交的方式策略进行了几次演进，目前在跑作业规模Flink Batch 任务日均运行超5000次，流作业500+，均稳定运行。
本文整理自 2019 年 4 月 13 日在深圳举行的 Flink Meetup 会议，分享嘉宾张俊，目前担任 OPPO 大数据平台研发负责人，也是 Apache Flink contributor。本文主要内容如下： - OPPO 实时数仓的演进思路； - 基于 Flink SQL 的扩展工作； - 构建实时数仓的应用案例； - 未来工作的思考和展望。
大家好我是老羊，由于窗口涉及到的知识内容比较多，所以博主先为大家说明介绍下面内容时的思路，大家跟着思路走。思路如下：
Flink 1.12 版本在 20 年 12 月已经正式 Release，目前我们的 Flink SQL 作业的 Flink 引擎版本还是 1.10，本文主要用以评估 Flink 1.10 升级到 1.12 整体所能带来的预期收益，同时结合所需投入的成本，决定是否需要升级 Flink SQL 引擎版本到 1.12。本次升级所评估的收益包含 1.11 和 1.12 版本所带来的收益，如有理解错误，欢迎指出，一起交流。
1.什么是SQL Stream Builder Cloudera Streaming Analytics(CSA)提供了一个易于使用的交互式SQL Stream Builder(SSB)作为服务，用于通过 SQL创建对数据流的查询。 SQL Stream Builder (SSB)是一个功能全面的交互式UI工具，可以使用SQL创建有状态的流处理作业。通过使用 SQL，您可以简单轻松地声明过滤、聚合、路由和以其他方式改变数据流的表达式。SSB 是一个作业管理接口，可用于在流上编写和运行 SQL，以及为结果创
Cloudera的流分析中除了包括Flink，还包括SQL Stream Builder创建对数据流的连续查询。我们在该系列的第一部分介绍了《Cloudera中的流分析概览》，今天我们来快速浏览一下SQL Stream Builder的概览。
我们在Cloudera的流分析系列中介绍了《Cloudera中的流分析概览》、《SQL Stream Builder的概览》和《CSA的部署方案》，今天我们来进行下一个章节：CSA的安装部署。
涂小刚，微信高级开发工程师，负责微信大数据平台开发及建设。 王玉君，腾讯云后台高级开发工程师，负责腾讯云原生系统开发及建设。 前言 架构转型，拥抱云原生服务生态 当前微信内部的大数据计算平台是基于自研的 Yard 资源调度系统[1]来建设，Yard 的设计初衷除了提供在线服务资源隔离外，另一方面是为了提高在线服务机器的整体资源利用率，其核心策略是在机器空闲时能在上面跑一些大数据离线任务。但是对接业界各种大数据计算框架（例如 Hadoop MapReduce、Spark、Flink 等）都需要专门定制化开
第二和第三点是当前对大家开发影响最大的，Flink Batch的能力现在已经比较完善和稳定，很多离线导数的批任务很多大厂已经从原来的类似DataX这样的工具切换到Flink Batch SQL。例如下面的2个场景：
https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/
做大数据绝对躲不过的一个热门话题就是实时流计算，而提到实时流计算，就是Spark 和 Flink两面大旗。
最进再看官方flink提供的视频教程,发现入门版本因为时间关系都是基于1.7.x讲解的. 在实际操作中跟1.12.x版本还是有差距的, 所以整理一下从1.7 版本到1.12版本之间的相对大的变动. 做到在学习的过程中可以做到心里有数.
在伴鱼发展早期，出现了一系列实时性相关的需求，比如算法工程师期望可以拿到用户的实时特征数据做实时推荐，产品经理希望数据方可以提供实时指标看板做实时运营分析。这个阶段中台数据开发工程师主要是基于「Spark」实时计算引擎开发作业来满足业务方提出的需求。然而，这类作业并没有统一的平台进行管理，任务的开发形式、提交方式、可用性保障等也完全因人而异。 伴随着业务的加速发展，越来越多的实时场景涌现出来，对实时作业的开发效率和质量保障提出了更高的要求。为此，我们从去年开始着手打造伴鱼公司级的实时计算平台，平台代号「Pa
阿里巴巴技术专家，Apache Hive PMC成员，加入阿里巴巴之前曾就职于Intel、IBM等公司，主要参与Hive、HDFS、Spark等开源项目。
Plink是一个基于Flink的流处理平台，旨在基于 [Apache Flink]封装构建上层平台。提供常见的作业管理功能。如作业的创建，删除，编辑，更新，保存，启动，停止，重启，管理，多作业模板配置等。Flink SQL 编辑提交功能。如 SQL 的在线开发，智能提示，格式化，语法校验，保存，采样，运行，测试，集成 Kafka 等。
例：flink run -m yarn-cluster -yd -yjm 1024m -ytm 1024m -ynm -ys 1
BIGO 是一家面向海外的以短视频直播业务为主的公司, 目前公司的主要业务包括 BigoLive (全球直播服务)，Likee (短视频创作分享平台)，IMO (免费通信工具) 三部分，在全球范围内拥有 4 亿用户。伴随着业务的发展，对数据平台处理能力的要求也是越来越高，平台所面临的问题也是日益凸显，接下来将介绍 BIGO 大数据平台及其所面临的问题。BIGO 大数据平台的数据流转图如下所示：
场景描述：本文将为大家展示字节跳动公司将 Jstorm 任务迁移到 Apache Flink 上的整个过程以及后续计划。你可以借此了解到字节跳动公司引入 Apache Flink 的背景，Apache Flink 集群的构建过程，如何兼容以前的 Jstorm 作业以及基于 Apache Flink 构建一个流式任务管理平台，本文将一一为你揭开这些神秘的面纱。
备注：Table & SQL API通过Apache Calcite进行SQL解析，并转换成Calcite执行计划，最终调用Flink DataStream/DataSet API。
[ 导读 ] 8月22日，Apache Flink 1.9.0 正式发布。早在今年1月，阿里便宣布将内部过去几年打磨的大数据处理引擎Blink进行开源并向 Apache Flink 贡献代码。此次版本在结构上有重大变更，修改代码达150万行，接下来，我们一起梳理 Flink 1.9.0 中非常值得关注的重要功能与特性。
目前 Flink 社区正如火如荼的发展，但苦于没有一款适合 Flink SQL 界面化开发的工具，于是增加了 Flink 的门槛与成本。虽然官方提供了 SQL Client，但仍有很多局限与不方便。
Cloudera流分析（CSA）提供由Apache Flink支持的实时流处理和流分析。在CDP上的Flink提供了具有低延迟的灵活流解决方案，可以扩展到较大的吞吐量和状态。除Flink之外，CSA还包括SQL Stream Builder，可使用对数据流的SQL查询来提供数据分析经验。
本文整理自 Dinky 实时计算平台 Maintainer 亓文凯老师在 Apache Doris & Apache SeaTunnel 联合 meetup 的实践分享，通过 Doris + Flink + DolphinScheduler + Dinky 构建开源数据平台。
如果表没有定义主键，则默认情况下它是仅追加 表类型(Append Only Table)。 根据桶(Bucket)的定义，我们有两种不同的仅追加模式："Append For Scalable Table"和"Append For Queue"；两种模式支持不同的场景，提供不同的功能。 只能向表中插入一条完整的记录。 不支持删除或更新，并且不能定义主键。 此类表适合 不需要更新的用例（例如日志数据同步）。
摘要：小米业务线众多，从信息流，电商，广告到金融等覆盖了众多领域，小米流式平台为小米集团各业务提供一体化的流式数据解决方案，主要包括数据采集，数据集成和流式计算三个模块。目前每天数据量达到 1.2 万亿条，实时同步任务 1.5 万，实时计算的数据 1 万亿条。
Flink Forward是由Apache官方授权，用于介绍Flink社区的最新动态、发展计划以及Flink相关的生产实践经验的会议。2018年12月20日，Flink Forward首次来到中国举办。腾讯TEG数据平台部参加了会议并在会上介绍了腾讯内部基于Flink打造的一站式实时计算平台Oceanus。 一、背景介绍 TEG实时计算团队作为腾讯内部最大的实时数据服务部门，为业务部门提供高效、稳定和易用的实时数据服务。其每秒接入的数据峰值达到了2.1亿条，每天接入的数据量达到了17万亿条，每天的数据增长
摘要：本文整理自阿里云开发工程师耿飙&阿里云开发工程师胡俊涛，在 FFA 实时风控专场的分享。本篇内容主要分为四个部分：
之前小伙伴们一直苦于 Dlink 没有官网或操作手册来作指导，操作起来处处是坑。经过两天的努力，Dlink 也有官网和 GitHub Pages 啦，不过官网还在等备案，可以先看 GitHub Pages。在此非常感谢 docsify 开源项目的支持。关于在线体验的 Demo ，暂时无法给部署，基于 mock 的改造工作量蛮大且体验效果差，把原版 Dlink 部署上，一个小服务器，分分钟就给跑崩了，大家还是等后续权限功能上线吧。
摘要：本文介绍了 dinky 在 Flink on Kubernetes 的实践分享。内容包括：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
