皮皮鲁的AI星球-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

皮皮鲁的AI星球

专栏成员

82

文章

205148

阅读量

34

订阅数

我整理了一份Flink流计算入门教程清单

flink 大数据 https 微信网络安全

作为技术出身的我，不太会写软文广告，今天就直接来个硬广。之前与人民邮电出版社合作的《Flink原理与实践》经过一年多时间的打磨和润色，这两天终于与大家见面了，恳请各位朋友多多支持。

2022-09-20

6710

端到端Exactly-Once是分布式系统最大挑战？Flink是如何解决的？

大数据数据库 sql unix 分布式

某条数据投递到某个流处理系统后，该系统对这条数据只处理一次，提供Exactly-Once的保障是一种理想的情况。如果系统不出任何故障，那简直堪称完美。然而现实世界中，系统经常受到各类意外因素的影响而发生故障，比如流量激增、网络抖动、云服务资源分配出现问题等。如果发生了故障，Flink重启作业，读取Checkpoint中的数据，恢复状态，重新执行计算。

2020-02-26

9800

浅谈Flink分布式运行时和数据流图的并行化

编程算法大数据

本文将以WordCount的案例为主线，主要介绍Flink的设计和运行原理。关于Flink WordCount程序可以参考我之前的文章：读取Kafka实时数据流，实现Flink WordCount。阅读完本文后，读者可以对Flink的分布式运行时有一个全面的认识。

2020-02-26

1.7K0

Flink入门：读取Kafka实时数据流，实现WordCount

大数据 kafka 命令行工具 ide

本文主要介绍Flink接收一个Kafka文本数据流，进行WordCount词频统计，然后输出到标准输出上。通过本文你可以了解如何编写和运行Flink程序。

2020-02-26

5.3K0

Java函数式编程快速入门： Lambda表达式与Stream API

serverless java 编程算法大数据

函数式编程（Functional Programming）是一种编程范式。它已经有近60年的历史，因其更适合做并行计算，近年来开始受到大数据开发者的广泛关注。Python、JavaScript等当红语言对函数式编程支持都不错，Scala更是以函数式编程的优势在大数据领域攻城略地，即使是老牌的Java为了适应函数式编程，也加大对函数式编程的支持。未来的程序员或多或少都要了解一些函数式编程思想。本文抛开一些数学推理等各类复杂的概念，从使用的角度带领读者入门函数式编程。

2020-02-26

1.2K0

Java/Scala 泛型快速入门教程

java scala 大数据编程算法

泛型（Generics）是强类型编程语言中经常使用的一种技术。很多框架的代码中都会大量使用到泛型，比如在Java中我们经常看到的：

2020-02-26

7710

Flink Broadcast State实战案例：电商平台用户行为模式分析

编程算法大数据数据结构

Broadcast State是Flink 1.5引入的功能，本文将跟大家分享Broadcast State的潜在使用场景，并使用电商用户行为分析的例子来演示Broadcast State的使用方法。关于Flink状态的基本原理，Keyed State和Operator State的使用方法，可以参考我之前的文章：Flink状态详解。

2020-02-17

1K0

ProcessFunction：Flink最底层API使用案例详解

编程算法 unix processing 大数据

之前提到的一些算子和函数能够进行一些时间上的操作，但是不能获取算子当前的Processing Time或者是Watermark时间戳，调用起来简单但功能相对受限。如果想获取数据流中Watermark的时间戳，或者在时间上前后穿梭，需要使用ProcessFunction系列函数，它们是Flink体系中最底层的API，提供了对数据流更细粒度的操作权限。Flink SQL是基于这些函数实现的，一些需要高度个性化的业务场景也需要使用这些函数。

2020-02-17

1.7K0

数据分析没思路？疫情分析是最好的实战教材

网络安全数据可视化数据分析大数据

这些天新冠病毒肺炎疫情成了全世界关注的焦点，网上的各类言论满天飞，有散布焦虑的、有监督红会的，有买卖中药的、也有各类阴谋论的，很多文章毫无数据支撑，却得到了大量转发和支持。我认为，在这个数据时代，没有数据支撑的“大新闻”八成都是为了骗关注或者收智商税。这些天我也读了不少有关疫情分析的文章，突然发现，对疫情的数据分析思路与我平时工作中的数据分析简直如出一辙，这不就是我平时做的那些工作嘛！很多朋友说想入门数据科学，但是没有思路，所以这篇文章从数据科学的思维方式和独立思考的角度来谈谈如何解决疫情分析这个实际问题。建议对于数据科学感兴趣的在校学生、刚入行的数据分析师包括数据产品经理、数据运营、算法新人以及所有与数据相关的岗位都可以读读这篇文章，将一些数据分析思路与自己的实际工作比对一下，看看如何辩证地分析数据。

2020-02-17

9670

Flink Checkpoint机制原理剖析与参数配置

大数据编程算法分布式数据处理

在Flink状态管理详解这篇文章中，我们介绍了Flink的状态都是基于本地的，而Flink又是一个部署在多节点的分布式引擎，分布式系统经常出现进程被杀、节点宕机或网络中断等问题，那么本地的状态在遇到故障时如何保证不丢呢？Flink定期保存状态数据到存储上，故障发生后从之前的备份中恢复，整个被称为Checkpoint机制，它为Flink提供了Exactly-Once的投递保障。本文将介绍Flink的Checkpoint机制的原理。本文会使用多个概念：快照（Snapshot）、分布式快照（Distributed Snapshot）、检查点（Checkpoint）等，这些概念均指的是Flink的Checkpoint机制，读者可以将这些概念等同看待。

2020-02-17

1.7K0

Flink状态管理详解：Keyed State和Operator List State深度解析

大数据编程算法数据结构 java 文件存储

有状态的计算是流处理框架要实现的重要功能，因为稍复杂的流处理场景都需要记录状态，然后在新流入数据的基础上不断更新状态。下面的几个场景都需要使用流处理的状态功能：

2020-02-17

3.5K0

Flink时间系列：如何处理迟到数据

github git 开源大数据编程算法

Event Time语义下我们使用Watermark来判断数据是否迟到。一个迟到元素是指元素到达窗口算子时，该元素本该被分配到某个窗口，但由于延迟，窗口已经触发计算。目前Flink有三种处理迟到数据的方式：

2020-02-17

3.8K0

Flink时间系列：如何在两个DataStream上进行Join操作

大数据 typescript 编程算法

批处理经常要解决的问题是将两个数据源做关联Join操作。比如，很多手机APP都有一个用户数据源User，同时APP会记录用户的行为，我们称之为Behavior，两个表按照userId来进行Join。在流处理场景下，Flink也支持了Join，只不过Flink是在一个时间窗口上来进行两个表的Join。

2020-02-17

2.6K0

Flink窗口全解析：三种时间窗口、窗口处理函数使用及案例

windows 大数据 unix 编程算法 processing

我们经常需要在一个时间窗口维度上对数据进行聚合，窗口是流处理应用中经常需要解决的问题。Flink的窗口算子为我们提供了方便易用的API，我们可以将数据流切分成一个个窗口，对窗口内的数据进行处理。本文将介绍如何在Flink上进行窗口的计算。

2020-02-17

6.7K0

Flink时间语义、Event Time和Watermark机制深度解析

unix 大数据编程算法 processing

在流处理中，时间是一个非常核心的概念，是整个系统的基石。比如，我们经常会遇到这样的需求：给定一个时间窗口，比如一个小时，统计时间窗口的内数据指标。那如何界定哪些数据将进入这个窗口呢？在窗口的定义之前，首先需要确定一个应用使用什么样的时间语义。

2020-01-14

3.3K0

Flink进阶教程：以flatMap为例，如何进行算子自定义

大数据 serverless 文件存储 scala

总结下来不难发现，使用Flink的算子必须进行自定义，自定义时可以使用Lambda表达式，也可以继承并重写函数类。本文将带大家阅读一些Flink源码，并提供具体的算子使用例子。

2020-01-14

7.2K1

2020已来，大数据和AI领域必须了解的六大趋势

5g 大数据硬件开发图像处理机器学习

包括阿里巴巴达摩院在内的全球顶级科研机构纷纷对2020年的科技行业做出了预测，过去的一年，大数据和AI行业继续蓬勃发展：

2020-01-13

6470

Flink零基础教程：并行度和数据重分布

大数据编程算法 ide

Flink的Transformation转换主要包括四种：单数据流基本转换、基于Key的分组转换、多数据流转换和数据重分布转换。读者可以使用Flink Scala Shell或者Intellij Idea来进行练习：

2019-12-30

9060

Flink算子使用方法及实例演示：union和connect

大数据 scala

Flink的Transformation转换主要包括四种：单数据流基本转换、基于Key的分组转换、多数据流转换和数据重分布转换。读者可以使用Flink Scala Shell或者Intellij Idea来进行练习：

2019-12-27

6.7K7

Flink算子使用方法及实例演示：keyBy、reduce和aggregations

大数据 mapreduce 编程算法

Flink的Transformation转换主要包括四种：单数据流基本转换、基于Key的分组转换、多数据流转换和数据重分布转换。本文主要介绍基于Key的分组转换，关于时间和窗口将在后续文章中介绍。读者可以使用Flink Scala Shell或者Intellij Idea来进行练习：

2019-12-26

8.6K1

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态