腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据成神之路

专注大数据领域的一切技术~

专栏作者

635

文章

1274252

阅读量

315

订阅数

Flink会话窗口和定时器原理详解

windows processing flink 大数据

在我们使用Flink DataStream API编写业务代码时，aggregate()算子、AggregateFunction、KeyedProcessFunction是非常常用的。下面我们把这两个知识点详细的讲解一下。

王知无-import_bigdata

2021-04-21

2.1K0

Flink-1.10中的StreamingFileSink相关特性

processing bash bash 指令面向对象编程 flink

Flink流式计算的核心概念，就是将数据从Source输入流一个个传递给Operator进行链式处理，最后交给Sink输出流的过程。本篇文章主要讲解Sink端比较强大一个功能类StreamingFileSink,我们基于最新的Flink1.10.0版本进行讲解，之前版本可能使用BucketingSink,但是BucketingSink从Flink 1.9开始已经被废弃，并会在后续的版本中删除，这里只讲解StreamingFileSink相关特性。

王知无-import_bigdata

2020-06-04

1.5K0

OLTP与OLAP的区别精简总结

oracle processing 数据库 sql

1、当今的数据处理大致可以分成两大类：联机事务处理On-Line Transaction Processing 联机分析处理On-Line Analytical Processing

王知无-import_bigdata

2019-08-30

7.2K0

使用Flink实现索引数据到Elasticsearch

Elasticsearch Service processing http 批量计算

使用Flink处理数据时，可以基于Flink提供的批式处理（Batch Processing）和流式处理（Streaming Processing）API来实现，分别能够满足不同场景下应用数据的处理。这两种模式下，输入处理都被抽象为Source Operator，包含对应输入数据的处理逻辑；输出处理都被抽象为Sink Operator，包含了对应输出数据的处理逻辑。这里，我们只关注输出的Sink Operator实现。

王知无-import_bigdata

2019-08-02

1.5K0

Spark Streaming消费Kafka数据的两种方案

kafka processing 大数据数据处理数据结构

下午的时候翻微信看到大家在讨论Spark消费Kafka的方式，官网中就有答案，只不过是英文的，当然很多博客也都做了介绍，正好我的收藏夹中有一篇文章供大家参考。文章写的通俗易懂，搭配代码，供大家参考。

王知无-import_bigdata

2019-05-16

3.2K0

11-时间戳和水印

大数据 apache processing 编程算法

戳更多文章： 1-Flink入门 2-本地环境搭建&构建第一个Flink应用 3-DataSet API 4-DataSteam API 5-集群部署 6-分布式缓存 7-重启策略 8-Flink中的

王知无-import_bigdata

2019-03-05

8520

9-Flink中的Time

processing 大数据 api 分布式

当流程序在 Processing Time 上运行时，所有基于时间的操作(如时间窗口)将使用当时机器的系统时间。每小时 Processing Time 窗口将包括在系统时钟指示整个小时之间到达特定操作的所有事件。

王知无-import_bigdata

2019-03-05

6180

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态