SmartSi-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

SmartSi

专栏成员

270

文章

617168

阅读量

53

订阅数

State Processor API：如何读写和修改 Flink 应用程序的状态

api flink 大数据编程算法 windows

无论是在生产环境中运行 Apache Flink 还是在调研 Apache Flink，总会遇到一个问题：如何读写以及更新 Flink Savepoint 中的状态？为了解决这个问题，在 Apache Flink 1.9.0 版本引入了 State Processor API，扩展 DataSet API 实现读写以及修改 Flink Savepoint 和 Checkpoint 中状态。

2022-03-07

1.5K0

对流处理的误解

flink 大数据 windows 数据处理 apache

我们花了很多时间来思考流处理。更酷的是：我们也花了很多时间帮助其他人思考流处理以及如何使用流应用解决他们的数据问题。这个过程的第一步是纠正对现代流处理的误解（作为一个快速变化的领域，这里有很多误见值得我们思考）。在这篇文章中，我们选择了其中的 6 个进行讲解，由于 Apache Flink 是我们最熟悉的开源流处理框架，所以我们会基于 Flink 来讲解这些例子。

2022-02-04

3990

Streaming 102:批处理之外的流式世界第二部分

windows 数据处理编程算法

欢迎回来！如果你错过了我之前的博文：Streaming 101:批处理之外的流式世界第一部分，我强烈建议你先花时间阅读这篇文章。在这篇文章介绍的内容是下面介绍内容的基础，并且当你阅读这篇文章时，我假设你已经熟悉第一篇文章中介绍的术语和概念了（有些东西在这篇文章不会详细介绍）。现在我们进入正题。先简要回顾一下，上篇文章我主要关注的三个方面：

2022-01-31

1.3K0

Streaming 101:批处理之外的流式世界第一部分

windows 编程算法数据处理分布式 serverless

尽管这些业务需求驱动了流式处理的发展，但与批处理相比，现有的流式处理系统仍然相对不成熟，这使得该领域最近产生了许多令人兴奋的发展。在本篇文章将会介绍一些基本的背景信息，再深入了解有关时间详细信息之前先明确饿一些术语的真实含义，并对批处理和流式处理的常用方法进行一些高层次的概述。

2022-01-25

5750

Flink SQL 如何定义时间属性

flink 大数据 windows 云推荐引擎 unix

本文将解释如何在 Flink 的 Table API 和 SQL 中为基于时间的操作定义时间属性。

2021-10-08

1.9K0

Lambda架构的质疑

数据处理 serverless hadoop windows

Nathan Marz 写了一篇非常受欢迎的博客文章，描述了 Lambda 架构（如何打破CAP定理）。Lambda 架构是一种在 MapReduce 和 Storm 或类似系统之上构建流处理应用程序的方法。

2020-01-05

2.1K0

Flink 动态表的持续查询

sql api 大数据 windows

越来越多的公司采用流处理，并将现有的批处理应用迁移到流处理，或者对新的用例采用流处理实现的解决方案。其中许多应用集中在流数据分析上，分析的数据流来自各种源，例如数据库事务、点击、传感器测量或IoT 设备。

2019-08-08

2.1K0

Flink1.4 窗口概述

编程算法 unix 大数据 windows java

Windows(窗口)是处理无限数据流的核心。窗口将流分解成有限大小的”桶”，在上面我们可以进行计算。本文将重点介绍 Flink 中的窗口，以及常见的窗口类型。

2019-08-07

1.2K0

Spark Streaming与Kafka如何保证数据零丢失

spark kafka zookeeper 缓存 windows

Spark Streaming 是一种构建在 Spark 上的实时计算框架，它扩展了 Spark 处理大规模流式数据的能力。Spark Streaming 的优势在于：

2019-08-07

7080

Spark UI 之 Streaming 标签页

windows spark socket编程

这篇博文将重点介绍为理解 Spark Streaming 应用程序而引入的新的可视化功能。我们已经更新了 Spark UI 中的 Streaming 标签页来显示以下信息：

2019-08-07

9060

Flink1.4 安装与启动

大数据 java scala windows

Flink 可以运行在 Linux, Mac OS X和Windows上。为了运行Flink, 唯一的要求是必须在Java 7.x (或者更高版本)上安装。Windows 用户, 请查看 Flink在Windows上的安装指南。

2019-08-07

7490

Stream 对于流处理技术的谬见

大数据 unix windows apache

我们在思考流处理问题上花了很多时间，更酷的是，我们也花了很多时间帮助其他人认识流处理，以及如何在他们的组织里应用流处理来解决数据问题。

2019-08-07

5460

Stream 主流流处理框架比较(1)

windows spark api 大数据

分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析。它跟MapReduce一样是一种通用计算，但我们期望延迟在毫秒或者秒级别。这类系统一般采用有向无环图（DAG）。

2019-08-07

1.4K0

Stream 主流流处理框架比较(2)

大数据 spark windows api

在上篇文章中，我们过了下基本的理论，也介绍了主流的流处理框架：Storm，Trident，Spark Streaming，Samza和Flink。今天咱们来点有深度的主题，比如，容错，状态管理或者性能。除此之外，我们也将讨论开发分布式流处理应用的指南，并给出推荐的流处理框架。

2019-08-07

1.5K0

Flink如何实现新的流处理应用第二部分:版本化状态

大数据 windows

这是我们关于 Flink 如何实现新的流处理应用系列中的第二篇博文。第一部分介绍了事件时间和乱序处理。

2019-08-07

7100

Flink 使用Flink进行高吞吐，低延迟和Exactly-Once语义流处理

大数据数据处理 windows apache

在本文中，我们将深入探讨Flink新颖的检查点机制是如何工作的，以及它是如何取代旧架构以实现流容错和恢复。我们在各种类型的流处理应用程序上对Flink性能进行测试，并通过在Apache Storm（一种广泛使用的低延迟流处理器）上运行相同的实验来进行对比。

2019-08-07

5.7K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态