首页
学习
活动
专区
工具
TVP
发布

SmartSi

专栏成员
270
文章
616699
阅读量
53
订阅数
State Processor API:如何读写和修改 Flink 应用程序的状态
无论是在生产环境中运行 Apache Flink 还是在调研 Apache Flink,总会遇到一个问题:如何读写以及更新 Flink Savepoint 中的状态?为了解决这个问题,在 Apache Flink 1.9.0 版本引入了 State Processor API,扩展 DataSet API 实现读写以及修改 Flink Savepoint 和 Checkpoint 中状态。
smartsi
2022-03-07
1.5K0
对流处理的误解
我们花了很多时间来思考流处理。更酷的是:我们也花了很多时间帮助其他人思考流处理以及如何使用流应用解决他们的数据问题。这个过程的第一步是纠正对现代流处理的误解(作为一个快速变化的领域,这里有很多误见值得我们思考)。在这篇文章中,我们选择了其中的 6 个进行讲解,由于 Apache Flink 是我们最熟悉的开源流处理框架,所以我们会基于 Flink 来讲解这些例子。
smartsi
2022-02-04
3990
Streaming 102:批处理之外的流式世界第二部分
欢迎回来!如果你错过了我之前的博文:Streaming 101:批处理之外的流式世界第一部分,我强烈建议你先花时间阅读这篇文章。在这篇文章介绍的内容是下面介绍内容的基础,并且当你阅读这篇文章时,我假设你已经熟悉第一篇文章中介绍的术语和概念了(有些东西在这篇文章不会详细介绍)。现在我们进入正题。先简要回顾一下,上篇文章我主要关注的三个方面:
smartsi
2022-01-31
1.3K0
Streaming 101:批处理之外的流式世界第一部分
尽管这些业务需求驱动了流式处理的发展,但与批处理相比,现有的流式处理系统仍然相对不成熟,这使得该领域最近产生了许多令人兴奋的发展。在本篇文章将会介绍一些基本的背景信息,再深入了解有关时间详细信息之前先明确饿一些术语的真实含义,并对批处理和流式处理的常用方法进行一些高层次的概述。
smartsi
2022-01-25
5730
Flink SQL 如何定义时间属性
本文将解释如何在 Flink 的 Table API 和 SQL 中为基于时间的操作定义时间属性。
smartsi
2021-10-08
1.9K0
Lambda架构的质疑
Nathan Marz 写了一篇非常受欢迎的博客文章,描述了 Lambda 架构(如何打破CAP定理)。Lambda 架构是一种在 MapReduce 和 Storm 或类似系统之上构建流处理应用程序的方法。
smartsi
2020-01-05
2.1K0
Flink 动态表的持续查询
越来越多的公司采用流处理,并将现有的批处理应用迁移到流处理,或者对新的用例采用流处理实现的解决方案。其中许多应用集中在流数据分析上,分析的数据流来自各种源,例如数据库事务、点击、传感器测量或IoT 设备。
smartsi
2019-08-08
2.1K0
Flink1.4 窗口概述
Windows(窗口)是处理无限数据流的核心。窗口将流分解成有限大小的”桶”,在上面我们可以进行计算。本文将重点介绍 Flink 中的窗口,以及常见的窗口类型。
smartsi
2019-08-07
1.2K0
Spark Streaming与Kafka如何保证数据零丢失
Spark Streaming 是一种构建在 Spark 上的实时计算框架,它扩展了 Spark 处理大规模流式数据的能力。Spark Streaming 的优势在于:
smartsi
2019-08-07
7070
Spark UI 之 Streaming 标签页
这篇博文将重点介绍为理解 Spark Streaming 应用程序而引入的新的可视化功能。我们已经更新了 Spark UI 中的 Streaming 标签页来显示以下信息:
smartsi
2019-08-07
9060
Flink1.4 安装与启动
Flink 可以运行在 Linux, Mac OS X和Windows上。为了运行Flink, 唯一的要求是必须在Java 7.x (或者更高版本)上安装。Windows 用户, 请查看 Flink在Windows上的安装指南。
smartsi
2019-08-07
7480
Stream 对于流处理技术的谬见
我们在思考流处理问题上花了很多时间,更酷的是,我们也花了很多时间帮助其他人认识流处理,以及如何在他们的组织里应用流处理来解决数据问题。
smartsi
2019-08-07
5460
Stream 主流流处理框架比较(1)
分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析。它跟MapReduce一样是一种通用计算,但我们期望延迟在毫秒或者秒级别。这类系统一般采用有向无环图(DAG)。
smartsi
2019-08-07
1.4K0
Stream 主流流处理框架比较(2)
在上篇文章中,我们过了下基本的理论,也介绍了主流的流处理框架:Storm,Trident,Spark Streaming,Samza和Flink。今天咱们来点有深度的主题,比如,容错,状态管理或者性能。除此之外,我们也将讨论开发分布式流处理应用的指南,并给出推荐的流处理框架。
smartsi
2019-08-07
1.5K0
Flink如何实现新的流处理应用第二部分:版本化状态
这是我们关于 Flink 如何实现新的流处理应用系列中的第二篇博文。第一部分介绍了事件时间和乱序处理。
smartsi
2019-08-07
7080
Flink 使用Flink进行高吞吐,低延迟和Exactly-Once语义流处理
在本文中,我们将深入探讨Flink新颖的检查点机制是如何工作的,以及它是如何取代旧架构以实现流容错和恢复。我们在各种类型的流处理应用程序上对Flink性能进行测试,并通过在Apache Storm(一种广泛使用的低延迟流处理器)上运行相同的实验来进行对比。
smartsi
2019-08-07
5.7K0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档