smartsi

LV1
发表了文章

Kafka Connect 如何构建实时数据管道

Kafka Connect 旨在通过将数据移入和移出 Kafka 进行标准化,以更轻松地构建大规模的实时数据管道。我们可以使用 Kafka Connector ...

smartsi
发表了文章

Flink 窗口剔除器 Evictor

除了 WindowAssigner 和 Trigger 之外,Flink 的窗口模型还允许指定一个可选的 Evictor。Evictor 提供了在使用 Wind...

smartsi
发表了文章

Debezium 初了解

在研究 Flink CDC 时,其中涉及了 Debezium,便决定研究一下 Debezium。这篇文章简单介绍了 Debezium 是什么,以及它的架构和特性...

smartsi
发表了文章

Flink 管理大型状态之增量 Checkpoint

Apache Flink 是一个有状态的流处理框架。什么是流处理应用程序的状态呢?你可以理解状态为应用程序算子中的内存。状态在流计算很多复杂场景中非常重要,比如...

smartsi
发表了文章

Flink 使用 Broadcast State 的4个注意事项

在 Apache Flink 1.5.0 中引入了广播状态(Broadcast State)。本文将描述什么是广播状态模式,广播状态与其他的 Operator ...

smartsi
发表了文章

Flink中可查询状态是如何工作的

QueryableStates 允许用户对流的内部状态进行实时查询,而无需将结果存储到任何外部存储中。 这制造了许多有趣的可能,因为我们不再需要等待系统写入外部...

smartsi
发表了文章

Flink 状态TTL如何限制状态的生命周期

很多有状态流应用程序的常见需求是能够控制应用程序状态的访问时长以及何时删除它。这篇文章介绍了在 1.6.0 版本添加到 Flink 的状态生命周期时间(TTL)...

smartsi
发表了文章

Flink SQL 客户端如何使用

Flink 的 Table & SQL API 可以处理 SQL 语言编写的查询语句,但是这些查询需要嵌入用 Java 或 Scala 编写的 Table 程序...

smartsi
订阅了专栏

腾讯云流计算 Oceanus

大数据产品生态体系的实时化分析利器。

36 文章84 关注者
发表了文章

<转>Calcite SQL 形式化语言:关系代数

关系代数是一种过程化查询语言。它包括一个运算的集合,这些运算以一个或两个关系为输入,产生一个新的关系作为结果。关系代数的基本运算有:

smartsi
发表了文章

<转>Flink SQL TableEnvironment 如何选择

本文为 Flink SQL 系列文章的第二篇,前面对 Flink 1.9 Table 新架构及 Planner 的使用进行了详细说明,本文详细讲解 5 个 Ta...

smartsi
发表了文章

Flink 定时器的4个特性

本文介绍了在 Flink 中使用定时器的一些基本概念和注意事项。开发人员可以使用 Flink 的 ProcessFunction 算子来注册自己的定时器,该算子...

smartsi
发表了文章

Flink DataStream 如何实现双流Join

在离线 Hive 中,我们经常会使用 Join 进行多表关联。那么在实时中我们应该如何实现两条流的 Join 呢?Flink DataStream API 为我...

smartsi
发表了文章

Flink 窗口之Window机制

数据分析场景见证了批处理到流处理的演变过程。尽管批处理可以作为流处理的一种特殊情况来处理,但分析永无止境的流数据通常需要转变一种思维方式,并使用它自己的专门术语...

smartsi
发表了文章

为什么要使用Presto

在本文中我们讨论下你可能已经遇到过的关于数据大规模增长的问题,以及数据被忽略的价值。Presto 是处理所有数据并通过结构化查询语言(SQL)提供行之有效工具的...

smartsi
发表了文章

Solr 安装与部署

需要 Java Runtime Environment(JRE)1.8 版本或更高版本。如下所示,在命令行中检查 Java 版本:

smartsi
发表了文章

大数据组件安装指南

smartsi
发表了文章

Flink Savepoints和Checkpoints的3个不同点

在本文中,我们将解释什么是 Savepoint,什么会使用它们,并就它们与 Checkpoint 的区别进行对比分析。

smartsi
发表了文章

Flink 从Checkpoint中恢复作业

如果我们的任务已经执行很长时间,突然遇到故障停止,那么中间过程处理结果就会全部丢失,重启后需要重新从上一次开始的位置消费,这会花费我们很长的时间。这种结局显示我...

smartsi
发表了文章

Flink监控检查点

Flink的 Web 页面中提供了一些页面标签,用于监控作业的检查点。这些监控统计信息即使在作业终止后也可以看到。Checkpoints 监控页面共有四个不同的...

smartsi

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券