腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

SmartSi

专栏作者

270

文章

583589

阅读量

53

订阅数

Flink SourceFunction 初了解

unix flink 编程算法大数据文件存储

SourceFunction 是 Flink 中所有流数据 Source 的基本接口。SourceFunction 接口继承了 Function 接口，并在内部定义了数据读取使用的 run() 方法、取消运行的 cancel() 方法以及 SourceContext 内部接口：

2022-03-08

1.9K0

Flink State TTL 详解

unix flink 大数据文件存储

在某些场景下 Flink 用户状态一直在无限增长，一些用例需要能够自动清理旧的状态。例如，作业中定义了超长的时间窗口，或者在动态表上应用了无限范围的 GROUP BY 语句。此外，目前开发人员需要自己完成 TTL 的临时实现，例如使用可能不节省存储空间的计时器服务。还有一个比较重要的点是一些法律法规也要求必须在有限时间内访问数据。

2022-03-02

3K0

Flink 如何现实新的流处理应用第一部分:事件时间与无序处理

flink 大数据数据处理 unix 编程算法

流数据处理正处于蓬勃发展中，可以提供更实时的数据以实现更好的数据洞察，同时从数据中进行分析的流程更加简化。在现实世界中数据生产是一个连续不断的过程(例如，Web服务器日志，移动应用程序中的用户活跃，数据库事务或者传感器读取的数据)。正如其他人所指出的，到目前为止，大部分数据架构都是建立在数据是有限的、静态的这样的基本假设之上。为了缩减连续数据生产和旧”批处理”系统局限性之间的这一根本差距，引入了复杂而脆弱(fragile)的端到端管道。现代流处理技术通过以现实世界事件产生的形式对数据进行建模和处理，从而减轻了对复杂解决方案的依赖。

2022-01-18

8140

Redis 深入了解键的过期时间

数据库 sql unix 云数据库 Redis

在实际开发中经常会遇到一些有时效的数据，比如，限时优惠活动，缓存或验证码等，过了一定时间就需要删除这些数据。在关系性数据库中一般需要额外的一个字段记录到期时间，然后定期检测删除过期数据。在 Redis 中提供了键的过期时间这个功能来解决这个问题。通过这个功能，可以让特定的键在指定的时间之后自动删除，而不需要手动执行删除操作。

2021-11-18

1.7K0

Flink SQL 如何定义时间属性

flink 大数据 windows 云推荐引擎 unix

本文将解释如何在 Flink 的 Table API 和 SQL 中为基于时间的操作定义时间属性。

2021-10-08

1.7K0

Kafka Connect JDBC Source MySQL 增量同步

网站 kafka unix jdbc

上一篇文章 Kafka Connect JDBC Source MySQL 全量同步中，我们只是将整个表数据导入 Kafka。这对于获取数据快照很有用，但并不是所有场景都需要批量全部同步，有时候我们可能想要获取自上次之后发生的变更以实现增量同步。JDBC Connector 提供了这样的能力，将表中自上次轮询以来发生更改的行流式传输到 Kafka 中。可以基于递增的列（例如，递增的主键）或者时间戳列（例如，上次更新的时间戳）来进行操作。Kafka Connect JDBC Source 提供了三种增量同步模式：

2021-09-26

3.9K0

Flink 窗口剔除器 Evictor

flink 大数据 unix

除了 WindowAssigner 和 Trigger 之外，Flink 的窗口模型还允许指定一个可选的 Evictor。Evictor 提供了在使用 WindowFunction 之前或者之后从窗口中删除元素的能力。为此，Evictor 接口提供了两个方法：

2021-09-08

2.2K0

Flink 状态TTL如何限制状态的生命周期

flink 大数据 apache 存储 unix

很多有状态流应用程序的常见需求是能够控制应用程序状态的访问时长以及何时删除它。这篇文章介绍了在 1.6.0 版本添加到 Flink 的状态生命周期时间（TTL）功能。

2021-06-29

1.7K0

Flink 定时器的4个特性

flink 大数据 unix 编程算法

本文介绍了在 Flink 中使用定时器的一些基本概念和注意事项。开发人员可以使用 Flink 的 ProcessFunction 算子来注册自己的定时器，该算子可以访问流应用程序的一些基本构建块，例如：

2021-06-17

1.9K0

HBase Java Client API

hbase TDSQL MySQL 版 api http unix

在这篇文章中，我们看一下 HBase Java 客户端 API 如何使用。HBase 用 Java 编写，并提供 Java API 与之通信。客户端 API 提供了DDL（数据定义语言）和DML（数据操作语言）语义，这与我们在关系数据库中的语义非常相似。因此，我们学习一下如何使用 HBase 的 Java 客户端 API 对 HBase 表进行 CRUD 操作。

2020-02-12

2.2K0

了解HBase与BigTable

hbase TDSQL MySQL 版分布式 unix 数据库

在学习HBase（Google BigTable 的开源实现）的时候，我们面临的最为困难的地方就是需要你重构你的思路来理解 BigTable 的概念。

2019-11-27

1.8K0

OpenTSDB 底层 HBase 的 Rowkey 是如何设计的

hbase TDSQL MySQL 版 unix 存储

OpenTSDB 是基于 HBase 的可扩展、开源时间序列数据库(Time Series Database)，可以用于存储监控数据、物联网传感器、金融K线等带有时间的数据。它的特点是能够提供最高毫秒级精度的时间序列数据存储，能够长久保存原始数据并且不失精度。它拥有很强的数据写入能力，支持大并发的数据写入，并且拥有可无限水平扩展的存储容量。目前，阿里云 HBase 产品是直接支持 OpenTSDB 组件的。

2019-11-27

2K0

Flink1.4 窗口概述

编程算法 unix 大数据 windows java

Windows(窗口)是处理无限数据流的核心。窗口将流分解成有限大小的”桶”，在上面我们可以进行计算。本文将重点介绍 Flink 中的窗口，以及常见的窗口类型。

2019-08-07

1.2K0

Flink1.4 事件时间与处理时间

unix processing 大数据编程算法

Processing Time(处理时间)是指执行相应操作机器的系统时间(Processing time refers to the system time of the machine that is executing the respective operation.)。

2019-08-07

1.6K0

Linux rsync命令使用指南

unix ubuntu ssh linux shell

rsync 命令是一个远程数据同步工具，可通过 LAN/WAN 快速同步多台主机间的文件。rsync 使用所谓的 “rsync算法” 来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。rsync 是一个功能非常强大的工具，其命令也有很多功能特色选项。

2019-08-07

1.4K0

Linux rsync配置指南

unix ubuntu linux 编程算法

rsync 命令是一个远程数据同步工具，可通过 LAN/WAN 快速同步多台主机间的文件。rsync 使用所谓的 “rsync算法” 来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。rsync 是一个功能非常强大的工具，其命令也有很多功能特色选项。

2019-08-07

3.9K0

Flink1.4 窗口触发器与Evictors

触发器(Trigger)决定了窗口(请参阅窗口概述)博文)什么时候使用窗口函数处理窗口内元素。每个窗口分配器都带有一个默认的触发器。如果默认触发器不能满足你的要求，可以使用 trigger(...) 指定自定义的触发器。

2019-08-07

1.4K0

Flink1.4 内置的时间戳提取器和Watermark生成器

unix scala java kafka 大数据

如Flink1.4 生成时间戳与Watermarks所介绍的，Flink提供了一个抽象类，允许程序员可以分配自己的时间戳并发送Watermark。更具体地说，可以通过AssignerWithPeriodicWatermarks或AssignerWithPunctuatedWatermarks接口来实现，具体实现取决于用户具体情况。第一个接口将周期性的发送Watermark，第二个则基于传入记录的某些属性发送Watermark，例如，当在流中遇到特殊元素时。

2019-08-07

1.2K0

Flink1.4 图解Watermark

如果你正在构建实时流处理应用程序，那么事件时间处理是你迟早必须使用的功能之一。因为在现实世界的大多数用例中，消息到达都是无序的，应该有一些方法，通过你建立的系统知道消息可能延迟到达，并且有相应的处理方案。在这篇博文中，我们将看到为什么我们需要事件时间处理，以及我们如何在ApacheFlink中使用它。

2019-08-07

9240

Flink1.4 生成时间戳与Watermarks

unix kafka scala java

本节适用于在事件时间上运行的程序。有关事件时间，处理时间和提取时间的介绍，请参阅Flink1.4 事件时间与处理时间。

2019-08-07

2.1K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态