腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

SmartSi

专栏作者

270

文章

586694

阅读量

53

订阅数

Flink SourceFunction 初了解

unix flink 编程算法大数据文件存储

SourceFunction 是 Flink 中所有流数据 Source 的基本接口。SourceFunction 接口继承了 Function 接口，并在内部定义了数据读取使用的 run() 方法、取消运行的 cancel() 方法以及 SourceContext 内部接口：

2022-03-08

1.9K0

State Processor API：如何读写和修改 Flink 应用程序的状态

api flink 大数据编程算法 windows

无论是在生产环境中运行 Apache Flink 还是在调研 Apache Flink，总会遇到一个问题：如何读写以及更新 Flink Savepoint 中的状态？为了解决这个问题，在 Apache Flink 1.9.0 版本引入了 State Processor API，扩展 DataSet API 实现读写以及修改 Flink Savepoint 和 Checkpoint 中状态。

2022-03-07

1.4K0

Flink SQL Kafka Connector

kafka node.js 文件存储编程算法 flink

Kafka Connector 提供了从 Kafka topic 中消费和写入数据的能力。

2022-02-22

4.6K0

Debezium 1.9.0.Alpha2 正式发布

oracle 云数据库 Redis kafka 编程算法

我很高兴宣布 Debezium 1.9 系列的第二个版本，1.9.0.Alpha2 正式发布。此版本包含了对 Oracle 21c 的支持、围绕 Redis for Debezium Server 的改进、配置 kafka.query.timeout.ms 参数以及围绕 DDL 解析器、构建基础架构等的许多 Bug 修复。整体来说，在此版本修复了 51 个问题。让我们一起看看其中的一些亮点。

2022-02-22

8350

Debezium 1.9.0.Alpha1 正式发布

oracle 编程算法

我很高兴宣布 Debezium 1.9 系列的第一个版本 1.9.0.Alpha1 正式发布。这是新的一年来的第一个新版本！Debezium 1.9.0.Alpha1 版本包含大量修复和改进，最显着的是改进了指标以及提供对 Oracle ROWID 数据类型的支持。

2022-02-04

5860

Streaming 102:批处理之外的流式世界第二部分

windows 数据处理编程算法

欢迎回来！如果你错过了我之前的博文：Streaming 101:批处理之外的流式世界第一部分，我强烈建议你先花时间阅读这篇文章。在这篇文章介绍的内容是下面介绍内容的基础，并且当你阅读这篇文章时，我假设你已经熟悉第一篇文章中介绍的术语和概念了（有些东西在这篇文章不会详细介绍）。现在我们进入正题。先简要回顾一下，上篇文章我主要关注的三个方面：

2022-01-31

1.2K0

Streaming 101:批处理之外的流式世界第一部分

windows 编程算法数据处理分布式 serverless

尽管这些业务需求驱动了流式处理的发展，但与批处理相比，现有的流式处理系统仍然相对不成熟，这使得该领域最近产生了许多令人兴奋的发展。在本篇文章将会介绍一些基本的背景信息，再深入了解有关时间详细信息之前先明确饿一些术语的真实含义，并对批处理和流式处理的常用方法进行一些高层次的概述。

2022-01-25

4980

Flink 如何现实新的流处理应用第一部分:事件时间与无序处理

flink 大数据数据处理 unix 编程算法

流数据处理正处于蓬勃发展中，可以提供更实时的数据以实现更好的数据洞察，同时从数据中进行分析的流程更加简化。在现实世界中数据生产是一个连续不断的过程(例如，Web服务器日志，移动应用程序中的用户活跃，数据库事务或者传感器读取的数据)。正如其他人所指出的，到目前为止，大部分数据架构都是建立在数据是有限的、静态的这样的基本假设之上。为了缩减连续数据生产和旧”批处理”系统局限性之间的这一根本差距，引入了复杂而脆弱(fragile)的端到端管道。现代流处理技术通过以现实世界事件产生的形式对数据进行建模和处理，从而减轻了对复杂解决方案的依赖。

2022-01-18

8210

Flink 使用 Broadcast State 的4个注意事项

flink 大数据编程算法

在 Apache Flink 1.5.0 中引入了广播状态（Broadcast State）。本文将描述什么是广播状态模式，广播状态与其他的 Operator State 有什么区别，最后说明一下在 Flink 中使用该功能时需要考虑的一些重要注意事项。

2021-07-07

1.9K0

Flink 定时器的4个特性

flink 大数据 unix 编程算法

本文介绍了在 Flink 中使用定时器的一些基本概念和注意事项。开发人员可以使用 Flink 的 ProcessFunction 算子来注册自己的定时器，该算子可以访问流应用程序的一些基本构建块，例如：

2021-06-17

2K0

Flink 窗口之Window机制

flink 大数据 api apache 编程算法

数据分析场景见证了批处理到流处理的演变过程。尽管批处理可以作为流处理的一种特殊情况来处理，但分析永无止境的流数据通常需要转变一种思维方式，并使用它自己的专门术语，例如，窗口、At-Least-Once 或者 Exactly-Once 处理语义。

2021-02-04

1.3K0

Flink Savepoints和Checkpoints的3个不同点

flink 大数据 apache 编程算法腾讯云测试服务

在本文中，我们将解释什么是 Savepoint，什么会使用它们，并就它们与 Checkpoint 的区别进行对比分析。

2020-12-29

3.3K0

构建Flink第一个应用程序

flink 大数据 maven socket编程编程算法

Flink 可以运行在 Linux、Mac 以及 Windows 上。在这我们使用的是 Mac 系统。为了开发 Flink 应用程序，需要提前安装 Java 和 Maven 环境。

2020-09-22

8440

Bitmap用户分群在贝壳DMP的实践和应用

编程算法 hive 存储 sql 数据库

DMP数据管理平台是实现用户精细化运营和和全生命周期运营的的基础平台之一。贝壳找房从2018年5月开始建设自己的DMP平台，提供了用户分群、消息推送、人群洞察等能力。关于贝壳DMP架构的介绍可参考文章：DMP平台在贝壳的实践和应用。

2020-08-24

4.8K1

javascript 网站编程算法

每个 Presto 服务都会提供一个 Web 界面，通常称为 Presto Web UI。可以使用与 Presto 服务器相同地址和 HTTP 端口号来访问 Presto Web UI。默认情况下，端口为 8080。例如，http://presto.example.com:8080。Presto Web UI 可在每个 Presto 的 Coordinator 上访问，并可用于检查和监控 Presto 集群以及已处理的查询。

2020-08-04

5.6K0

Presto 核心数据结构：Slice、Page、Block

编程算法文件存储 utf8 数据结构

在 Presto 中，我们需要了解一些非常重要的数据结构，例如，Slice，Block 以及 Page，下面将介绍这些数据结构。

2020-07-06

2.5K0

Redis中Scan命令的基本用法

云数据库 Redis 数据库 sql 编程算法

SCAN 命令以及比较相近的 SSCAN、HSCAN 和 ZSCAN 命令都用于增量迭代数据集元素：

2019-12-17

5.6K0

Storm UI REST API

编程算法 api

Storm UI 守护进程提供了 REST API, 允许我们与 Storm 集群进行交互, 其中包括查看指标数据，配置信息以及启动或停止拓扑的管理操作。REST API 结果以 JSON 形式返回。

2019-11-28

1.9K0

图解CAP定理

分布式编程算法

CAP 定理是分布式系统中的一个重要的基本定理，指出任何分布式系统最多只能具有以下三个属性中的其中两个：

2019-11-27

5880

HBase RowKey 设计

编程算法 hbase TDSQL MySQL 版数据库 sql

HBase中 RowKey 用来唯一标识一行记录。在 HBase 中检索数据有以下三种方式：

2019-11-26

1.6K0

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态