Raigor的大数据专栏-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Raigor的大数据专栏

专栏成员

3

文章

4445

阅读量

4

订阅数

专家带你吃透 Flink 架构：一个新版 Connector 的实现

flink 流计算 Oceanus

Flink 可以说已经是流计算领域的事实标准，其开源社区发展迅速，提出了很多改进计划（Flink Improvement Proposals，简称 FLIP）并不断迭代，几乎每个新的版本在功能、性能和使用便捷性上都有所提高。Flink 提供了丰富的数据连接器（connecotr）来连接各种数据源，内置了 kafka、jdbc、hive、hbase、elasticsearch、file system 等常见的 connector，此外 Flink 还提供了灵活的机制方便开发者开发新的 connector。对于 source connector 的开发，有基于传统的 SourceFunction 的方式和基于 Flink 改进计划 FLIP-27 的 Source 新架构的方式。本文首先介绍基于 SourceFunction 方式的不足，接着介绍 Source 新架构以及其设计上的深层思考，然后基于 Flink 1.13 ，以从零开发一个简单的 FileSource connector 为例，介绍开发 source connector 的基本要素，尽量做到理论与实践相结合，加深大家的理解。

2021-12-06

8760

Oceanus 实践-消费 CMQ 主题模型数据源

sql 消息队列 CMQ 版私有网络

Oceanus Flink CMQ connector 支持队列模型的数据源表和目的表，暂时不支持主题模型数据源表和目的表。CMQ 主题订阅可以实时同步主题模型数据到队列模型，借助这种机制，我们可以在 Oceanus 实现 CMQ 主题模型数据源表的读取。

2021-08-06

9260

ClickHouse数据导入实战：HDFS篇

弹性 MapReduce

在生产环境，经常遇到将HDFS上的数据导入ClickHouse集群的场景。本文介绍导入的详细步骤。

2020-03-24

2.6K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态