学习
实践
活动
工具
TVP
写文章

腾讯云流计算 Oceanus

大数据产品生态体系的实时化分析利器。
85 篇文章
122.3K 次阅读
166 人订阅
举报

全部文章

KyleMeow

腾讯云 · 高级工程师 (已认证)

腾讯云 Oceanus 在 MySQL CDC Connector 的核心优化

Apache Flink 作为流计算引擎,需要持续从上游接收数据流,并向下游输出最新的计算结果。Connector 起到承上启下的作用:Source 负责与上游...

13540
KyleMeow

腾讯云 · 高级工程师 (已认证)

Flink 非确定性更新(NDU)问题探索和规避

非确定性函数(Non-Deterministic Functions)一直是影响流处理系统状态匹配的梦魇。例如用户在定义源表时,某个虚拟列字段调用了 RAND(...

14620
KyleMeow

腾讯云 · 高级工程师 (已认证)

Flink JobManager 内存管理机制介绍与调优总结

我们知道,旧版本 Flink 的 JobManager 作为管理者,只承担着初始化和协调的任务,内存压力非常小,很少出现 OOM 等问题。

1K92
KyleMeow

腾讯云 · 高级工程师 (已认证)

Flink TaskManager 内存管理机制介绍与调优总结

Flink 的新版内存管理机制,要追溯到 2020 年初发布的 Flink 1.10 版本。当时 Flink 社区为了实现三大目标:

1.1K62
于乐

腾讯云 · 流计算 Oceanus (已认证)

Flink 实践教程:入门(12):元数据使用

流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点...

17240
代来

腾讯 · 后台研发工程师 (已认证)

实时数仓-Iceberg

互联网技术高速发展的背景下,数据已经成为各大公司的最宝贵资源之一。大数据领域经过近十年的高速发展,无论是离线计算还是实时计算、不管是数据仓库还是数据中台都已深入...

32730
于乐

腾讯云 · 流计算 Oceanus (已认证)

Flink 实践教程:入门(11):MongoDB Sink

流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点...

41840
姚琦

腾讯云 · 后台开发工程师 (已认证)

TDSQL-subscribe-connector最佳实践(上)

本文介绍了如何在 Oceanus 平台使用 tdsql-subscribe-connector 1 ,从 TDSQL-MySQL 订阅任务 2 创建,到 Oce...

211100
吴云涛

Flink Metrics&REST API 介绍和原理解析

一个监控系统对于每一个服务和应用基本上都是必不可少的。在 Flink 源码中监控相关功能主要在 flink-metrics 模块中,用于对 Flink 应用进行...

64652
吴云涛

Flink 实践教程:进阶11-SQL 关联:Regular Join

流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点...

33774
吴云涛

数据分析小结:使用流计算 Oceanus(Flink) SQL 作业进行数据类型转换

在这个数据爆炸的时代,企业做数据分析也面临着新的挑战, 如何能够更高效地做数据准备,从而缩短整个数据分析的周期,让数据更有时效性,增加数据的价值,就变得尤为重要...

41930
吴云涛

Flink 实践教程:入门10-Python作业的使用

流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点...

57681
KyleMeow

腾讯云 · 高级工程师 (已认证)

Flink SQL 双表 JOIN 介绍与原理简析

Flink 作为流式数据处理框架的领跑者,在吞吐量、时延、准确型、容错性等方面都有优异的表现。在 API 方面,它为用户提供了较底层的 DataStream A...

1.5K30
Andy_l

Flink Watermark 机制及总结

Flink 水印机制,简而言之,就是在 Flink 使用 Event Time 的情况下,窗口处理事件乱序和事件延迟的一种设计方案。本文从基本的概念入手,来看下...

34800
吴云涛

Flink 实践教程:进阶10-自定义聚合函数(UDAF)

流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点...

60762
吴云涛

Flink 实践教程:进阶9-自定义表值函数(UDTF)

流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点...

60840
于乐

腾讯云 · 流计算 Oceanus (已认证)

实时数仓:基于 Flink CDC 实现 Oracle 数据实时更新到 Kudu

Flink CDC 于 2021 年 11 月 15 日发布了最新版本 2.1,该版本通过引入内置 Debezium 组件,增加了对 Oracle 的支持。本方...

1.7K102
吴云涛

Flink 实践教程:进阶8-自定义标量函数(UDF)

流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点...

859140
吴云涛

腾讯云 AI 视觉产品基于流计算 Oceanus(Flink) 计费数据去重尝试

AI 视觉产品在我们腾讯云-人工智能的产品目录下,包括人脸识别、人脸特效、人脸核身、图像识别、文字识别等。 流计算 Oceanus 在腾讯云-大数据的产品目录...

15540
吴云涛

腾讯云流计算 Oceanus Connector 使用示例汇总

各位老铁,刚刚总结了流计算 Oceanus (Flink) 上下游 Connector 的使用示例,作为新年福利送给大家。

54130

扫码关注腾讯云开发者

领取腾讯云代金券