学习
实践
活动
专区
工具
TVP
写文章

KyleMeow

LV2
  • 《技思广益 · 腾讯技术人原创集》签约作者

举报
发表了文章

腾讯云 Oceanus 在 MySQL CDC Connector 的核心优化

Apache Flink 作为流计算引擎,需要持续从上游接收数据流,并向下游输出最新的计算结果。Connector 起到承上启下的作用:Source 负责与上游...

KyleMeow
流计算 OceanusFlink
发表了文章

Flink 非确定性更新(NDU)问题探索和规避

非确定性函数(Non-Deterministic Functions)一直是影响流处理系统状态匹配的梦魇。例如用户在定义源表时,某个虚拟列字段调用了 RAND(...

KyleMeow
流计算 Oceanus
发表了文章

Flink JobManager 内存管理机制介绍与调优总结

我们知道,旧版本 Flink 的 JobManager 作为管理者,只承担着初始化和协调的任务,内存压力非常小,很少出现 OOM 等问题。

KyleMeow
Flink流计算 Oceanus
发表了文章

Flink TaskManager 内存管理机制介绍与调优总结

Flink 的新版内存管理机制,要追溯到 2020 年初发布的 Flink 1.10 版本。当时 Flink 社区为了实现三大目标:

KyleMeow
流计算 OceanusFlink
发表了文章

Flink SQL 双表 JOIN 介绍与原理简析

Flink 作为流式数据处理框架的领跑者,在吞吐量、时延、准确型、容错性等方面都有优异的表现。在 API 方面,它为用户提供了较底层的 DataStream A...

KyleMeow
Flink流计算 Oceanus
发表了文章

Log4j 远程代码执行漏洞对 Flink 的影响和修复方案

为了了解这个 CVE-2021-44228 漏洞的影响,首先需要掌握一些 Java 概念。RMI 全称为 Remote Method Invocation,是 ...

KyleMeow
流计算 OceanusFlink
发表了文章

检测 JVM 自身物理内存用量(RSS)的小技巧

Flink 的 TaskManager 进程运行在 JVM 上,目前流计算 Oceanus 容器给定的内存上限是 4GB,如果超用就会被管控服务执行 OOMKi...

KyleMeow
流计算 OceanusFlink
发表了文章

【流计算 Oceanus】巧用 Flink 实现高性能 ClickHouse 实时数仓

Apache Flink 是流式计算处理领域的领跑者。它凭借易用、高吞吐、低延迟、丰富的算子和原生状态支持等优势,多方位领先同领域的开源竞品。

KyleMeow
流计算 Oceanus云数据仓库 ClickHouseFlink
发表了文章

Flink JVM 内存超限的分析方法总结

前段时间,某客户的大作业(并行度 200 左右)遇到了 TaskManager JVM 内存超限(实际内存用量 4.1G > 容器设定的最大阈值 4.0G),被...

KyleMeow
Flink流计算 Oceanus
发表了文章

穿越迷雾:一次多组件超时的 Flink 崩溃定位小记

上周四下午,告警系统突然提示某位大客户的作业频繁发生崩溃和重启,现象是作业运行起来 2 分钟左右,JobManager 就发现有 TaskManager 心跳失...

KyleMeow
流计算 OceanusFlink
发表了文章

Flink 快照分析:定位大状态和数据倾斜的算子

在 Flink 作业中,无论是 SQL 还是 JAR 模式,常常会直接或者间接地使用到状态(State)。当 Flink 进行快照时,用户定义的这些状态数据可以...

KyleMeow
流计算 OceanusFlink
发表了文章

Flink CDC 原理、实践和优化

CDC 是变更数据捕获(Change Data Capture)技术的缩写,它可以将源数据库(Source)的增量变动记录,同步到一个或多个数据目的(Sink)...

KyleMeow
流计算 OceanusFlink
发表了文章

Flink 常见问题定位指南

流计算作业通常运行时间长,数据吞吐量大,且对时延较为敏感。但实际运行中,Flink 作业可能因为各种原因出现吞吐量抖动、延迟高、快照失败等突发情况,甚至发生崩溃...

KyleMeow
流计算 OceanusFlink
发表了文章

修复 Flink Kubernetes 资源分配慢 兼谈如何贡献开源社区

近期我们发现 Kubernetes 环境下的 Flink 集群有个奇怪的现象:在算子并行度较大(例如超过 50)时,Flink 的 TaskManager 注册...

KyleMeow
流计算 OceanusFlink
发表了文章

Too old resource version 引起 Flink JobManager 崩溃的问题定位

近期接到客户反馈,某地域的作业不定期的出现 JobManager 崩溃重启的问题。具体现象如下:

KyleMeow
流计算 OceanusFlink
发表了文章

Flink SQL 自定义函数指南 - 以读取 GBK 编码的数据库为例

近期我们遇到了一位客户提出的问题:MySQL 建表时,数据库表定义的字符集是 latin1,里面的数据是以 GBK 编码的方式写入的。当 Flink 的 JDB...

KyleMeow
流计算 OceanusFlink
发表了文章

从一个诡异的 Bug 来看 Flink 快照和状态读取的流程

流计算 Oceanus 平台支持以 SQL 的方式提交作业,独享集群支持最新的 Flink 1.10 提供的新版 Blink Planner 语法。有一位客户写...

KyleMeow
流计算 OceanusFlink
发表了文章

Spillable StateBackend 之 SpillAndLoadManager 源码注解

在前文中,我们介绍了 Spillable Backend 及其 HeapStatusMonitor 的工作原理和不足。今天我们来看一下 Spillable Ba...

KyleMeow
流计算 OceanusFlink
发表了文章

Spillable StateBackend 之 HeapStatusMonitor 解析

Flink 社区的 Spillable Backend 特性,社区经过了大半年的开发,目前已经放出了预览版可供体验。

KyleMeow
流计算 OceanusFlink
发表了文章

一次 Javac 编译速度缓慢的 JDK Bug 定位

Flink 提供了从 Tuple0 ~ Tuple25 的 Tuple 类供用户选择,顾名思义,每个 Tuple 对象分别可以存储 0 个 ~ 25 个任意类型...

KyleMeow
流计算 OceanusFlink

个人简介

个人成就

  • 影响力总排行第 317 名
  • 《技思广益 · 腾讯技术人原创集》签约作者
    • 《技思广益 · 腾讯技术人原创集》签约作者

  • 获得 198 次赞同
  • 文章被阅读 87.2K 次
  • 文章获得 5 次首页推荐

扫码关注腾讯云开发者

领取腾讯云代金券