KyleMeow

LV2
  • 原创分享签约作者

发表了文章

Flink JVM 内存超限的分析方法总结

前段时间,某客户的大作业(并行度 200 左右)遇到了 TaskManager JVM 内存超限(实际内存用量 4.1G > 容器设定的最大阈值 4.0G),被...

KyleMeow
Flink流计算 Oceanus
发表了文章

穿越迷雾:一次多组件超时的 Flink 崩溃定位小记

上周四下午,告警系统突然提示某位大客户的作业频繁发生崩溃和重启,现象是作业运行起来 2 分钟左右,JobManager 就发现有 TaskManager 心跳失...

KyleMeow
流计算 OceanusFlink
发表了文章

Flink 快照分析:定位大状态和数据倾斜的算子

在 Flink 作业中,无论是 SQL 还是 JAR 模式,常常会直接或者间接地使用到状态(State)。当 Flink 进行快照时,用户定义的这些状态数据可以...

KyleMeow
流计算 OceanusFlink
发表了文章

Flink CDC 原理、实践和优化

CDC 是变更数据捕获(Change Data Capture)技术的缩写,它可以将源数据库(Source)的增量变动记录,同步到一个或多个数据目的(Sink)...

KyleMeow
流计算 OceanusFlink
发表了文章

Flink 常见问题定位指南

流计算作业通常运行时间长,数据吞吐量大,且对时延较为敏感。但实际运行中,Flink 作业可能因为各种原因出现吞吐量抖动、延迟高、快照失败等突发情况,甚至发生崩溃...

KyleMeow
流计算 OceanusFlink
发表了文章

修复 Flink Kubernetes 资源分配慢 兼谈如何贡献开源社区

近期我们发现 Kubernetes 环境下的 Flink 集群有个奇怪的现象:在算子并行度较大(例如超过 50)时,Flink 的 TaskManager 注册...

KyleMeow
流计算 OceanusFlink
发表了文章

Too old resource version 引起 Flink JobManager 崩溃的问题定位

近期接到客户反馈,某地域的作业不定期的出现 JobManager 崩溃重启的问题。具体现象如下:

KyleMeow
流计算 OceanusFlink
发表了文章

Flink SQL 自定义函数指南 - 以读取 GBK 编码的数据库为例

近期我们遇到了一位客户提出的问题:MySQL 建表时,数据库表定义的字符集是 latin1,里面的数据是以 GBK 编码的方式写入的。当 Flink 的 JDB...

KyleMeow
流计算 OceanusFlink
发表了文章

从一个诡异的 Bug 来看 Flink 快照和状态读取的流程

流计算 Oceanus 平台支持以 SQL 的方式提交作业,独享集群支持最新的 Flink 1.10 提供的新版 Blink Planner 语法。有一位客户写...

KyleMeow
流计算 OceanusFlink
发表了文章

Spillable StateBackend 之 SpillAndLoadManager 源码注解

在前文中,我们介绍了 Spillable Backend 及其 HeapStatusMonitor 的工作原理和不足。今天我们来看一下 Spillable Ba...

KyleMeow
流计算 OceanusFlink
发表了文章

Spillable StateBackend 之 HeapStatusMonitor 解析

Flink 社区的 Spillable Backend 特性,社区经过了大半年的开发,目前已经放出了预览版可供体验。

KyleMeow
流计算 OceanusFlink
发表了文章

一次 Javac 编译速度缓慢的 JDK Bug 定位

Flink 提供了从 Tuple0 ~ Tuple25 的 Tuple 类供用户选择,顾名思义,每个 Tuple 对象分别可以存储 0 个 ~ 25 个任意类型...

KyleMeow
流计算 OceanusFlink
发表了文章

Flink on RocksDB 参数调优指南

对于需要保存超大状态(远超于内存容量)的流计算场景来说,目前 RocksDB [1] 是 Flink 平台上官方实现的唯一选择。业界也有使用 Redis 等其他...

KyleMeow
流计算 OceanusFlink
发表了文章

主用户为子用户添加流计算 Oceanus 授权策略指南

流计算 Oceanus 的云 API 已经启用 CAM 服务级鉴权。默认情况下,所有主账号(也成为主用户)均有 QcloudOceanusFullAccess ...

KyleMeow
流计算 OceanusFlink
发表了文章

Spill-able Heap Keyed State Backend 设计概览

Flink 在流式数据处理方面的能力非常强大,尤其值得一提的是它对带状态的流计算作业的支持度。它支持 Operator 和 Keyed 两类状态存储结构,其中后...

KyleMeow
流计算 OceanusFlink
发表了文章

Flink SQL 状态越来越多?Idle State Retention Time 特性概览

在上一篇文章中,介绍了 Flink State TTL 机制,这项机制对于应对通用的状态暴增特别有效。然而,这个特性也有其缺陷,例如不能保证一定可以及时清理掉失...

KyleMeow
流计算 OceanusFlink
发表了文章

如何应对飞速增长的状态?Flink State TTL 概述

在流计算作业中,经常会遇到一些状态数不断累积,导致状态量越来越大的情形。例如,作业中定义了超长的时间窗口,或者在动态表上应用了无限范围的 GROUP BY 语句...

KyleMeow
流计算 OceanusFlink
订阅了专栏

大数据成神之路

专注大数据领域的一切技术~

520 文章220 关注者
关注了用户

王知无-import_bigdata

专注大数据技术与架构。从0帮助Javaer迅速进入大数据开发领域~

522 文章0 回答294 关注者
关注了用户

腾讯云中间件团队

112 文章13 回答120 关注者

个人简介

个人成就

  • 影响力总排行第 888 名
  • 原创分享签约作者
    • 原创分享签约作者

  • 获得 133 次赞同
  • 文章被阅读 38.7K 次
  • 文章获得 1 次首页推荐

扫码关注云+社区

领取腾讯云代金券