KyleMeow

LV2
  • 原创分享资深作者

技术专栏

腾讯云流计算 Oceanus

大数据产品生态体系的实时化分析利器。

53 文章107 关注者

全部文章

  • 巧用 Flink 构建高性能 ClickHouse 实时数仓

    Apache Flink 是流式计算处理领域的领跑者。它凭借易用、高吞吐、低延迟、丰富的算子和原生状态支持等优势,多方位领先同领域的开源竞品。

    KyleMeow
    流计算 Oceanus云数据仓库 ClickHouseFlink
  • 从一个诡异的 Bug 来看 Flink 快照和状态读取的流程

    流计算 Oceanus 平台支持以 SQL 的方式提交作业,独享集群支持最新的 Flink 1.10 提供的新版 Blink Planner 语法。有一位客户写...

    KyleMeow
    流计算 OceanusFlink
  • 如何应对飞速增长的状态?Flink State TTL 概述

    在流计算作业中,经常会遇到一些状态数不断累积,导致状态量越来越大的情形。例如,作业中定义了超长的时间窗口,或者在动态表上应用了无限范围的 GROUP BY 语句...

    KyleMeow
    流计算 OceanusFlink
  • Flink SQL 状态越来越多?Idle State Retention Time 特性概览

    在上一篇文章中,介绍了 Flink State TTL 机制,这项机制对于应对通用的状态暴增特别有效。然而,这个特性也有其缺陷,例如不能保证一定可以及时清理掉失...

    KyleMeow
    流计算 OceanusFlink
  • Spill-able Heap Keyed State Backend 设计概览

    Flink 在流式数据处理方面的能力非常强大,尤其值得一提的是它对带状态的流计算作业的支持度。它支持 Operator 和 Keyed 两类状态存储结构,其中后...

    KyleMeow
    流计算 OceanusFlink
  • 主用户为子用户添加流计算 Oceanus 授权策略指南

    流计算 Oceanus 的云 API 已经启用 CAM 服务级鉴权。默认情况下,所有主账号(也成为主用户)均有 QcloudOceanusFullAccess ...

    KyleMeow
    流计算 OceanusFlink
  • Flink on RocksDB 参数调优指南

    对于需要保存超大状态(远超于内存容量)的流计算场景来说,目前 RocksDB [1] 是 Flink 平台上官方实现的唯一选择。业界也有使用 Redis 等其他...

    KyleMeow
    流计算 OceanusFlink
  • 一次 Javac 编译速度缓慢的 JDK Bug 定位

    Flink 提供了从 Tuple0 ~ Tuple25 的 Tuple 类供用户选择,顾名思义,每个 Tuple 对象分别可以存储 0 个 ~ 25 个任意类型...

    KyleMeow
    流计算 OceanusFlink
  • Spillable StateBackend 之 HeapStatusMonitor 解析

    Flink 社区的 Spillable Backend 特性,社区经过了大半年的开发,目前已经放出了预览版可供体验。

    KyleMeow
    流计算 OceanusFlink
  • Spillable StateBackend 之 SpillAndLoadManager 源码注解

    在前文中,我们介绍了 Spillable Backend 及其 HeapStatusMonitor 的工作原理和不足。今天我们来看一下 Spillable Ba...

    KyleMeow
    流计算 OceanusFlink
  • Flink SQL 自定义函数指南 - 以读取 GBK 编码的数据库为例

    近期我们遇到了一位客户提出的问题:MySQL 建表时,数据库表定义的字符集是 latin1,里面的数据是以 GBK 编码的方式写入的。当 Flink 的 JDB...

    KyleMeow
    流计算 OceanusFlink
  • Too old resource version 引起 Flink JobManager 崩溃的问题定位

    近期接到客户反馈,某地域的作业不定期的出现 JobManager 崩溃重启的问题。具体现象如下:

    KyleMeow
    流计算 OceanusFlink
  • 修复 Flink Kubernetes 资源分配慢 兼谈如何贡献开源社区

    近期我们发现 Kubernetes 环境下的 Flink 集群有个奇怪的现象:在算子并行度较大(例如超过 50)时,Flink 的 TaskManager 注册...

    KyleMeow
    流计算 OceanusFlink
  • Flink 常见问题定位指南

    流计算作业通常运行时间长,数据吞吐量大,且对时延较为敏感。但实际运行中,Flink 作业可能因为各种原因出现吞吐量抖动、延迟高、快照失败等突发情况,甚至发生崩溃...

    KyleMeow
    流计算 OceanusFlink
  • Flink CDC 原理、实践和优化

    CDC 是变更数据捕获(Change Data Capture)技术的缩写,它可以将源数据库(Source)的增量变动记录,同步到一个或多个数据目的(Sink)...

    KyleMeow
    流计算 OceanusFlink
  • Flink 快照分析:定位大状态和数据倾斜的算子

    在 Flink 作业中,无论是 SQL 还是 JAR 模式,常常会直接或者间接地使用到状态(State)。当 Flink 进行快照时,用户定义的这些状态数据可以...

    KyleMeow
    流计算 OceanusFlink
  • 穿越迷雾:一次多组件超时的 Flink 崩溃定位小记

    上周四下午,告警系统突然提示某位大客户的作业频繁发生崩溃和重启,现象是作业运行起来 2 分钟左右,JobManager 就发现有 TaskManager 心跳失...

    KyleMeow
    流计算 OceanusFlink
  • Flink 类型和序列化机制简介

    使用 Flink 编写处理逻辑时,新手总是容易被林林总总的概念所混淆,本文将逐步解密 Flink 的类型和序列化机制。

    KyleMeow
    Flink流计算 Oceanus
  • Apache Calcite 功能简析及在 Flink 的应用

    • Apache Calcite 是一个动态数据的管理框架,可以用来构建数据库系统的语法解析模块

    KyleMeow
    流计算 OceanusFlink
  • Flink JVM 内存超限的分析方法总结

    前段时间,某客户的大作业(并行度 200 左右)遇到了 TaskManager JVM 内存超限(实际内存用量 4.1G > 容器设定的最大阈值 4.0G),被...

    KyleMeow
    Flink流计算 Oceanus

个人简介

个人成就

  • 影响力总排行第 855 名
  • 原创分享资深作者
    • 原创分享资深作者

  • 获得 140 次赞同
  • 文章被阅读 43.1K 次
  • 文章获得 2 次首页推荐

扫码关注云+社区

领取腾讯云代金券