首页标签流计算服务 Oceanus

#流计算服务 Oceanus

云端的流式数据汇聚、计算服务,满足您实时处理数据的需求

Oceanus实践-从0到1开发PG SQL作业

吴云涛

腾讯公司 · 高级工程师 (已认证)

在Oceanus控制台的【集群管理】->【新建集群】页面创建集群,选择地域、可用区、VPC、日志、存储,设置初始密码等。

19450

Oceanus实践-从0到1开发ClickHouse SQL作业

spiderwu

腾讯云 · 大数据高级工程师 (已认证)

在Oceanus控制台的【集群管理】->【新建集群】页面创建集群,选择地域、可用区、VPC、日志、存储,设置初始密码等。

24770

Oceanus Kudu Sink总结

spiderwu

腾讯云 · 大数据高级工程师 (已认证)

外部表(CREATE EXTERNAL TABLE)不受Impala管理,并且删除此表不会将表从其源位置(此处为Kudu)丢弃。只会去除Impala和Kudu之...

9330

【Flink源码实战(一)】给Flink增加一个REST API

皮皮熊

腾讯 · 高级工程师 (已认证)

Flink官方实现了大量的REST API接口,有用于Flink UI展示数据、也用于各自监控面板。这些REST API的webserver作为JobManag...

25470

Oceanus使用自定义Connector指南

spiderwu

腾讯云 · 大数据高级工程师 (已认证)

注:首次使用Kudu表时,kudu表用impala-shell查询时需要在Impala中创建对应的外表才能查到kudu的表数据。

7620

Flink 快照分析:定位大状态和数据倾斜的算子

KyleMeow

腾讯云 · 工程师 (已认证)

在 Flink 作业中,无论是 SQL 还是 JAR 模式,常常会直接或者间接地使用到状态(State)。当 Flink 进行快照时,用户定义的这些状态数据可以...

16020

Flink CDC 原理、实践和优化

腾讯云大数据团队

腾讯 · ES技术支持 (已认证)

CDC 是变更数据捕获(Change Data Capture)技术的缩写,它可以将源数据库(Source)的增量变动记录,同步到一个或多个数据目的(Sink)...

92050

Flink CDC 原理、实践和优化

KyleMeow

腾讯云 · 工程师 (已认证)

CDC 是变更数据捕获(Change Data Capture)技术的缩写,它可以将源数据库(Source)的增量变动记录,同步到一个或多个数据目的(Sink)...

96980

Flink 常见问题定位指南

腾讯云大数据团队

腾讯 · ES技术支持 (已认证)

流计算作业通常运行时间长,数据吞吐量大,且对时延较为敏感。但实际运行中,Flink 作业可能因为各种原因出现吞吐量抖动、延迟高、快照失败等突发情况,甚至发生崩溃...

27950

Flink 常见问题定位指南

KyleMeow

腾讯云 · 工程师 (已认证)

流计算作业通常运行时间长,数据吞吐量大,且对时延较为敏感。但实际运行中,Flink 作业可能因为各种原因出现吞吐量抖动、延迟高、快照失败等突发情况,甚至发生崩溃...

82090

修复 Flink Kubernetes 资源分配慢 兼谈如何贡献开源社区

KyleMeow

腾讯云 · 工程师 (已认证)

近期我们发现 Kubernetes 环境下的 Flink 集群有个奇怪的现象:在算子并行度较大(例如超过 50)时,Flink 的 TaskManager 注册...

46930

Too old resource version 引起 Flink JobManager 崩溃的问题定位

KyleMeow

腾讯云 · 工程师 (已认证)

近期接到客户反馈,某地域的作业不定期的出现 JobManager 崩溃重启的问题。具体现象如下:

80463

Flink SQL 自定义函数指南 - 以读取 GBK 编码的数据库为例

KyleMeow

腾讯云 · 工程师 (已认证)

近期我们遇到了一位客户提出的问题:MySQL 建表时,数据库表定义的字符集是 latin1,里面的数据是以 GBK 编码的方式写入的。当 Flink 的 JDB...

45260

从一个诡异的 Bug 来看 Flink 快照和状态读取的流程

KyleMeow

腾讯云 · 工程师 (已认证)

Oceanus 流计算平台支持以 SQL 的方式提交作业,独享集群支持最新的 Flink 1.10 提供的新版 Blink Planner 语法。有一位客户写了...

71220

Spillable StateBackend 之 SpillAndLoadManager 源码注解

KyleMeow

腾讯云 · 工程师 (已认证)

在前文中,我们介绍了 Spillable Backend 及其 HeapStatusMonitor 的工作原理和不足。今天我们来看一下 Spillable Ba...

26511

Spillable StateBackend 之 HeapStatusMonitor 解析

KyleMeow

腾讯云 · 工程师 (已认证)

Flink 社区的 Spillable Backend 特性,社区经过了大半年的开发,目前已经放出了预览版可供体验。

31411

实时流式计算系统中的几个陷阱

用户6070864

随着诸如Apache Flink,Apache Spark,Apache Storm之类的开源框架以及诸如Google Dataflow之类的云框架的增多,创建...

11530

一次 Javac 编译速度缓慢的 JDK Bug 定位

KyleMeow

腾讯云 · 工程师 (已认证)

Flink 提供了从 Tuple0 ~ Tuple25 的 Tuple 类供用户选择,顾名思义,每个 Tuple 对象分别可以存储 0 个 ~ 25 个任意类型...

40340

Flink on RocksDB 参数调优指南

KyleMeow

腾讯云 · 工程师 (已认证)

对于需要保存超大状态(远超于内存容量)的流计算场景来说,目前 RocksDB [1] 是 Flink 平台上官方实现的唯一选择。业界也有使用 Redis 等其他...

4.9K50

SAP扫盲系列之一:什么是SAP系统和应用服务器

Jerry Wang

SAP成都研究院 · 开发专家 (已认证)

Jerry Wang,2007年加入SAP成都研究院工作至今,至今为止有13年的ABAP开发经验,SAP社区导师,SAP中国技术大使。

28120

扫码关注云+社区

领取腾讯云代金券