腾讯云流计算 Oceanus

大数据产品生态体系的实时化分析利器。
37 篇文章
46.3K 次阅读
94 人订阅

全部文章

吴云涛

腾讯公司 · 高级工程师 (已认证)

置顶腾讯云流计算 Oceanus 最佳实践&解决方案汇总

本页面汇总了腾讯云流计算 Oceanus (Flink实时计算) 产品的最佳实践和解决方案文档,将持续更新。

46192
吴云涛

腾讯公司 · 高级工程师 (已认证)

Oceanus 在腾讯微视数据的实践-统计某时间段内的uv、pv

在实时计算中,经常会遇到需要计算某个时间段内的pv、uv这类需求,完成该类需求有多种方式,本文以微视数据端内计算启动数据的pv、uv为应用场景,来介绍常用的两种...

9270
KyleMeow

腾讯云 · 工程师 (已认证)

Flink JVM 内存超限的分析方法总结

前段时间,某客户的大作业(并行度 200 左右)遇到了 TaskManager JVM 内存超限(实际内存用量 4.1G > 容器设定的最大阈值 4.0G),被...

19051
KyleMeow

腾讯云 · 工程师 (已认证)

穿越迷雾:一次多组件超时的 Flink 崩溃定位小记

上周四下午,告警系统突然提示某位大客户的作业频繁发生崩溃和重启,现象是作业运行起来 2 分钟左右,JobManager 就发现有 TaskManager 心跳失...

20560
吴云涛

腾讯公司 · 高级工程师 (已认证)

基于腾讯云 Oceanus 实现实时UVPV指标统计

本方案结合本地数据中心的自建Kafka集群和腾讯云上的流计算 Oceanus、云数据库Redis对博客、购物网站UV、PV等指标进行实时可视化分析。本次分析指标...

28693
吴云涛

腾讯公司 · 高级工程师 (已认证)

基于腾讯云 Oceanus 实现系统和应用级实时监控

本文描述了如何使用腾讯云大数据组件来完成实时监控系统的设计和实现,通过实时采集并分析云服务器(CVM)及其 App 应用的 CPU和内存等资源消耗数据,以短信、...

525265
于乐

Oceanus 实践-从0到1接入 COS SQL 作业

流计算 Oceanus 是位于云端的流式数据汇聚、计算服务。只需几分钟,您就可以轻松构建网站点击流分析、电商精准推荐、物联网 IoT 等应用。流计算基于 Apa...

9630
代来

腾讯 · 后台研发工程师 (已认证)

Flink Connector MongoDB CDC实现原理

CDC全称是Change Data Capture,我们通常将能够捕获数据变更的技术称为CDC。目前通常描述的CDC技术主要面向数据库的变更,是一种用于捕获数据...

34150
于乐

Oceanus 实践-从0到1接入 CKafka SQL 作业

流计算 Oceanus 是位于云端的流式数据汇聚、计算服务。只需几分钟,您就可以轻松构建网站点击流分析、电商精准推荐、物联网 IoT 等应用。流计算基于 Apa...

13470
吴云涛

腾讯公司 · 高级工程师 (已认证)

Oceanus 实践-图数据库 Nebula Graph connector的使用

实时即未来,最近在腾讯云流计算 Oceanus 进行Flink实时计算服务,以下为使用自定义图数据库Nebula Graph Connector的实践。分享给大...

11030
吴云涛

腾讯公司 · 高级工程师 (已认证)

基于腾讯云 Oceanus 实现视频直播场景的实时大屏分析

本方案结合腾讯云 CKafka、流计算 Oceanus、私有网络 VPC、商业智能分析BI等,对视频直播行业数字化运营进行实时可视化分析。分析指标包含观看直播人...

56641
吴云涛

腾讯公司 · 高级工程师 (已认证)

Oceanus 实践-消费 CMQ 主题模型数据源

实时即未来,最近在腾讯云流计算 Oceanus 进行Flink实时计算服务,以下为 Flink 消费腾讯云 CMQ 的数据实践。原文自Raigor,已获得授权,...

16950
吴云涛

腾讯公司 · 高级工程师 (已认证)

Oceanus 实践-从0到1开发ClickHouse SQL作业

在 Oceanus 控制台的【集群管理】->【新建集群】页面创建集群,选择地域、可用区、VPC、日志、存储,设置初始密码等。

17430
吴云涛

腾讯公司 · 高级工程师 (已认证)

Oceanus 实践-从0到1开发PG SQL作业

实时即未来,最近在腾讯云流计算 Oceanus 进行 Flink 实时计算服务,分享给大家~

11230
吴云涛

腾讯公司 · 高级工程师 (已认证)

基于腾讯云 Oceanus 和 Elasticsearch 构建日志分析系统

实时即未来,最近在腾讯云Oceanus进行实时计算服务,以下为MySQL到Flink进行处理分析,再存储到ES的实践。分享给大家~

19850
KyleMeow

腾讯云 · 工程师 (已认证)

Flink 快照分析:定位大状态和数据倾斜的算子

在 Flink 作业中,无论是 SQL 还是 JAR 模式,常常会直接或者间接地使用到状态(State)。当 Flink 进行快照时,用户定义的这些状态数据可以...

30830
KyleMeow

腾讯云 · 工程师 (已认证)

Flink CDC 原理、实践和优化

CDC 是变更数据捕获(Change Data Capture)技术的缩写,它可以将源数据库(Source)的增量变动记录,同步到一个或多个数据目的(Sink)...

2.1K112
KyleMeow

腾讯云 · 工程师 (已认证)

Flink 常见问题定位指南

流计算作业通常运行时间长,数据吞吐量大,且对时延较为敏感。但实际运行中,Flink 作业可能因为各种原因出现吞吐量抖动、延迟高、快照失败等突发情况,甚至发生崩溃...

1.1K113
KyleMeow

腾讯云 · 工程师 (已认证)

修复 Flink Kubernetes 资源分配慢 兼谈如何贡献开源社区

近期我们发现 Kubernetes 环境下的 Flink 集群有个奇怪的现象:在算子并行度较大(例如超过 50)时,Flink 的 TaskManager 注册...

61041
KyleMeow

腾讯云 · 工程师 (已认证)

Too old resource version 引起 Flink JobManager 崩溃的问题定位

近期接到客户反馈,某地域的作业不定期的出现 JobManager 崩溃重启的问题。具体现象如下:

1K70

扫码关注云+社区

领取腾讯云代金券