学习
实践
活动
工具
TVP
写文章

腾讯云大数据团队

稳定、弹性、便捷的云端大数据基础产品

文章

腾讯云流计算 Oceanus 最佳实践&解决方案汇总

吴云涛

本页面汇总了腾讯云流计算 Oceanus (Flink 实时计算) 产品的最佳实践和解决方案文档,将持续更新。

1.4K121
文章

腾讯云 Oceanus 在 MySQL CDC Connector 的核心优化

KyleMeow

腾讯云 · 高级工程师 (已认证)

Apache Flink 作为流计算引擎,需要持续从上游接收数据流,并向下游输出最新的计算结果。Connector 起到承上启下的作用:Source 负责与上游...

12330
文章

Flink 非确定性更新(NDU)问题探索和规避

KyleMeow

腾讯云 · 高级工程师 (已认证)

非确定性函数(Non-Deterministic Functions)一直是影响流处理系统状态匹配的梦魇。例如用户在定义源表时,某个虚拟列字段调用了 RAND(...

14320
文章

【腾讯云ES】Elasticsearch 分布式架构剖析及扩展性优化

黄华

腾讯 · 专家工程师 (已认证)

Elasticsearch 是一个实时的分布式搜索分析引擎,简称 ES。一个集群由多个节点组成,节点的角色可以根据用户的使用场景自由配置,集群可以以节点为单位自...

18750
文章

大奖等你拿 | 腾讯云ES三周年有奖征文活动正式启动!文末有礼🎁

腾讯云大数据

第一弹:11月8日内部征文开启!本次征文活动知识密度和奖品力度丰厚,欢迎大家积极参与分享您与腾讯云ES之间独有的故事~

21360
文章

腾讯云Elastic使用教程:使用Fleet集中管理Elastic Agent

点火三周

在本文中,我们将给大家介绍如何在腾讯云上创建Fleet与Fleet Server。

2.2K40
文章

一文秒懂!腾讯云ES HTTPS 集群访问通信最佳实践

吴容

腾讯科技有限公司 · Elasticsearch高级研发工程师 (已认证)

Elasticsearch提供了多种数据访问安全的方式,如用户名密码校验、api_key等。但是依然无法保障数据传输过程中的安全性问题。而HTTPS协议,则是一...

57052
文章

使用Elasticsearch进行数据分析

bellen

腾讯 · 后台开发工程师 (已认证)

Elasticsearch作为一款基于Lucene打造的分布式搜索引擎,常用于搜索和日志场景,而在数据分析场景,Elasticsearch也提供了聚合Aggre...

71030
文章

量化Elasticsearch数据ingest pipeline的性能

点火三周

嗯,对于我们许多客户的用例和解决方案来说,索引吞吐量是最重要的关注点之一。我们花在摄取数据上的CPU时间越多,我们能达到的吞吐量就越少。

1.5K51
文章

Flink JobManager 内存管理机制介绍与调优总结

KyleMeow

腾讯云 · 高级工程师 (已认证)

我们知道,旧版本 Flink 的 JobManager 作为管理者,只承担着初始化和协调的任务,内存压力非常小,很少出现 OOM 等问题。

96593
文章

Flink TaskManager 内存管理机制介绍与调优总结

KyleMeow

腾讯云 · 高级工程师 (已认证)

Flink 的新版内存管理机制,要追溯到 2020 年初发布的 Flink 1.10 版本。当时 Flink 社区为了实现三大目标:

1.1K61
文章

Flink 实践教程:入门(12):元数据使用

于乐

腾讯云 · 流计算 Oceanus (已认证)

流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点...

16940
文章

误删除Elasticsearch ILM Rollover Action滚动生成的索引后怎么解决

bellen

腾讯 · 后台开发工程师 (已认证)

有一天收到告警,显示用于存储日志的es集群磁盘使用率超过了85%,因此登陆kibana进行一番查看,发现该集群有很多几个月之前的索引,直接DELETE file...

27610
文章

实时数仓-Iceberg

代来

腾讯 · 后台研发工程师 (已认证)

互联网技术高速发展的背景下,数据已经成为各大公司的最宝贵资源之一。大数据领域经过近十年的高速发展,无论是离线计算还是实时计算、不管是数据仓库还是数据中台都已深入...

32130
文章

大规模分析您的 Prometheus 指标: Prometheus + Elasticsearch

点火三周

Prometheus是一个开源的监测平台。Prometheus 是一款主要用于监测容器化工作负载的热门工具,它使用开放的、独立于供应商且基于文本的公开格式,从已...

1.7K61
文章

Elastic APM 和 OpenTelemetry 集成

点火三周

OpenTelemetry是一个云原生计算基金会 (CNCF) 沙盒项目,它提供了供应商中立的、特定于语言的代理、SDK 和 API,您可以使用它们从所有受监控...

1.8K20
文章

Elastic APM 和 OpenTelemetry 集成 (使用otel collector)

点火三周

OpenTelemetry是一个云原生计算基金会 (CNCF) 沙盒项目,它提供了供应商中立的、特定于语言的代理、SDK 和 API,您可以使用它们从所有受监控...

2K63
文章

Elasticsearch是否受最新的fastjson反序列化漏洞的影响?

点火三周

今天(2022年5月25日)接国家网络与信息安全信息通报中心预警,开源Java开发组件fastjson存在反序列化漏洞。攻击者可利用上述漏洞实施任意文件写入、服...

1.6K40
文章

Flink 实践教程:入门(11):MongoDB Sink

于乐

腾讯云 · 流计算 Oceanus (已认证)

流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点...

40440
文章

TDSQL-subscribe-connector最佳实践(上)

姚琦

腾讯云 · 后台开发工程师 (已认证)

本文介绍了如何在 Oceanus 平台使用 tdsql-subscribe-connector 1 ,从 TDSQL-MySQL 订阅任务 2 创建,到 Oce...

209100

团队专家

  • liubang01

    腾讯云 · 大数据基础产品EMR技术负责人 Hba
    技能专长:
  • ethanzhang

    腾讯 · 高级工程师 (已认证)

    腾讯云 · ElasticSearch技术负责人
    技能专长:
  • 郑灿彬felixzheng

    腾讯云 · 高级工程师
    技能专长:
  • jinzhou

    腾讯 · 专家工程师 (已认证)

    腾讯云 · 数据集成产品负责人
  • lambgong

    腾讯云 · 高级工程师 (已认证)

    腾讯云 · Snova 数仓技术负责人
    技能专长:
  • 团队专栏

    产品与服务

    • 弹性 MapReduce

      安全、灵活的云端托管 Hadoop 服务

    • 流计算 Oceanus

      大数据产品生态体系的实时化分析利器

    • Elasticsearch Service

      开箱即用的云端 Elasticsearch 服务

    • 云数据仓库 ClickHouse

      方便易用的云端托管 ClickHouse 服务

    • 云数据仓库 PostgreSQL

      便捷、经济高效的云端数据仓库服务

    扫码关注腾讯云开发者

    领取腾讯云代金券