用户9421738

腾讯云

开发者社区

文档建议反馈控制台

首页TVP

LV0

发表了文章 8小时前2025-03-04 14:21:22

五分钟入门Erlang语言基于brod类库实现操作Kafka案例总结

现场大数据项目Kafka组件大多数使用的语言集中在Java、Python、Go、C++。最近现场需求使用Erlang对接，遂有本文。Erlang是一种函数式并发...

用户9421738 7小时前2025-03-04 14:27:08

kafka、编译、入门、源码、erlang

发表了文章 1天前2025-03-03 13:27:51

Gluten肝货：Spark Native加速技术完整实践案例总结

目前gluten支持两种backend：clickhouse和velox，本文实践基于gluten与clickhouse组合方式。

用户9421738 1天前2025-03-03 13:27:51

架构、实践、spark、native、编译

发表了文章 12天前2025-02-20 14:23:31

Flink自研新特性：yarn-session集群WebUI支持Jar持久化到HDFS实践总结

某传统IT客户系统架构重度使用Flink技术栈，早期主要使用standalone集群模式。随着企业数字化改革，公司服务器资源统一纳管。现在迁移为yarn-ses...

用户9421738 12天前2025-02-20 14:23:31

hdfs、session、集群、实践、flink

发表了文章 2024-12-232024-12-23 15:17:33

实战干货：Spark Native加速技术必备基础JNI实践总结

Spark Native加速技术日益活跃，不管使用哪种技术方案，本质上都是JNI的使用。所谓JNI，即Java Native Interface，也就是允许Ja...

用户9421738 2024-12-232024-12-23 15:17:33

jni、native、基础、实践、spark

发表了文章 2024-12-192024-12-19 15:37:55

医保行业Spark Native加速技术Gluten环境：业务Sql出现大量Task失败问题解决方案

近几年Spark Native加速技术高速发展、技术栈日益丰富，各大厂商积极迭代支持，目前基本可以达到生产可用级别。技术栈大致分为以下几种：

用户9421738 2024-12-192024-12-19 15:37:56

解决方案、sql、native、task、行业

发表了文章 2024-11-152024-11-15 10:51:40

数据湖填坑指南：OLAP引擎openlookeng查询Hudi MOR表数据不准确问题定位解决

本文主要记录某医院客户使用OLAP引擎openlookeng查询Hudi MOR表，遇到查询数据不准确问题的排查、分析、解决方法。openlookeng也称为h...

用户9421738 2024-11-152024-11-15 10:51:40

编译、数据、线程、数据湖、olap

发表了文章 2024-11-042024-11-04 10:32:44

电力行业数据湖方案：Flink基于HiveCatalog增删改查Hudi实践攻略及TableNotPartitioned异常修复

本文主要记录电力行业客户数据湖技术架构演进遇到的问题，已有架构为FlinkSQL实时写入Hudi、Hive on Spark查询，现在准备引入FlinkSQL增...

用户9421738 2024-11-042024-11-04 10:32:44

flink、数据湖、官方文档、实践、异常

发表了文章 2024-10-252024-10-25 13:02:53

教育行业PyFlink整合FlinkML机器学习场景实践总结

本文主要记录教育行业高校PyFlink整合Flink ML的场景案例实践总结。PyFlink是可以使用Python语言开发Apache Flink的功能API，...

用户9421738 2024-10-252024-10-25 13:02:54

机器学习、教育、行业、集群、实践

发表了文章 2024-10-142024-10-14 14:50:19

一文掌握教育行业FlinkCDC+Paimon实时湖仓案例实践总结

Paimon支持以多种形式FlinkCDC实时导入源端数据与元数据变更(schema evolution)到Paimon表中。也就是说源端增加列、不用重启Fli...

用户9421738 2024-10-142024-10-14 14:50:19

教育、部署、行业、实践、数据

发表了文章 2024-09-122024-09-12 19:27:33

电力行业数据湖技术方案Flink、Hudi、Hive on Spark案例全攻略记录及Hive查询MOR rt表异常修复

本文主要记录电力行业客户的数据湖技术方案实践案例，方案概括为基于FlinkSQL+Hudi流式入湖、同步表元数据到Hive，基于Hive catalog统一元数...

用户9421738 2024-09-122024-09-12 19:27:33

数据湖、异常、spark、hive、flink

发表了文章 2024-09-122024-09-12 19:26:48

行业客户现场SparkStreaming实时计算使用案例问题总结

虽然当前实时计算领域所有厂商都推荐Flink框架，但是某些传统行业客户因为多年固化的业务场景仍然坚持使用SparkStreaming框架。本文主要记录Spark...

用户9421738 2024-09-122024-09-12 19:26:48

集群、实时计算、数据、程序、行业

发表了文章 2024-08-302024-08-30 16:53:50

Spark流计算Structured Streaming实践总结

Structured Streaming是基于Spark SQL引擎的可扩展、可容错流计算引擎。用户可以向使用批计算一样的方式使用流计算。Spark SQL持续...

用户9421738 2024-08-302024-08-30 16:53:50

streaming、流计算、实践、数据、spark

发表了文章 2024-08-062024-08-06 15:18:06

厉害了！一文撕开Kafka Compact Topic神秘面纱

随着平台Kafka的对接客户越来越多，我发现很多人只知道Kafka Topic可以根据设置保存大小和保存时间触发数据清理机制，但是并不熟悉Kafka Topic...

用户9421738 2024-08-062024-08-06 15:18:07

数据、线程、kafka、测试、配置

发表了文章 2024-08-012024-08-01 12:40:12

一文搞定现网项目最新版本Redis7集群800节点实践案例总结

截至目前本人接触到的最大Redis7集群节点规模已达800+，Redis官方宣称最大集群节点规模可达1000。本文以最小规模集群为例，进行完整的项目实践总结记录...

用户9421738 2024-08-012024-08-01 12:40:12

迁移、redis、集群、实践、数据

发表了文章 2024-07-022024-07-02 11:22:27

大数据统一SQL网关：最新版Kyuubi整合Flink、Spark方案的实践案例总结

Kyuubi最新版本已经发布，本文主要介绍基于Kyuubi SQL网关整合多计算引擎Flink和Spark实践案例总结。另外，翻看Release Notes发现...

用户9421738 2024-07-022024-07-02 11:21:03

spark、大数据、flink、实践、网关

发表了文章 2024-07-022024-07-02 11:20:16

一文掌握最新数据湖方案Spark+Hadoop+Hudi+Hive整合案例实践总结

大数据生态发展数年，各种组件版本迭代升级在所难免。组件之间、不同版本之间的适配整合升级，尤为重要。本文主要讲述当前火热的数据湖方案Spark+Hadoop+Hu...

用户9421738 2024-07-022024-07-02 11:20:16

数据湖、实践、spark、hadoop、hive

发表了文章 2024-07-022024-07-02 11:19:22

干货！一文掌握通过网络抓包排查Kafka集群性能问题的实践总结

众所周知，Kafka是一个开源分布式事件流平台，尤其以高吞吐、低延迟著称，并且已经被数千家企业用于高性能数据管道、流分析、数据集成和核心业务应用程序。

用户9421738 2024-07-022024-07-02 11:19:22

kafka、集群、实践、网络、性能

发表了文章 2024-07-022024-07-02 11:15:25

惊呆！Flink开发者知识盲区：最新版Flink如何以Standalone运行模式部署到Yarn集群

这是个有趣的Flink资源管理的使用案例。随着业务需求的遍地开花和数据量的成倍增长，集团内部一个兄弟部门(姑且称为客户吧)现有的技术构架有点陈旧，已经无法支撑日...

用户9421738 2024-07-022024-07-02 11:15:25

部署、集群、开发者、yarn、flink

发表了文章 2024-07-022024-07-02 11:14:56

重磅好文！现场故障回顾：最新版Kafka数据过期未删除问题的源码深入剖析与终极解决方案总结

周五晚上电话轰炸，驻场人员反映某公安厅数据上报业务故障。究其原因是数据域Kafka集群不可用。经过排查发现虽然Kafka集群设置了3天数据过期时间(且Topic...

用户9421738 2024-07-022024-07-02 11:14:56

kafka、解决方案、日志、数据、源码

12 下一页

个人简介

暂未填写公司和职称
暂未填写个人简介
腾讯云开发者社区
暂未填写学校和专业
暂未填写个人网址
暂未填写所在城市
加入社区时间：2022-01-27

个人成就

获得 23 次赞同
文章被阅读 5.6K 次

关注了：1关注者：12