用户9421738

文章/答案/技术大牛

发布

LV0

发表了文章 12天前2025-06-17 09:57:29

重磅补丁：政企行业Kafka曝出重大高危安全漏洞的修复说明

最近一周时间研发接连收到多个政务行业局点现场人员反馈，需要分析修复Kafka最近曝出的高危漏洞。笔者查阅Openwall和CVE，发现2025年06月09日确实...

用户9421738 12天前2025-06-17 09:57:30

kafka、行业、漏洞、源码、安全漏洞

发表了文章 13天前2025-06-15 11:25:52

高级技能包：JVM Non-Heap堆外内存跟踪监控的五种工具实践总结

前几天写过一篇关于排查Flink写ES作业堆外内存OOM故障分析的文章，其中提到堆外内存的跟踪监控方法，有朋友微信联系咨询相关技术。本文总结了大数据场景经常遇到...

用户9421738 13天前2025-06-15 11:25:52

监控、内存、实践、jvm、工具

发表了文章 15天前2025-06-13 14:59:04

ZGC 入门简介：可扩展低延迟 JVM 垃圾收集器

高并发应用程序通常需要大量内存，而如何管理这些内存确实是个难题，JDK 11 引入ZGC垃圾收集器来解决这个难题，JDK15已达到生产级别。

用户9421738 15天前2025-06-13 14:59:05

内存、入门、线程、jvm、对象

发表了文章 17天前2025-06-11 17:09:56

我们开源了一款 AI 驱动的 Wiki 知识库

大家好，经过一个月的内测，我们昨天刚刚开源了一款 AI 驱动的 Wiki 项目，叫做 PandaWiki。

用户9421738 17天前2025-06-11 17:09:57

wiki、模型、系统、网站、开源

发表了文章 21天前2025-06-07 18:08:48

南方政务行业Flink写入大规模ES集群(100节点)故障问题定位解决

春节前期南方政务某现场搭建了大规模100节点ES集群。最近开始上线新业务流程:FlinkCDC将业务数据库日志写入Kafka，然后Flink消费Kafka数据写...

用户9421738 21天前2025-06-07 18:08:48

flink、行业、集群、异常、es

发表了文章 2025-05-172025-05-17 15:13:59

Kafka磁盘故障leader不切换致命级Bug:交通行业TOP10客户Flink实时结算业务P0级故障修复回溯总结

五一假期某局点高速龙门架计费业务瘫痪，ISV定位之后反馈业务系统模块存在Flink写Kafka失败的问题。具体的异常日志如下：

用户9421738 2025-05-172025-05-17 15:14:00

bug、磁盘、行业、kafka、flink

发表了文章 2025-05-072025-05-07 15:38:24

Flink自研特性: yarn application运行模式租户权限与yarn本地化资源可见性整合实践总结

大数据实时计算平台Flink引擎以Application模式运作在Yarn集群，在使用租户权限管理的过程中，遇到任务提交失败的异常，详细堆栈如下：

用户9421738 2025-05-072025-05-07 15:38:24

实践、源码、yarn、flink、权限

发表了文章 2025-04-262025-04-26 20:10:53

大数据管理平台Ambari3.0最新版本二次开发入门实践指南

Apache Ambari项目初期旨在通过开发用于配置、管理、监控Hadoop集群的软件，使Hadoop集群管理更加简洁方便。因为Ambari灵活的插件化设计机...

用户9421738 2025-04-262025-04-26 20:10:54

数据管理、部署、配置、入门、实践

发表了文章 2025-04-172025-04-17 13:57:13

重磅里程碑：Kafka4.x生产级集群部署、扩容、缩容实践案例总结记录

Apache Kafka 4.0 是一个重要的里程碑，标志着首个完全剔除 Apache ZooKeeper® 即可运行的重大版本发布。通过KRaft 模式运行，...

用户9421738 2025-04-172025-04-17 13:57:13

数据、kafka、部署、集群、实践

发表了文章 2025-04-042025-04-04 17:26:23

实战经验：Apache Spark性能调优的五大秘诀

Apache Spark 于 2013 年开源，至今仍是最受欢迎且功能强大的计算引擎之一。然而，使用Spark也面临着挑战，诸如缩容、数据倾斜和内存溢出等问题。...

用户9421738 2025-04-042025-04-04 17:26:23

数据、性能、apache、spark、内存

发表了文章 2025-04-042025-04-04 17:25:49

深度好文：开放湖仓架构Hudi、Iceberg、Delta Lake的数据去重策略

数据重复一直是数据工程的难题，影响存储成本、查询性能和数据完整性。本文介绍湖仓架构中数据重复是如何在数据摄入、存储合并和表管理等环节出现的，并探究像Hudi这类...

用户9421738 2025-04-042025-04-04 17:25:50

数据去重、存储、架构、事件、数据

发表了文章 2025-04-022025-04-02 14:44:01

深度好文：三大主流数据湖格式Hudi、Iceberg、Delta Lake的数据聚类技术对比详解

聚类是一种存储优化方法，适用于诸如 Apache Hudi、Apache Iceberg 和 Delta Lake 等开源表格式，核心目标是解决数据摄入顺序（如...

用户9421738 2025-04-022025-04-02 14:44:02

排序、数据、优化、数据湖、工作

发表了文章 2025-03-292025-03-29 15:25:43

Apache Hudi深度揭秘：记录级元数据字段的价值与存储成本

Apache Hudi最初由Uber于2016年开发，旨在构建一个事务型数据湖，以快速可靠地处理数据更新，支持其网约车平台的高速增长。如今，Hudi已被行业广泛...

用户9421738 2025-03-292025-03-29 15:25:43

apache、存储、数据湖、数据、压缩

发表了文章 2025-03-282025-03-28 17:13:58

基于Hadoop的统一数据服务层演进与Hudi技术的前世今生

随着Apache Parquet和Apache ORC等存储格式以及Presto和Apache Impala等查询引擎的发展，Hadoop生态系统有潜力成为容忍...

用户9421738 2025-03-282025-03-28 17:13:58

服务、数据、系统、优化、hadoop

发表了文章 2025-03-172025-03-17 14:58:20

奇葩现象！零负载场景电力行业线上Flink作业必现TaskManager内存溢出超分被杀原生bug问题排查

根据客户现场运维人员反馈新上的某业务对应的Flink作业经常定期异常退出，已有的历史Flink作业并没有这种现象。排查过JobManager日志提示心跳超时，现...

用户9421738 2025-03-172025-03-17 14:58:21

日志、数据、flink、bug、内存

发表了文章 2025-03-102025-03-10 11:22:52

Flink新特性:一条SQL实现Kafka集群间多Topic非结构化数据自动透传同步方案实践总结

你是否遇到过这么一个需求场景？当数据平台跨地域环境或者平台多版本并存需要数据透传时，怎么实现Kafka集群间多Topic数据同步呢。除了Kafka官方提供的集群...

用户9421738 2025-03-102025-03-10 11:22:52

结构化数据、kafka、集群、实践、同步

发表了文章 2025-03-042025-03-04 14:21:22

五分钟入门Erlang语言基于brod类库实现操作Kafka案例总结

现场大数据项目Kafka组件大多数使用的语言集中在Java、Python、Go、C++。最近现场需求使用Erlang对接，遂有本文。Erlang是一种函数式并发...

用户9421738 2025-03-042025-03-04 14:27:08

kafka、编译、入门、源码、erlang

发表了文章 2025-03-032025-03-03 13:27:51

Gluten肝货：Spark Native加速技术完整实践案例总结

目前gluten支持两种backend：clickhouse和velox，本文实践基于gluten与clickhouse组合方式。

用户9421738 2025-03-032025-03-03 13:27:51

架构、实践、spark、native、编译

发表了文章 2025-02-202025-02-20 14:23:31

Flink自研新特性：yarn-session集群WebUI支持Jar持久化到HDFS实践总结

某传统IT客户系统架构重度使用Flink技术栈，早期主要使用standalone集群模式。随着企业数字化改革，公司服务器资源统一纳管。现在迁移为yarn-ses...

用户9421738 2025-02-202025-02-20 14:23:31

hdfs、session、集群、实践、flink

发表了文章 2024-12-232024-12-23 15:17:33

实战干货：Spark Native加速技术必备基础JNI实践总结

Spark Native加速技术日益活跃，不管使用哪种技术方案，本质上都是JNI的使用。所谓JNI，即Java Native Interface，也就是允许Ja...

用户9421738 2024-12-232024-12-23 15:17:33

jni、native、基础、实践、spark

12 3 下一页

个人简介

暂未填写公司和职称
暂未填写个人简介
腾讯云开发者社区
暂未填写学校和专业
暂未填写个人网址
暂未填写所在城市
加入社区时间：2022-01-27

个人成就

获得 39 次赞同
文章被阅读 10.9K 次

关注了：1关注者：13