瀛洲海客丶

文章/答案/技术大牛

发布

LV1

我关注的人

深入解析Hadoop HDFS高可用性：原理、故障切换与元数据同步

在分布式存储领域，Hadoop分布式文件系统(HDFS)作为Hadoop生态系统的核心存储组件，其高可用性(HA)设计一直是架构师们关注的焦点。传统HDFS架构...

用户6320865 2025-08-272025-08-27 13:56:59

hadoop、hdfs、数据、数据同步、原理

Hadoop Yarn 节点健康监测机制

节点健康监测是 NodeManager 自带的健康状态诊断机制。通过该机制，NodeManager 可以时刻掌握自己的健康状况，并及时汇报给 ResourceM...

smartsi 2021-10-192021-10-19 10:54:34

node.js

如何优化高并发TCP链接中产生的大量的TIME_WAIT的状态

线上有几台QPS每秒几万请求的服务器，大致访问链路如下：client -> nginx -> web 服务器，由于每台机器上混布了多个web服务并通过nginx...

我是攻城师 2020-02-252020-02-25 11:42:36

nginx、html、http、https、网络安全

Hadoop之NameNode+ResourceManager高可用原理分析

俗话说的好，没有高可用，如何敢抗双十一？今天就来简单分析下，Hadoop集群中关于QJM高可用NamdeNode-HA的原理：关于NameNode高可靠需要...

我是攻城师 2018-05-142018-05-14 14:00:29

其他

Hadoop基础教程-第1章环境安装配置（1.7 目录规划）

有一种说法： /usr/local目录类似于windows下的Program Files目录，可以存放用户安装的软件。

程裕强 2022-05-062022-05-06 18:28:49

hadoop、linux、node.js

Hadoop基础教程-第9章 HA高可用（9.1 HDFS 高可用介绍）

HDFS HA(High Availability)高可用配置官方参考网址 http://hadoop.apache.org/docs/r2.7.3/had...

程裕强 2022-05-062022-05-06 18:52:11

hadoop、node.js、大数据、zookeeper

离线环境安装使用 Ansible

之前写了一篇介绍 Ansible 的文章，今天回顾看来写的有些匆忙，一些具体的操作步骤都没有讲明白，不利于读者复现学习。最近又申请了一个几百台机器的环境，正好...

大江小浪 2022-05-062022-05-06 16:00:39

ssh、python、yum、打包

一文搞定Journal Node原理

hdfs的HA机制，具体来说可以分为两部分，一部分是基于zkfc、zookeeper完成nn之间的选主；而另一部分则是nn之间的元数据共享与同步。

陈猿解码 2023-02-282023-02-28 14:47:45

rpc

ZooKeeper性能优化实战：磁盘I/O分离方案与SSD配置指南

ZooKeeper作为一个分布式协调服务，其核心架构依赖于高可用和高性能的数据一致性机制。其基础架构包括多个服务器节点组成的集群，每个节点通过ZAB（ZooKe...

用户6320865 2025-11-282025-11-28 12:36:48

磁盘、配置、日志、性能优化、zookeeper

Hadoop小文件合并技术深度解析：HAR文件归档、存储代价与索引结构

在Hadoop分布式文件系统（HDFS）的设计哲学中，"大文件、流式访问"是核心原则。然而现实场景中，海量小文件（通常指远小于HDFS默认块大小128MB的文件...

用户6320865 2025-08-272025-08-27 14:15:00

索引、存储、hadoop、内存、数据

Linux服务器CPU和内存占用不高但负载高的问题排查指南

在Linux服务器运维中，我们常常会遇到一个看似矛盾的现象：top命令显示CPU使用率并不高，内存也有充足余量，但uptime或top显示的负载平均值（load...

编程小白狼 2025-12-212025-12-21 08:16:44

内存、linux、cpu、服务器、进程

深入解析Hadoop中的EditLog与FsImage持久化设计及Checkpoint机制

在HDFS（Hadoop Distributed File System）的架构中，元数据管理是保证系统可靠性和性能的核心环节。NameNode作为HDFS的主...

用户6320865 2025-08-272025-08-27 14:13:27

内存、设计、数据、存储、hadoop

如何优化 MySQL 的磁盘 I/O：提升数据库性能的关键策略

MySQL 数据库的性能瓶颈往往不在 CPU 或内存，而在于缓慢的磁盘 I/O。尤其是在高并发、大数据量场景下，优化磁盘 I/O 是提升数据库响应速度和整体吞吐...

编程小白狼 2025-08-152025-08-15 08:48:51

数据库、mysql、磁盘、性能、优化

IO问题成顽疾，鹅厂专家来教你

| 作者王文安，腾讯CSIG数据库专项的数据库工程师，主要负责腾讯云数据库 MySQL 的相关的工作，热爱技术，欢迎留言进行交流。 ---- 在日常工作中，...

腾讯云数据库 TencentDB

腾讯云｜产品团队 (已认证)

2020-12-042020-12-04 11:10:39

ios、linux、数据库、sql

定位磁盘性能问题的武器

最近碰到一个Oracle DG备库延迟的问题，经过排查，定位是磁盘性能问题，用的是普通磁盘，而不是SSD，且性能较差，存在读写等待。

bisal 2023-08-182023-08-18 08:24:35

磁盘、索引、网络、系统、性能

HDFS写性能优化技巧详解：从理论到实践

在大数据处理的生态系统中，Hadoop分布式文件系统（HDFS）作为核心存储层，其写性能直接影响着整个数据处理管道的效率。随着数据规模的指数级增长，企业对HDF...

用户6320865 2025-08-272025-08-27 14:45:52

数据、性能优化、hdfs、技巧、实践

Hadoop性能瓶颈分析：从JVM到磁盘IO的全链路优化

Hadoop生态中的NameNode、DataNode等核心组件均运行在JVM之上，其性能表现与JVM配置息息相关。实际生产环境中，我们发现约35%的性能问题源...

Jimaks 2025-09-092025-09-09 12:54:51

腾讯技术创作特训营S15#自选日志

Hadoop磁盘I/O瓶颈的监控与优化：从iostat指标到JBOD vs RAID的深度解析

在Hadoop分布式计算框架中，磁盘I/O瓶颈是影响整体性能的关键因素之一。当数据节点（DataNode）无法及时处理来自任务执行器（如MapReduce任务或...

用户6320865 2025-08-272025-08-27 14:49:48

监控、数据、优化、hadoop、磁盘

PromQL 查询之 rate 函数的使用

通常来说直接绘制一个原始的 Counter 类型的指标数据用处不大，因为它们会一直增加，一般来说是不会去直接关心这个数值的，因为 Counter 一旦重置，总计...

我是阳明 2021-10-202021-10-20 10:33:28

爬虫

记一次Hadoop集群数据上传缓慢案例分析

手上管理的其中一个Hadoop集群，承接着大量的数据流量，一直以来运行平稳，最近突然发现集群有时会出现MR作业运行缓慢，put文件至HDFS偶发速度慢的问题，像...

Lu说 2022-06-072022-06-07 20:00:11

node.js、大数据、网络安全、腾讯云测试服务、hadoop

12 下一页

个人简介

暂未填写公司和职称
暂未填写个人简介
暂未填写技能专长
暂未填写学校和专业
暂未填写个人网址
北京
加入社区时间：2023-03-29

个人成就

TA 很懒，什么都没有留下╮（╯＿╰）╭

关注了：3关注者：0