zeekling

文章/答案/技术大牛

发布

LV3

发表了文章 6天前2025-10-11 09:13:43

webhdfs详解

hdfs提供了一种除了通过rpc的方式进行文件操作的方式之外，还提供了http的方式对文件进行操作的方式：webhdfs。支持HDFS 的完整FileSyste...

zeekling 6天前2025-10-11 09:13:43

文件系统、源码、主机、登录、函数

发表了文章 6天前2025-10-11 09:13:25

leaseManager详解

HDFS作为一个分布式文件系统，只允许一个客户端同时对一个文件进行修改操作。租约就是为了实现独占的写操作的机制。 HDFS租约的主要实现类是LeaseMana...

zeekling 6天前2025-10-11 09:13:26

线程、异常、集合、客户端、配置

发表了文章 6天前2025-10-11 09:13:12

DistCp源码解析

DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。它把文件和目录...

zeekling 6天前2025-10-11 09:13:12

源码、函数、集群、框架、权限

发表了文章 6天前2025-10-11 09:10:59

HDFS 报错：Permission denied: user=dr.who, access=WRITE, inode="/":hadoop01

在core-site.xml中增加下面配置,其中hadoop01为hdfs运行的用户，修改完重启hdfs即可。

zeekling 6天前2025-10-11 09:10:59

access、hdfs、web、配置、xml

发表了文章 6天前2025-10-11 09:10:33

用idea 运行Zookeeper是报错 com.codahale.metrics.Reservoir找不见

用idea 运行Zookeeper是报错 com.codahale.metrics.Reservoir找不见。

zeekling 6天前2025-10-11 09:10:34

scope、编译、zookeeper、com、metrics

发表了文章 6天前2025-10-11 09:09:26

Journal 源码详解

Active Namenode与StandBy Namenode之间的绿色区域就是JournalNode,当然数量不一定只有1个,作用相当于NFS共享文件系统....

zeekling 6天前2025-10-11 09:09:27

ioexception、string、服务端、函数、源码

发表了文章 2025-07-072025-07-07 07:58:08

Zookeeper启动源码详解

Zookeeper启动的主类为QuorumPeerMain.java 。入口函数文为initializeAndRun，如下所示，在往下的核心函数为runFrom...

zeekling 2025-07-072025-07-07 07:58:08

zookeeper

发表了文章 2025-06-152025-06-15 16:49:01

distributedShell 样例源码详解

distributedShell是Yarn自带的应用程序，和MR类似，当前工具可以用来对Yarn进行压测。

zeekling 2025-06-152025-06-15 16:49:01

hadoop

关注了用户 2025-06-152025-06-15 13:04:51

Michel_Rolle

451 文章10 回答238 关注者

发表了文章 2025-04-132025-04-13 21:54:03

【Hadoop仿真】如何在仿真NodeManager中实现心跳

Hadoop自带的hadoop-sls只能用于压测调度器，可在实际中影响ResourceManager性能的因素比较多，不能只看调度器。当前项目可构造海量的Fa...

zeekling 2025-04-132025-04-13 21:54:03

hadoop

关注了用户 2025-04-132025-04-13 19:01:30

叫我阿柒啊
腾讯云TDP ｜产品KOL (已认证)

躺平ing.....

252 文章34 回答152 关注者

发表了文章 2025-03-052025-03-05 07:55:46

container-executor 详解

container-executor 是NodeManager管理Container很重要的一个工具，是深入学习Yarn作业调度不可缺少的一个知识点，值得深入学...

zeekling 2025-03-052025-03-05 07:55:46

hadoop

关注了用户 2025-01-052025-01-05 20:39:56

数人之道

个人原创公众号『数人之道』，分享数据知识、干货、资讯，数据人之道。欢迎关注！

34 文章0 回答43 关注者

发表了文章 2025-01-052025-01-05 20:39:41

Idea Hadoop 源码YarnServiceProtos无法补全问题

使用IDEA打开Hadoop源码之后，发现YarnServiceProtos部分代码无法补全，已经安装了protobuf相关的插件。

zeekling 2025-01-052025-01-05 20:39:40

intellij idea

发表了文章 2024-11-042024-11-04 07:05:32

Capacity调度器源码解析

Capacity 调度器的核心类是CapacityScheduler。在初始化CapacityScheduler的时候，在构造函数initAsyncSchedu...

zeekling 2024-11-042024-11-04 07:05:32

hadoop

发表了文章 2024-10-102024-10-10 07:50:58

router启动详解

为了解决HDFS的水平扩展性问题，社区从Apache Hadoop 0.23.0版本开始引入了HDFS federation。HDFS Federation是指...

zeekling 2024-10-102024-10-10 07:50:58

hadoop

关注了用户 2024-10-072024-10-07 17:46:21

腾讯QQ大数据

204 文章0 回答133 关注者

发表了文章 2024-09-232024-09-23 07:52:10

hadoop 主备倒换控制器：ZKFailoverController详解

HDFS的NameNode、Yarn的ResourceManager都是依靠ZK实现主备倒换的。核心的类为：ZKFailoverController.java,

zeekling 2024-09-232024-09-23 07:52:10

hadoop

发表了文章 2024-09-012024-09-01 19:28:55

Hadoop 认证模块详解

客户端的入口函数为 KerberosAuthenticator.authenticate函数

zeekling 2024-09-012024-09-01 19:28:55

hadoop、kerberos

发表了文章 2024-08-072024-08-07 07:51:52

ContainerManager详解

ContainerManager主要负责NM中管理所有Container生命周期，其主要包含启动Container、恢复Container、停止Containe...

zeekling 2024-08-072024-08-07 07:51:52

hadoop、hadoop-yarn

12 3 4 5 6 7 8 9 下一页

个人简介

华为 | 大数据开发工程师
应无所住，而生其心。 --《金刚经》
云数据库 Redis®flink 大数据 hadoop
合肥工业大学 | 光电信息科学与工程
https://www.zeekling.cn
陕西省 | 西安市
加入社区时间：2018-05-05

个人成就

获得 419 次赞同
文章被阅读 154K 次

关注了：8关注者：23

zeekling

webhdfs详解

leaseManager详解

DistCp源码解析

HDFS 报错：Permission denied: user=dr.who, access=WRITE, inode="/":hadoop01

用idea 运行Zookeeper是报错 com.codahale.metrics.Reservoir找不见

Journal 源码详解

Zookeeper启动源码详解

distributedShell 样例源码详解

Michel_Rolle

【Hadoop仿真】如何在仿真NodeManager中实现心跳

叫我阿柒啊
腾讯云TDP ｜产品KOL (已认证)

container-executor 详解

数人之道

Idea Hadoop 源码YarnServiceProtos无法补全问题

Capacity调度器源码解析

router启动详解

腾讯QQ大数据

hadoop 主备倒换控制器：ZKFailoverController详解

Hadoop 认证模块详解

ContainerManager详解

个人简介

个人成就

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

zeekling

webhdfs详解

leaseManager详解

DistCp源码解析

HDFS 报错：Permission denied: user=dr.who, access=WRITE, inode="/":hadoop01

用idea 运行Zookeeper是报错 com.codahale.metrics.Reservoir找不见

Journal 源码详解

Zookeeper启动源码详解

distributedShell 样例源码详解

Michel_Rolle

【Hadoop仿真】如何在仿真NodeManager中实现心跳

叫我阿柒啊腾讯云TDP ｜ 产品KOL (已认证)

container-executor 详解

数人之道

Idea Hadoop 源码YarnServiceProtos无法补全问题

Capacity调度器源码解析

router启动详解

腾讯QQ大数据

hadoop 主备倒换控制器：ZKFailoverController详解

Hadoop 认证模块详解

ContainerManager详解

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

叫我阿柒啊
腾讯云TDP ｜产品KOL (已认证)