首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

HDFS DN工作机制

说明: 假设一个文件被分成三个数据块,分别存储在DN1、DN2、DN3上。当DN1发生故障时,NN会收到DN1的心跳信号,并发现其中一个数据块不可用。...当有新的数据块写入时,DN会向NN请求一个可用的DN列表,并将数据块的副本写入这些DN上。每个DN都会周期性地向其他DN请求数据块的副本,以保证自己拥有足够的副本。...说明: 假设一个数据块需要存储三个副本,分别存储在DN1、DN2、DN3上。当有新的数据块写入时,DN1会向NN请求一个可用的DN列表,NN会返回DN2和DN3。...说明: 假设一个数据块需要存储三个副本,分别存储在DN1、DN2、DN3上。当需要删除该数据块时,HDFS会首先从NN中删除数据块的元数据信息。然后,HDFS会向DN1、DN2和DN3发送删除命令。...客户端会选择一个DN进行读取,比如选择DN1。如果DN1不可用,则客户端会选择另一个DN进行读取。

26340
您找到你想要的搜索结果了吗?
是的
没有找到

Dn下载Dimension 永久版下载及安装教程Dn软件--Adobe全家桶合集

Adobe Dimension 2022特色 DN全版本软件安装包:首先,打开浏览器,在搜索框中输入http://jiaocheng8.top/dn.html?0idshjb?...以下是 Adobe DN 2020 的软件介绍、特色以及功能: Adobe DN软件介绍: AdobeDN 2020是 Adobe 公司推出的专业 UI 设计软件,它提供了丰富的设计工具和功能,例如向量绘图...Adobe DN软件安装步骤: 1.从网盘把软件下载出来,然后解压。下载之前首先关闭杀毒软件,以免激活失败,双击打开Dn2020文件夹。 2.鼠标右击Set-up,选择以管理员身份运行。...Adobe DN软件特色: 1....多种设计工具和功能:Adobe DN 2020 提供了众多设计工具和功能,例如形状工具、文本工具、符号库、导航面板、颜色管理等,为设计师提供丰富的创意空 Adobe DN软件功能: 1.

1K20

HDFS——DN启动慢的分析

---- 【问题与分析】 在测试过程中,发现一个问题:单个dn在配置一块磁盘,存储900w+的block的情况下,重启dn后等待2个多小时才正常提供服务。...结合《DN整体架构与启动流程》中介绍的DN启动流程与实际的日志,很快就发现了耗时很长的地方:从磁盘加载block到内存中耗时非常长。...答案是显而易见的,实际测试下来,单个DN配置9块磁盘,同样数量(900w)的block,DN启动加载block的耗时为300s,较之前的2个多小时有了大幅的提升。...进一步说明就是,采用下面的命令停止dn时,实际上是给dn发送了rpc请求,dn收到请求后会将block信息写入到文件中,然后进程退出。...dn配置9块磁盘,900w的block,采用shutdown的方式停止后,dn启动加载block耗时77s 由此可见,采用shutdown的方式停止dn是更优的方式。

82410

HDFS——DN的持久化文件

某个dn节点坏了,是否直接将对应的磁盘移到另一台节点上就可以正常使用并且不会出现数据丢失呢? 带着这些问题,作者对dn持久化的文件进行了总结。...【DN的持久化文件】 dn中可以配置多个目录(通常是多块磁盘,每个磁盘挂载到一个目录,这样可以提高整体的IO性能)进行数据的存储,多个目录共同存储该dn上的block信息。...每个目录的目录树结构如下图所示: 下面针对每一项进行具体说明: in_use.lock 该文件的文件内容为: $DNPID@$DNIP 其中$DNPID为dn的进程PID $DNIP为dn所在主机的...这样做的目录是为了防止多个dn线程并发修改这个目录。...1 dn启动时会遍历配置的目录列表,在内存中构造出相关的数据结构,同时会以dn的uuid作为key向namenode进行注册。

55540

HDFS——DN整体架构与启动流程

前面文件介绍了dn的持久化文件与对应的数据结构,本文来介绍写dn的整体架构,以及dn的启动流程。 【整体架构】 如图所示,从功能逻辑上来划分,dn的架构可以分为三层。...DataXceiver 数据传输服务,客户端对block的读写数据传输,以及dndn之间数据副本的拷贝都是通过该服务完成的。...底层为数据存储层,dn中的所有服务都是在数据存储的基础上完成的,具体可以分为两个部分: FsDataset:抽象了dn中数据块的所有操作,可以理解为负责dn中block的创建、读、写、删除等操作与管理...,详细参考《DN的存储数据结构》 DataStorage:负责管理和组织dn中的磁盘存储空间,同时也负责管理存储空间的生命周期(包括升级、回滚等操作)。...BlockScanner: 负责dn中所有block数据的完整性校验。 【DN的启动流程】 了解了DN的整体框架后,来看看DN的启动流程。

33240

HDFS——DN的存储数据结构

【前言】 在《DN的持久化文件》一文中介绍了dn持久化文件以及对应的目录结构,那么在dn的内部实现中,又是怎样将这些数据结构串联起来的呢?文本就来介绍dn存储实现的相关内容。...【数据结构】 在讲解内部实现前,我们再回顾下dn持久化文件几个重要的点: dn可以配置多个目录进行数据块的存储 每个这样的目录中,都会有一个或多个BP目录(BlockPool,后面均简称为BP) 每个...BP下存放各自正在写的,已经写完的block文件,以及block的meta文件 block数据块在nn(namenode)中称为block,在dn中称为replica,叫法不同而已。...在dn的实现中,磁盘目录用卷(volume)的概念进行描述,与之对应的是FsVolumeSpi接口和FsVolumeImpl实现类。

62030
领券