Hadoop分布式文件系统HDFS

姜同学

发布于 2022-10-27 16:36:56

3510

发布于 2022-10-27 16:36:56

文章被收录于专栏：姜同学姜同学

概述

HDFS是hadoop提供的分布式存储的文件系统
HDFS是典型的主从结构，一主（namenode）多从（datanode）
HDFS的指令和linux指令相似(hadoop fs -xx)
HDFS对文件进行存储之前，会将文件进行切块
文件大小如果超过128MB，则默认一块为128MB,未到128MB,则文件大小即为文件块大小
在HDFS中会自动对文件进行备份，默认一块备份三份

HDFS设计原理

HDFS中的三种角色:namenode(核心节点),datanode(数据节点),客户端

namenode

namenode在整个HDFS中类似于一种调节器的角色，所有的请求都要交由
namenode，然后namenode再分发给不同的datanode进行操作。

namenode上记录着HDFS中文件的元数据：
文件的大小
Block(文件块)的大小
BlockId
文件的存储路径
文件的权限
文件副本个数（默认为三个）
BlockId与datanode的映射关系,一个文件切为多少块
一个BlockId就对应多少个datanode.

1.元数据为了查询效率以及崩溃恢复将文件在内存和磁盘中
各存储了一份。
2.元数据在磁盘中的存储位置由core-site.xml中的hadoop.tmp.dir
属性决定
3.在hadoop的元文件存储路径/dfs/name/current/下记录着两种
不同的元数据存储文件，edits和fsimage.
4.edits中记录着所有的写操作
5.fsimage（映像文件中记录这原数据）,内存中的元数据文件和映像文件
中记录着的元数据并不是同步的。
6.在客户端执行写操作的时候，namenode接收到请求验证权限成功之
后，会将写操作指令先记录到edits_inprogress文件中,记录成功之后会对内存中
的元数据进行修改，元数据修改完之后会给客户端发送一个ack信号
但是此时的fsimage映像文件是不发生改变的。
7.edits文件的滚动以及fsimage文件的更新
  a.当edits文件超过指定大小(默认64MB,可以通过fs.checkpoint.size来
调节)之后会将操作更新到fsimage中
  b.edits文件与上次滚动时间超过3600s(可以通过fs.checkpoint.period来调节)
之后，会进行一次滚动并更新fsiamge文件
  c.hadoop重启之后,edits会自动进行一次滚动并更新fsimage映像文件
  d.可以通过hadoop dfsadmin -rollEdits命令对edits文件强制滚动，并
更新fsimage映像文件。

8.edits_inprogress文件在滚动之后会产生一个新的edits以及一个新的
edits_inprogress
9.namenode通过心跳机制对datanode进行管理
10.datanode每隔3s对namennode发送一次心跳
11.HDFS的心跳机制其实是RPC
12.如果超过10分钟namenode没有接收到datanode的心跳,namenode会认为
datanode已经宕机，并根据元数据对该datanode中的数据进行备份。
13.心跳信息包含：
  datanode的状态（预服役，服役，退役，预退役）
  BlockId