元数据存储在fsiamge
文件+edits
文件中!
快照
文件)日志
文件)NN负责处理集群中所有客户端的请求和所有DN的请求!在一个集群中,通常NN需要一个高配置,保证NN可以及时处理客户端或DN的请求,一旦NN无法及时处理请求,HDFS就已经瘫痪!
edits
文件的产生:
NN在启动之后,每次接受的写操作请求,都会将写命令记录到edits文件中,edits文件每间隔一定的时间和大小滚动!
fsimage
文件的产生:
①第一次格式化NN时,此时会创建NN工作的目录,其次在目录中生成一个fsimage_000000000000文件
②当NN在每次启动时,NN会将所有的edits
文件和fsiamge
文件加载到内存合并
得到最新的元数据,将元数据持久化
到磁盘生成新的fsimage
文件
③如果启用了2nn,2nn也会辅助NN合并元数据,会将合并后的元数据发送到NN
如果直接使用cat
命令打开edits文件你会看见一堆火星文……
正确方法:使用hdfs
命令
hdfs oev -i edits_xxx -o /打开后的存放路径/xxx.xml
oev
:offline edits viewer
,提供离线的edits编辑器打开edits文件i
:input_file,输入文件,即edits文件o
:output_file,输出文件,即打开后保存在哪个文件里以xml格式打开edits文件,会发现里面有七对record
(记录)标签,即对写操作分为成了七步
标签里又有txid
:每次写操作命令,分解为若干步,每一步都会有一个id,这个id称为txid
①inodes
: 记录在fsimage文件中或edits文件中
②blocklist
: 块的位置信息(每次DN在启动后,自动上报的)