前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >NameNode是如何存储元数据的?

NameNode是如何存储元数据的?

作者头像
孙晨c
发布2020-07-13 10:10:05
2.4K0
发布2020-07-13 10:10:05
举报
文章被收录于专栏:无题~无题~

1.NN的作用

  • 保存HDFS上所有文件的元数据!
  • 接受客户端的请求!
  • 接受DN上报的信息,给DN分配任务(维护副本数)!

2.元数据的存储

元数据存储在fsiamge文件+edits文件中!

  • fsimage(元数据的快照文件)
  • edits(记录所有写操作的日志文件)

NN负责处理集群中所有客户端的请求和所有DN的请求!在一个集群中,通常NN需要一个高配置,保证NN可以及时处理客户端或DN的请求,一旦NN无法及时处理请求,HDFS就已经瘫痪!

edits文件的产生: NN在启动之后,每次接受的写操作请求,都会将写命令记录到edits文件中,edits文件每间隔一定的时间和大小滚动!

fsimage文件的产生: ①第一次格式化NN时,此时会创建NN工作的目录,其次在目录中生成一个fsimage_000000000000文件

当NN在每次启动时,NN会将所有的edits文件和fsiamge文件加载到内存合并得到最新的元数据,将元数据持久化到磁盘生成新的fsimage文件

③如果启用了2nn,2nn也会辅助NN合并元数据,会将合并后的元数据发送到NN

3.查看edits文件

如果直接使用cat命令打开edits文件你会看见一堆火星文…… 正确方法:使用hdfs命令

代码语言:javascript
复制
hdfs oev -i edits_xxx -o /打开后的存放路径/xxx.xml
  • 参数oevoffline edits viewer ,提供离线的edits编辑器打开edits文件
  • 参数i:input_file,输入文件,即edits文件
  • 参数o:output_file,输出文件,即打开后保存在哪个文件里

以xml格式打开edits文件,会发现里面有七对record(记录)标签,即对写操作分为成了七步 标签里又有txid :每次写操作命令,分解为若干步,每一步都会有一个id,这个id称为txid

NN的元数据分两部分

inodes : 记录在fsimage文件中或edits文件中 ②blocklist: 块的位置信息(每次DN在启动后,自动上报的)

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020-07-09 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1.NN的作用
  • 2.元数据的存储
  • 3.查看edits文件
  • NN的元数据分两部分
相关产品与服务
对象存储
对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档