前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布

hdfs

作者头像
平凡的学生族
发布2019-05-25 09:35:47
5650
发布2019-05-25 09:35:47
举报
文章被收录于专栏:后端技术后端技术

三个基本概念

  1. 数据块
  2. NameNode 管理文件系统的命名空间,维护所有文件和目录, 记录文件中各个块所在数据节点的信息
  3. DataNode

如果NameNode挂掉了怎麼辦 hadoop2有兩個NameNode,一個是active狀態,另一個是備份。一個宕機可以馬上切換成另一個,用戶則不會感覺到變化。

寫流程

  1. client對NameNode發出請求,NameNode返回信息
  2. client將文件切塊,對於每個塊,先传给集群中一個DataNode,再由集群内部自行备份。
  3. DataNode集群向NameNode报告备份完成,NameNode向client返回成功信息。

读流程

  1. client向NameNode发出请求,NameNode返回文件的信息。
  2. client向DataNode发出请求,接受各个数据块。如果有DataNode宕机,则转而向有备份的DataNode发出请求。
  3. 全部数据块接受完毕。
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2018.10.08 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 三个基本概念
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档