前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >HDFS原理与应用 | 青训营笔记

HDFS原理与应用 | 青训营笔记

作者头像
鳄鱼儿
发布2024-05-21 21:40:32
870
发布2024-05-21 21:40:32
举报

HDFS 原理与应用

HDFS

Hadoop分布式文件系统(HDFS——Hadoop Distributed File System hadoop) 是指被设计成适合运行在 通用硬件(commodity hardware) 上的分布式文件系统(Distributed File System)。

分布式文件系统包括特征:

  • 大容量:更多的机器,更多的存储介质
  • 高可靠:多个副本提高容错能力
  • 低成本:不需要高端硬件扩容

分布式存储系统由对象存储、文件系统、块存储、数据库组成

HDFS功能特性

  • 分布式:受GFS启发,用Java实现的开源系统,没有实现完整的POSIX文件系统语义
  • 容错:自动处理,规避多种错误场景,例如常见的网络错误、机器宕机等
  • 高可用:一主多备模式实现元数据高可用,数据多副本实现用户数据的多可用
  • 高吞吐:Client直接从DataNode读取用户数据,服务端支持海量Client并发读写
  • 可扩展:支持联邦集群模式,DataNode数量可达10w级别
  • 廉价:只需要通用硬件,不需要定制高端的昂贵硬件设备

架构原理

HDFS组件

Clinet的写流程

Clinet读流程

元数据节点 NameNode

  • 维护目录树:维护目录树的增删改查操作,保证所有修改都能持久化,以便机器掉电不会造成数据丢失或不一致
  • 维护文件和数据块的关系:文件被切成多个块,文件以数据块为单位进行多副本存放
  • 维护文件快存放节点信息:通过接受DataNode的心跳汇报信息,维护集群系欸但的拓扑结构和每个文件块所有副本所在的DataNode类表
  • 分配新文件存放节点:Client创建新的文件时候,需要由NameNode来确定分配目标DataNode

数据结点DataNode

  • 数据块存取:DataNode需要高效实现对数据块在硬盘上的存取
  • 心跳汇报:把存放在本机的数据块 列表发送给NameNode,以便NameNode能维护数据块的位置信息,同时让NameNode确定该节点处于正常存活状态
  • 副本复制:数据写入时Pipeline IO操作、机器故障时补全副本

HDFS关键设计

分布式存储系统基本概念

  • 容错能力:能够处理绝大部分异常场景,例如服务器宕机、网络异常、磁盘故障、网络超时等
  • 一致性模型:为了实现容错,数据必须多副本存放,一致性要解决的问题是如何保障这多个副本的内容都是一致的
  • 可扩展性:分布式存储系统需要具备横向扩张scale-out的能力
  • 节点体系:常见的有主从模式、对等模式等,不管哪种模式,高可用是必须的功能。
  • 数据放置:系统是由多个节点组成,数据是多个副本存放时,需要考虑数据存放的策略
  • 单机存储引擎:在绝大部分存储系统中,数据都是需要落盘持久化,单机引擎需要解决的是根据系统特点,如何高效的存取硬盘数据

NameNode目录树维护

fsimage

  • 文件系统目录树
  • 完整的存放在内存中
  • 定时存放到硬盘上
  • 修改时只会修改内存中的目录树

EditLog

  • 目录树的修改日志
  • client更新目录树需要持久化EditLog后才能表示更新成功
  • EditLog可存放在本地文件系统,也可存放在专用系统上
  • NameNode Ha方案一个关键点就是如何实现EditLog共享

NameNode数据放置

数据块信息维护

  • 目录树保存每个文件的块ID
  • NameNode维护了每个数据块所在的节点信息
  • NameNode根据DataNode汇报的信息动态维护位置信息
  • NameNode不会持久化数据块位置信息

数据放置策略

  • 新数据存放到哪写节点
  • 数据均衡需要怎么合理搬迁数据
  • 3个副本怎么合理放置

按方式一存放,如果单机掉线,则无法获取到任何数据。

DataNode

数据块的硬盘存放

  • 文件在NameNode已分割成block
  • DataNodeblock为单位对数据进行存取

启动扫盘

  • DataNode需要知道本机存放了哪些数据块
  • 启动时把本机硬盘上的数据块列表加载到内存中

HDFS写异常处理

客户端宕机

情景:文件写了一半,client自己挂掉了。可能产生的问题: 副本不一致、Lease无法释放;

租约(Lease)client要修改一个文件时,需要通过NameNode上锁,这个锁就是租约。

解决办法Lease Recovery

服务端宕机

情景:文件写入过程中,DataNode侧出现异常挂掉了

异常出现的时机:创建连接时、数据传输时、complete阶段

解决办法:Pipeline Recovery

client读异常处理

情景:读取文件的过程中,DataNode侧出现异常挂掉了

解决办法:节点Failover

旁路系统

Balancer:均衡DataNode的容量

Mover:确保副本放置符合策略要求

控制面建设

可观测性设施:指标埋点、数据采集、访问日志、数据分析

运维体系建设:运维操作需要平台化、NameNode操作复杂、DataNode机器规模庞大、组件控制面API

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2024-05-21,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • HDFS 原理与应用
    • HDFS
      • 架构原理
        • HDFS组件
        • Clinet的写流程
        • Clinet读流程
        • 元数据节点 NameNode
        • 数据结点DataNode
      • HDFS关键设计
        • 分布式存储系统基本概念
        • NameNode目录树维护
        • NameNode数据放置
        • DataNode
        • HDFS写异常处理
        • client读异常处理
        • 旁路系统
        • 控制面建设
    相关产品与服务
    对象存储
    对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
    领券
    问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档