专栏首页WindCoderHadoop HDFS简介

Hadoop HDFS简介

HDFS是一种设计用于在通用硬件(commodity hardware)上运行的分布式文件系统。最初是作为Apache Nutch网络搜索引擎项目的基础设施而构建的。

  • HDFS具有高度容错能力,旨在部署在低成本硬件上。
  • HDFS提供对应用程序数据的高吞吐量访问,适用于具有大型数据集的应用程序。
  • HDFS放宽了一些POSIX要求,以实现对文件系统数据的流式访问。

HDFS架构

HDFS采用master/slave架构,并具有以下元素:

NameNode

NameNode是一个中心服务器,负责:

  • 管理文件系统的名字空间(namespace)
  • 客户端对文件的访问

Namenode执行文件系统的名字空间操作,比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体Datanode节点的映射。

DataNode

集群中的Datanode一般是一个节点一个,负责管理它所在节点上的存储:

  • Datanode负责处理文件系统客户端的读写请求。
  • 在Namenode的统一调度下进行数据块的创建、删除和复制。

Block

用户的数据以文件的形式存储在HDFS的文件系统中。 从内部看,一个文件其实被分成一个或多个数据块,这些块存储在一组DataNode上,每个块尽可能地存储于不同的DataNode中。之前1.x默认大小为64M,2.8.5的默认大小已经是128M。

Rack

可简单理解为存放服务器的支架。

HDFS采用一种称为机架感知(rack-aware)的策略来改进数据的可靠性、可用性和网络带宽的利用率。

HDFS中的文件是一次写入的(除了追加和截断),并且在任何时候都有一个写入器,亦即一次写入多次读取。

NameNode它定期从群集中的每个DataNode接收Heartbeat和Blockreport。收到Heartbeat意味着DataNode正常运行。Blockreport包含DataNode上所有块的列表。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Java中的数组是对象吗?

    首先说明:Java中的数组是对象,这个可以查看The Java Language Specification SE(4.3.1)可得,另外本文讨论的相关问题的结...

    汐楓
  • 数字探秘-统计所输入的字符X的二进制表示中含有多少个1

    /* 功能:数字探秘——统计所输入的字符X的二进制表示中含有多少个1 日期:2013-04-01 */

    汐楓
  • 数组排序

    汐楓
  • 大数据-HDFS基本介绍

    HDFS(Hadoop Distributed File System) 是一个 Apache Software Foundation项目, 是 Apache ...

    cwl_java
  • java练习本(2019-07-12)

    “ Love is our true destiny. We do not find the meaning Of life by ourselves alon...

    微笑的小小刀
  • 「GitHub」上一些可以涨薪的开源项目

    大家好,我是程序员小吴,今天我给大家找到了一些GitHub上关于面试的开源项目,大家各取所需,希望这些开源的项目能帮你在这个寒冬用很短的时间准备好面试和来年的跳...

    五分钟学算法
  • 漫谈未来的HDFS

    前面我们提到的HDFS,了解了HDFS的特性和架构。HDFS能够存储TB甚至PB规模的数据是有前提的,首先数据要以大文件为主,其次NameNode的内存要足够大...

    叁金
  • 漫谈未来的HDFS

    前面我们提到的HDFS,了解了HDFS的特性和架构。HDFS能够存储TB甚至PB规模的数据是有前提的,首先数据要以大文件为主,其次NameNode的内存要足够大...

    用户3128938
  • Spring Cloud异常系列-Unregistering JMX-exposed

    Unregistering JMX-exposed beans on shutdown app_pod_id:gh-point-v021-fcgkd

    用户2146693
  • 美摄音视频SDK:独家提供VR全景视频编辑功能,支持“抖音”等特效

    如今的移动视频行业,在BAT与今日头条等互联网巨头的重金刺激下,新一轮的增长迎来了该领域的“黄金时代”。与此同时,巨头的分割,也让身处该行业的百余位玩家深陷混战...

    BestSDK

扫码关注云+社区

领取腾讯云代金券