你也能看懂Hadoop——HDFS

CSOT工程师

那些数据怎么这么慢,服务器挂了么?老板还等着报告呢!

晓智

如果数据量大,一般的关系数据库是这样的,当读取的记录数很多时,就会出现这个问题

CSOT工程师

你们不是要搞大数据吗?如果数据量增加，那效率不是更慢吗？怎么搞啊

晓智

不用担心，大数据时代我们会使用新的数据库技术，叫HDFS

CSOT工程师

说人话！

晓智

HDFS的全称是：Hadoop Distribute Files System.

谈到大数据，我们往往想到的是当今主流的大数据技术框架:Hadoop。Hadoop 是一个由Apache基金会所开发的一个开源分布式计算平台。Hadoop能够让用户轻松架构和使用，并且能够让用户在其平台上开发运行处理海量数据的应用程序。它的两大核心技术是：分布式文件系统HDFS与分布式编程模型MapReduce。现在让我们来了解什么是分布式文件系统HDFS。

什么是HDFS?

HDFS的全称是：Hadoop Distribute Files System.在整个Hadoop技术体系中，HDFS提供了数据分布式存储的底层技术支持。

HDFS的存储原理

数据块

HDFS首先将海量数据文件以64M为基准，将文件分割成大量数据块，这些数据块是HDFS默认的基本存储单位，这么做的好处在于能够实现将一个100TB的大型数据文件进行分割并存放在许多500G的小硬盘之中的场景。

数据节点DataNode

若干个数据块被存储在数据节点（DataNode）之中，每个数据块在HDFS系统中均有多个备份文件，分别存储在不同的DataNode之中，提高了整个系统的安全性和可靠性。

中心服务器NameNode

HDFS集群中所有的DataNode均由一个中心服务器NameNode统一管理，NameNode负责管理整个文件系统的命名空间和控制着用户对文件的访问。它存储的不是数据，而是文件分了多少块，每个块都有哪些副本，分别存放在哪里DataNode上诸如此类的信息。

小助手SecondaryNameNode

SecondaryNameNode是NameNode的小助手,主要实现备份，日志管理等工作。

总而言之：DataNode是一个个存放数据的小仓库，而NameNode管理着这些小仓库。HDFS架构图如下：

HDFS的读取原理

当用户访问HDFS集群来读取数据时：

1）通过HDFS Client访问集群中的分布文件系统（DistributedFileSystem）。

2）DistributedFileSystem会在NameNode中查询用户所需数据的具体位置。这些数据已经被HDFS分割成了数据块并备份多份分别存放在多个DataNode中。

3）DistributedFileSystem会优先把距离客户端近的数据块地址告知HDFS的 FSDataInputStream。让其建立与相应DataNode的链接，目标数据便从DataNode源源不断的流向HDFS Client。

HDFS优缺点

优点：

1）高容错性，数据保存多个副本，副本丢失自动恢复。

2）适合批处理，适合大数据处理。

3）可应用于廉价的商用机器集群上。

4）流式数据访问，读取整个数据集比读取一条数据更高效。

缺点：

1）无法高效存储大量小文件。

2）不适合低延迟数据访问。

CSOT工程师

那这样看来它也不能大小数据都通吃嘛

晓智

是啊，所以我们的策略是＇适合的才是最好的＇，放心，我们会从用户的角度来搭配最佳的数据存取方案，让我们飞得更远

文章转载自：华星智能制造规划处

Hadoop大数据应用

你也能懂大数据