大数据 HDFS集群搭建 文件配置详解

HDFS有用的配置文件及说明

1、hdfs-site.xml

HA集群需要使用命名空间区分一个HDFS集群。同一个集群中的不同NameNode，使用不同的NameNode ID区分。

为了支持所有NameNode使用相同的配置文件，因此在配置参数中，需要把“nameservice ID”作为NameNode ID的前缀。

dfs.nameservices 命名空间的逻辑名称。提供服务的NS（nameservices）逻辑名称，与core-site.xml里的对应。如果有多个HDFS集群，可以配置多个命名空间的名称，使用逗号分开即可。

RPC（Remote Procedure Call Protocol）

远程过程调用协议。一个通俗的描述是：客户端在不知道调用细节的情况下，调用存在于远程计算机上的某个对象，就像调用本地应用程序中的对象一样。

目前，主流的平台中都支持各种远程调用技术，以满足分布式系统架构中不同的系统之间的远程通信和相互调用。

2、core-site.xml

3、hadoop-env.sh

4、slaves

slaves文件里面记录的是集群里所有DataNode的主机名。

hadoop-daemons.sh 中用到了 slaves 文件。

注意：配置文件里的host改成你自己的。