Hadoop集群配置

一、配置Hadoop集群主节点

修改hadoop-env.sh文件

先进入到主节点hadoop01解压包etc/hadoop/目录，使用vi hadoop-env.sh指令打开hadoop-env.sh文件，找到JAVA_HOME参数位置，进入如下修改：

export JAVA_HOME=/export/servers/jdk

修改core-site.xml文件

该文件是Hadoop核心配置文件，其目的是配置HDFS地址、端口号，以及临时文件目录。使用vi core-site.xml打开文件，配置内容如下

fs.defaultFS hdfs://hadoop01:9000 hadoop.tmp.dir /export/servers/hadoop-2.9.1/tmp

修改hdfs-site.xml文件

主要是设置namenode和datanode进程，使用vi hdfs-site.xml指令打开该配置文件，配置内容如下：

dfs.replication 3 dfs.namenode.secondary.http-address hadoop02:50090

修改mapred-site.xml文件

该文件是MapReduce的核心配置文件，用于指定MapReduce运行时的框架，需要先通过cp mapred-site.xml.template mapred-site.xml命令将文件复制并重命名为mapred-site.xml。接着，使用vi mapred-site.xml指令打开mapred-site.xml文件进行修改，添加如下配置内容：

mapreduce.framework.name yarn

编写yarn-site.xml文件

本文件是YARN框架的核心配置文件，需要指定YARN集群管理者，使用vi yarn-site.xml指令打开该配置文件进行修改，添加如下配置内容：

yarn.resourcemanager.hostname hadoop01 yarn.nodemanager.aux-services mapreduce_shuffle

修改slaves文件

该文件用于记录Hadoop集群所有从节点的主机名使用vi slaves指令打开该配置文件进行修改，添加如下配置内容：

hadoop01hadoop02hadoop03

将配置文件发往各子节点，用scp命令如下：

scp /etc/profile hadoop02:/etc/profilescp /etc/profile hadoop03:/etc/profilescp -r /export/ hadoop02:/scp -r /export/ hadoop03:/

发送完配置文件后，要去相应的子节点进行更新，指令如下：

source /etc/profile

持续更新中......(每天10：24准时推送，查看更多内容请在菜单栏点击大数据技术)