一、配置Hadoop集群主节点
修改hadoop-env.sh文件
先进入到主节点hadoop01解压包etc/hadoop/目录,使用vi hadoop-env.sh指令打开hadoop-env.sh文件,找到JAVA_HOME参数位置,进入如下修改:
export JAVA_HOME=/export/servers/jdk
修改core-site.xml文件
该文件是Hadoop核心配置文件,其目的是配置HDFS地址、端口号,以及临时文件目录。使用vi core-site.xml打开文件,配置内容如下
fs.defaultFS hdfs://hadoop01:9000 hadoop.tmp.dir /export/servers/hadoop-2.9.1/tmp
修改hdfs-site.xml文件
主要是设置namenode和datanode进程,使用vi hdfs-site.xml指令打开该配置文件,配置内容如下:
dfs.replication 3 dfs.namenode.secondary.http-address hadoop02:50090
修改mapred-site.xml文件
该文件是MapReduce的核心配置文件,用于指定MapReduce运行时的框架,需要先通过cp mapred-site.xml.template mapred-site.xml命令将文件复制并重命名为mapred-site.xml。接着,使用vi mapred-site.xml指令打开mapred-site.xml文件进行修改,添加如下配置内容:
mapreduce.framework.name yarn
编写yarn-site.xml文件
本文件是YARN框架的核心配置文件,需要指定YARN集群管理者,使用vi yarn-site.xml指令打开该配置文件进行修改,添加如下配置内容:
yarn.resourcemanager.hostname hadoop01 yarn.nodemanager.aux-services mapreduce_shuffle
修改slaves文件
该文件用于记录Hadoop集群所有从节点的主机名使用vi slaves指令打开该配置文件进行修改,添加如下配置内容:
hadoop01hadoop02hadoop03
将配置文件发往各子节点,用scp命令如下:
scp /etc/profile hadoop02:/etc/profilescp /etc/profile hadoop03:/etc/profilescp -r /export/ hadoop02:/scp -r /export/ hadoop03:/
发送完配置文件后,要去相应的子节点进行更新,指令如下:
source /etc/profile
持续更新中......(每天10:24准时推送,查看更多内容请在菜单栏点击大数据技术)
领取专属 10元无门槛券
私享最新 技术干货