Hadoop入门之分布式部署

环境说明

• 系统环境：Centos 7.6
• Hadoop版本：hadoop-3.2.1
• java版本：java-1.8.0

安装说明

部署位置：/usr/local/hadoop

1. 配置本地hosts，并配置各个节点之间ssh访问（密钥）；
2. 配置jdk1.8.0环境 ；
3. 在NameNode节点下载安装包，解压，移动到 /etc/local 目录；
4. 修改配置hadoop-env.sh、core-site.xml 、hdfs-site.xml 、mapred--site.xml、yarn-site.yml、workers；
5. 将修改好配置文件的Hadoop安装包分发到DataNode节点；

修改Hadoop配置

• hadoop-env.sh export HADOOP_LOG_DIR=/data/hadoop/logs export JAVA_HOME=/usr/local/jdk1.8 export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root
• core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://node1:9820</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/data/hadoop/tmp</value> </property> </configuration>
• hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>3</value> # 不要大于DataNode数量 </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>node2:9868</value> </property> </configuration>
• workers：配置从节点（DataNode）主机 node2 node3 node4
• 将Hadoop安装包分发到DataNode节点: $ scp -r hadoop-3.2.1 node2:pwd

启动

配置系统环境变量

将Hadoop命令加入系统环境变量/etc/profile：

JAVA_HOME=/usr/local/jdk1.8/
JAVA_BIN=/usr/local/jdk1.8/bin
JRE_HOME=/usr/local/jdk1.8/jre
CLASSPATH=/usr/local/jdk1.8/jre/lib:/usr/local/jdk1.8/lib:/usr/local/jdk1.8/jre/lib/charset.jar
HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbinin

将文件分发到各个节点，然后source /etc/profile。

启动hdfs

• 格式化文件系统（在node1节点操作即可）：hdfs namenode -format

- 生成集群的ID；
- 生成fs-image文件，目的是元数据持久化。启动：
$ start-dfs.sh
启动日志保存在

• 访问hdfs的web管理界面：http://node1:9870

注意事项

NameNode默认web端口为9870，在配置hadoop时不要与之冲突。

参考

官方文档