Hadoop伪分布式搭建（hadoop2.x通用）

bboy枫亭

发布于 2020-09-22 10:54:53

7750

发布于 2020-09-22 10:54:53

文章被收录于专栏：csdn_blogcsdn_blog

Hadoop伪分布式搭建
1. 先关闭防火墙（建议）
2. 配置免密钥
3. 解压安装jdk和hadoop并配置环境变量
4. 配置core-site.xml
5. 配置hdfs-site.xml
6. 配置mapred-site.xml
7. 配置yarn-site.xml
8. 配置slaves文件
9. 格式化hdfs
10. 启动集群并验证环境是否成功搭建
10.1 启动hdfs
10.2 启动yarn

先说下我的环境 centos7.6（64位）安装包准备： jdk-8u231-linux-x64.tar.gz hadoop-2.6.5.tar.gz

如果读者使用的是 ubuntu 或者其他 linux 版本，思路和本文一样，只不过命令略有出入。

1. 先关闭防火墙（建议）

执行 systemctl stop firewalld.service

# 查看是否防火墙是否关闭
[root@lft soft]# systemctl status firewalld
● firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
   Active: inactive (dead)
     Docs: man:firewalld(1)

2. 配置免密钥

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3. 解压安装jdk和hadoop并配置环境变量

（1）解压jdk并配置环境变量 tar -xf jdk-8u231-linux-x64.tar.gz

[root@lft jdk1.8.0_231]# pwd
/root/soft/jdk1.8.0_231
[root@lft jdk1.8.0_231]# vim /etc/profile

# 在文件末尾追加
export JAVA_HOME=/root/soft/jdk1.8.0_231
export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:. 
PATH=$PATH:$JAVA_HOME

# 使配置生效
[root@lft jdk1.8.0_231]# source /etc/profile
# 查看成功没有
[root@lft jdk1.8.0_231]# java -version
openjdk version "1.8.0_262"
OpenJDK Runtime Environment (build 1.8.0_262-b10)
OpenJDK 64-Bit Server VM (build 25.262-b10, mixed mode)

（2）解压hadoop并配置环境变量 tar -xf hadoop-2.6.5.tar.gz

export HADOOP_HOME=/root/soft/hadoop-2.6.5
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

（3）二次配置 JAVA_HOME 环境变量

把../xx/hadoop-2.6.5/etc/hadoop/下面的这三个文件里的 JAVA_HOME 的值改成刚刚配置的：export JAVA_HOME=/root/soft/jdk1.8.0_231。

vi hadoop-env.sh
vi mapred-env.sh
vi yarn-env.sh

4. 配置core-site.xml

修改../xx/hadoop-2.6.5/etc/hadoop/下的 core-site.xml文件 vi core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://lft:9000</value>
        <!-- 以上ip地址或主机名要按实际情况修改 -->
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/lft/hadoop/local</value>
    </property>
</configuration>

5. 配置hdfs-site.xml

修改../xx/hadoop-2.6.5/etc/hadoop/下的 hdfs-site.xml文件 vi hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>lft:50090</value>
        <!-- 以上ip地址或主机名要按实际情况修改 -->
    </property>
</configuration>

6. 配置mapred-site.xml

修改../xx/hadoop-2.6.5/etc/hadoop/下的 mapred-site.xml.template文件先更名，后配置 cp mapred-site.xml.template mapred-site.xml vi mapred-site.xml

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

7. 配置yarn-site.xml

修改../xx/hadoop-2.6.5/etc/hadoop/下的 yarn-site.xml文件 vi yarn-site.xml

    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>lft</value>
        <!-- 以上主机名或IP地址按实际情况修改 -->
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>