Hadoop 安装（单机版）

宋先生

发布于 2020-02-18 23:02:53

2K0

发布于 2020-02-18 23:02:53

文章被收录于专栏：宋先生的Coding之旅宋先生的Coding之旅

1 下载安装

[官网下载链接](<https://hadoop.apache.org/releases.html> )

1.1 这里选择安装的是2.9.2，使用下面命令进行下载：

# cd ~/software
wget http://apache.communilink.net/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

1.2 解压重命名：

tar -xzvf hadoop-2.9.2.tar.gz
mv hadoop-2.9.2 hadoop

1.3 配置环境变量：

使用vim编辑~/.bashrc文件，加入以下配置(目录换成自己的安装目录）：

export HADOOP_HOME=/software/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

使用source命令使配置生效：source ~/.bashrc

可以使用echo $PATH 输出查看是否正确

2 简单配置

2.1 配置core-site.xml

文件位置：$HADOOP_HOME/etc/hadoop/core-site.xml

命令：

cd /software/hadoop/etc/hadoop
vim core-site.xml

配置如下：

<configuration>
  <!-- 指定运行端口 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <!-- 指定临时目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/hadoop/tmp</value>
    </property>
</configuration>

2.2 配置hdfs-site.xml

文件位置：$HADOOP_HOME/etc/hadoop/hdfs-site.xml

命令：

cd /software/hadoop/etc/hadoop
vim hdfs-site.xml

配置：

<configuration>
    <!-- 备份数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

2.3 配置mapred-site.xml

文件位置：$HADOOP_HOME/etc/hadoop/mapred-site.xml.template

命令：

cd /software/hadoop/etc/hadoop
# 复制并重命名
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

配置：

<configuration>
    <!-- 配置资源管理器 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

2.4 配置

文件位置：$HADOOP_HOME/etc/hadoop/yarn-site.xml

命令：

cd /software/hadoop/etc/hadoop
vim yarn-site.xml

配置：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

3 启动Hadoop

# 第一次，格式化namenode
hdfs namenode -format
# 运行HDFS
start-dfs.sh
# 运行yarn
start-yarn.sh
# 查看运行状况(前提是安装jdk并配置环境变量)
jps
# 停止hdfs
stop-dfs.sh
# 停止yarn
stop-yarn.sh

本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。

原始发表：2020-01-26，如有侵权请联系 cloudcommunity@tencent.com 删除

xml