centos7 hadoop 集群安装配置

转载请务必注明原创地址为:http://dongkelun.com/2018/04/05/hadoopClusterConf/

前言:

本文安装配置的hadoop为分布式的集群,单机配置见:centos7 hadoop 单机模式安装配置

我用的三个centos7, 先将常用环境配置好(CentOS 初始环境配置),设置的ip分别为:192.168.44.138、192.168.44.139,192.168.44.140,分别对应别名master、slave1、slave2

1、首先安装配置jdk(我安装的1.8)

2、给每个虚拟机的ip起个别名

在每个虚拟机上执行

vim /etc/hosts 

在最下面添加:

192.168.44.138 master
192.168.44.139 slave1
192.168.44.140 slave2

在每个虚拟机上ping一下,保证都能ping通

ping master
ping slave1
ping slave2

3、SSH免密码登录

保证三台机器都可以免密互通,参考:linux ssh 免密登录

3、下载hadoop(每台机器)

下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/,我下载的是hadoop-2.7.5.tar.gz

4、解压到/opt目录下(每台机器、目录根据自己习惯)

tar -zxvf hadoop-2.7.5.tar.gz  -C /opt/

5、配置hadoop环境变量(每台机器)

vim /etc/profile
export HADOOP_HOME=/opt/hadoop-2.7.5
export PATH=$PATH:$HADOOP_HOME/bin  
source /etc/profile

6、配置hadoop(仅master)

配置文件里的文件路径和端口随自己习惯配置

6.1 配置slaves

需要现将slaves1文件中的localhost删掉,本次使用两个slave节点,让master仅作为NameNode使用,也可以让master既作为NameNode也作为 DataNode,在slaves添加master即可

vim /opt/hadoop-2.7.5/etc/hadoop/slaves 
slave1
slave2

6.2 配置hadoop-env.sh

vim /opt/hadoop-2.7.5/etc/hadoop/hadoop-env.sh

找到# The java implementation to use.将其下面的一行改为:

export JAVA_HOME=/opt/jdk1.8.0_45

6.3 配置core-site.xml

vim /opt/hadoop-2.7.5/etc/hadoop/core-site.xml
<configuration>
	<property>
        <name>hadoop.tmp.dir</name>
        <value>file:///opt/hadoop-2.7.5</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:8888</value>
    </property>
</configuration>

6.4 配置hdfs-site.xml

vim /opt/hadoop-2.7.5/etc/hadoop/hdfs-site.xml

dfs.replication 一般设为 3,但这次只使用两个slave,所以 dfs.replication 的值设为 2

<configuration>
	<property>
	    <name>dfs.namenode.secondary.http-address</name>
	    <value>master:50090</value>
	</property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///opt/hadoop-2.7.5/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///opt/hadoop-2.7.5/tmp/dfs/data</value>
    </property>
</configuration>

6.5 配置yarn-site.xml

vim /opt/hadoop-2.7.5/etc/hadoop/yarn-site.xml 
<configuration>

<!-- Site specific YARN configuration properties -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>master</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

6.6 配置mapred-site.xml

cd /opt/hadoop-2.7.5/etc/hadoop/
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

6.7 将上述配置的文件传到其他节点的/opt/hadoop-2.7.5/etc/hadoop/目录中

scp -r slaves hadoop-env.sh core-site.xml  hdfs-site.xml yarn-site.xml hdfs-site.xml root@slave1:/opt/hadoop-2.7.5/etc/hadoop/
scp -r slaves hadoop-env.sh core-site.xml  hdfs-site.xml yarn-site.xml hdfs-site.xml root@slave2:/opt/hadoop-2.7.5/etc/hadoop/

7、启动与停止(仅master)

7.1 hdfs启动与停止

第一次启动hdfs需要先格式化:

cd /opt/hadoop-2.7.5
./bin/hdfs namenode -format  

启动:

./sbin/start-dfs.sh

停止:

./sbin/stop-dfs.sh

验证,浏览器输入:http://192.168.44.138:50070

简单的验证hadoop命令:

hadoop fs -mkdir /test

在浏览器查看,出现如下图所示,即为成功

7.2 yarn启动与停止

启动:

cd /opt/hadoop-2.7.5
./sbin/start-yarn.sh  
./sbin/stop-yarn.sh 

浏览器查看:http://192.168.44.138:8088

jps查看进程

master:

slave1:

slave2:

若各节点的进程均如图所示,那么hadoop集群就配置成功!

参考资料

http://www.powerxing.com/install-hadoop-cluster/

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏个人分享

Hadoop常用命令

HDFS基本命令: hadoop fs -cmd cmd: 具体的操作,基本上与UNIX的命令行相同 args:参数 HDFS资源URI格式: scheme:/...

1212
来自专栏Java成神之路

hbase_学习_01_HBase环境搭建(单机)

本文承接上一篇:hadoop_学习_02_Hadoop环境搭建(单机)  ,主要是搭建HBase的单机环境

903
来自专栏星汉技术

原 Spark On Yarn完全分布式搭

6345
来自专栏闵开慧

hadoop各配置文件中各配置项详细说明

3.1. 环境变量 hadoop-env.sh name value 含义 JAVA_HOME /usr/java/jdk1....

36211
来自专栏about云

各个版本Linux单节点伪分布安装CDH5.1.X及提交wordcount到yarn高可靠文档

问题导读: 1.安装cdh5伪分布配置文件在什么位置? 2.不同的操作系统,cdh5的安装过程都包含哪些流程? 3.在yarn上运行wordcount都需要哪...

2786
来自专栏about云

Hadoop3.0: YARN Resource配置说明

问题导读 1.yarn默认情况下使用哪些资源? 2.Yarn如何实现扩展自定义资源? 3.自定义资源,可以在哪个配置文件中配置? 4.哪些配置可以在yarn-...

5606
来自专栏闵开慧

hadoop安装配置过程总结

 一、Jdk安装 系统已经默认有安装,但不完全,所以需要自己安装 配置环境变量: 在usr下新建java文件夹,将Java7压缩文件解压在该文件夹中,并配置系统...

3736
来自专栏简单聊聊Spark

Spark内核分析之Spark的HA源码分析

        Spark作业运行的集群环境有两种,分别基于standalone模式和Yarn集群模式。我们知道Yarn集群提供了HA来保证了集群的高可用,而s...

1212
来自专栏木子昭的博客

Github变身网络硬盘

1836
来自专栏专注研发

HDFS基础配置

执行步骤:(1)配置集群(2)启动、测试集群增、删、查(3)执行wordcount案例

1753

扫码关注云+社区

领取腾讯云代金券