新手如何快速搭建Hadoop集群

千里之行,始于足下,在利用Hadoop进行学习和开发,首先需要安装环境,本文将介绍如何在linux系统快速安装部署hadoop集群。

01

环境准备

准备三台服务器,本文是安装64位centos6.7的三台虚拟机,关于如何创建在Windows创建虚拟机并安装centos系统再此就不介绍,创建过程简单,读者自行百度学习。

三台机器,一台作为master主节点,另两台作为slave从节点,具体IP地址规划如下:

192.168.15.128 (master)

192.168.15.129 (slave1)

192.168.15.130 (slave2)

02

设置主机名和关闭防火墙

1

设置主机名

linux系统更改系统主机名的方式有两种,分别为临时修改和永久修改,下面就简单介绍下这两种方式:

1、临时修改

[root@192 ~]# hostname master

[root@192 ~]# bash

[root@master ~]#

2、永久修改

编辑/etc/sysconfig/network配置文件,如:HOSTNAME=master

修改配置文件后,重启生效

2

关闭防火墙

为了避免在后续搭建过程中出现问题,我们首先将防火墙关闭。

1、关闭iptables

iptables -nvL #列出iptables规则

iptables -F #清除iptables规则

/etc/init.d/iptables save #报存iptables规则

/etc/init.d/iptables stop #关闭防火墙

如果不希望在开启时启动iptables服务,可以使用下面命令:

chkconfig iptables off

2、关闭selinux

selinux的关闭方式也有两种,分为临时关闭和永久关闭。

(1)临时关闭

setenforce 0

(2)永久关闭

编辑/etc/selinux/config配置文件,将SELINUX修改为:

SELINUX=disabled

修改后,重启服务器生效。

03

安装jdk

三个节点都需安装,在此以主节点master为例进行解释:

将hadoop安装包和jdk上传至linux服务器,修改权限,并执行jdk可执行文件。

将jdk目录移动到/usr/local下,修改/etc/profile配置文件。

在/etc/profile文件末尾增加以下内容:

export JAVA_HOME=/usr/local/jdk1.6.0_45

export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin

刷新配置文件/etc/profile,查看jdk是否安装成功。

04

安装配置hadoop

以下操作在主机点master上,解压hadoop压缩包,编辑masters配置文件,将内容设置为master。

编辑slaves文件,将内容改为:

[root@master conf]# vim slaves

slave1

slave2

编辑core-site.xml文件,增加:

编辑mapred-site.xml,增加:

编辑hdfs-site.xml,增加:

编辑hadoop-env.sh,在最后增加:

05

配置hosts

三台机器上都需要配置,下面以主节点master为例:

[root@master conf]# vim /etc/hosts

06

拷贝文件

将master上的hadoop-1.2.1分别拷贝至slave1、slave2上:

[root@master src]# scp -r hadoop-1.2.1 192.168.15.129:/usr/local/src/

[root@master src]# scp -r hadoop-1.2.1 192.168.15.130:/usr/local/src/

如果提示scp命令不存在或不成功,在三台机器上都安装openssh-clients, yum install -y openssh-clients

07

建立互信

建立互信关系,三个节点都要配置相同的authorized_keys。

验证互信关系是否配置成功,如配置成功,则登陆机器无需输入密码。

08

启动集群

检查hadoop集群是否启动成功,主节点master上查看,若安装成功,则有JobTracker、SecondaryNameNode、NameNode进程。

从节点slaves上查看,若安装成功,则有DataNode和TaskTracker进程。

至此,hadoop机器安装成功,下面利用hadoop进行简单的操作,如下:

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180805G0YV6K00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励