Hadoop集群环境安装

工具:

虚拟机virtualbox. JDK  hadoop1.1.2

Hadoop集群环境的搭建:

说明:在hadoop伪分布式基础上进行安装集群环境

分布结构

主节点(1个,是hadoop):NameNode、JobTracker、SecondNameNode

从节点(2个,是hadoop1、hadoop2):DataNode、Tasktracker

Virtuabox里复制出两个节点,作为从节点。改ip.

192.168.56.100

以下命令来使设置生效。

service network restart

注意:当上述命令输入之后,出现了问题,这是delete掉以前的网络连接,重启系统,在自动生成的网络连接里改IP。

改主机名:

vi  /etc/sysconfig/network

将HOSTNAME改为hadoop1 ,重启使主机名生效。

如果改主节点的主机名后,要再改:

vi /etc/hosts # 将主机名改掉。这里是DNS映射

Hadoop 里的配置也要改关于主机的部分:

cd /usr/local/Hadoop/conf
vi core-site.xml
vi mapred-site.xml

另个节点相同操作,对网络进行配置。

把复制的两个节点ssh配置删了。

cd  /root/.ssh
ls
rm–rf  *

把/usr/local 下的东西全部删了

cd/usr/local
ls
rm–rf  *

把以前配置的环境变量内容也删了

vi  /etc/profile

另个节点相同操作,直接如下操作:

rm -rf/root/.ssh/*
rm -rf/usr/local/*
vi/etc/profile

各节点重新产生ssh加密文件:

ssh-keygen –t rsa
 
[root@hadoop1local]# cd /root/.ssh
[root@hadoop1.ssh]# cat id_rsa.pub >> authorized_keys
[root@hadoop1.ssh]# ssh localhost
Theauthenticity of host 'localhost (::1)' can't be established.
RSA keyfingerprint is 2a:35:90:55:ab:b0:74:3c:e4:8a:fc:16:ad:c9:28:21.
Are yousure you want to continue connecting (yes/no)? yes
Warning:Permanently added 'localhost' (RSA) to the list of known hosts.
Lastlogin: Sun May 10 15:05:52 2015 from 192.168.56.1
[root@hadoop1~]#exit

编辑各个节点的/etc/hosts,在该文件中含有所有节点的ip与hostname的映射信息

查看是否ssh可以解析本主机名

不能解析要去/etc/hosts 里进行配置 例如:

192.168.56.101 hadoop1

另一节点是相同配置的

如果改了主节点的主机名的话,也要重新产生ssh机密文件,跟以上的操作是一样的。

各主机要相互访问,ping通。要对hosts 文件进行配置

在hosts文件里加入相应ip 和主机名,例如在主机hadoop里加入

192.168.56.101 hadoop1

192.168.56.102 hadoop2

其他两个节点相同做法。这里有个问题如果是100台机器这样操作不累死了?解决办法:

把一台配置好的,我们可以直接把它复制到另两个节点上。这里涉及ssh的免密码登陆。

两两节点之间的SSH免密码登陆

把hadoop的公钥复制到hadoop1上;

ssh-copy-id  -i  hadoop1

测试是否可以免密码登陆;

ssh hadoop1

再把hadoop2的公钥复制到hadoop1上;

ssh-copy-id  -i hadoop1

测试是否可以免密码登陆;

ssh hadoop2

hadoop和hadoop2节点应该有相同的配置。为了方便,如下操作:

在hadoop1下 :

[root@hadoop1.ssh]# scp /root/.ssh/authorized_keys hadoop:/root/.ssh/
root@hadoop'spassword:
authorized_keys                                100% 1181     1.2KB/s  00:00

在hadoop里测试看是否复制过去了

more  /root/.ssh/authorized_keys

同理复制给hadoop2

把hadoop的hadoop目录下的logs和tmp删除

[root@hadooplocal]# cd hadoop
[root@hadoophadoop]# ls
bin          hadoop-ant-1.1.2.jar          ivy          README.txt
build.xml    hadoop-client-1.1.2.jar       ivy.xml      sbin
c++          hadoop-core-1.1.2.jar         lib          share
CHANGES.txt  hadoop-examples-1.1.2.jar     libexec      src
conf         hadoop-minicluster-1.1.2.jar  LICENSE.txt tmp
contrib      hadoop-test-1.1.2.jar         logs         webapps
docs         hadoop-tools-1.1.2.jar        NOTICE.txt
[root@hadoophadoop]# rm -rf logs/
[root@hadoophadoop]# rm -rf tmp/

把hadoop中的jdk、hadoop文件夹复制到hadoop1和hadoop2节点

scp –r /usr/local/jdk  Hadoop1:/usr/local/
scp –r /usr/local/hadoop Hadoop1:/usr/local/
scp –r /usr/local/jdk  Hadoop2:/usr/local/
scp –r /usr/local/hadoop Hadoop2:/usr/local/

把hadoop的/etc/profile复制到hadoop1和hadoop2节点,在目标节点中执行source /etc/profile

[root@hadooplocal]# scp /etc/profile  hadoop1:/etc/
profile                            100% 1986     1.9KB/s  00:00
 
[root@hadoop1local]# source /etc/profile
 
[root@hadooplocal]# scp /etc/profile  hadoop2:/etc/
profile                            100% 1986     1.9KB/s  00:00
 
[root@hadoop2~]# source /etc/profile

编辑hadoop的配置文件slaves,改为从节点的hostname,分别是hadoop1和hadoop2

[root@hadooplocal]# cd hadoop/conf
[root@hadoopconf]# vi slaves

格式化

在hadoop节点执行:

hadoop namenode –format

启动

在hadoop节点执行start-all.sh

浏览器查看启动成功后的界面:

注:对于配置文件core-site.xml和mapred-site.xml在所有节点中都是相同的内容。

如何将SecondaryNameNode 和NameNode分布在不同的节点上?

在hadoop 节点下,修改masters内容

[root@hadoopconf]# vi masters

比如将里面的localhost改为Hadoop1

效果如下:

Hadoop:

[root@hadoopconf]# jps

7008JobTracker

6836NameNode

7105 Jps

Hadoop1:

[root@hadoop1local]# jps

6315DataNode

6470TaskTracker

6561 Jps

6384SecondaryNameNode

动态的增加一个hadoop节点

1) 配置新节点的环境

2) 把新节点的hostname配置到主节点的slaves文件中

3) 在新节点,启动进程

  hadoop-daemon.sh start datanode
  hadoop-daemon.sh start tasktracker

4)在主节点执行脚本

hadoop dfsadmin -refresh  Nodes

动态的下架一个hadoop节点

模拟:

[root@hadoopconf]# jps
7008JobTracker
7203DataNode
7284TaskTracker
6836NameNode
7401 Jps
[root@hadoopconf]# kill -9 7203

在浏览器界面会看到hadoop的lastcontact值会变大,启动datanode它会向namenode汇报,如果联系不上,值就会变大,该值为本次汇报的时间 –上次联系的时间。

安全模式

安全模式下 不可以增删改,但可以查看

如下方式可以查看是否在安全模式下

[root@hadoopconf]# hadoop dfsadmin -safemode get
Safe modeis OFF

如何进入进入安全模式如下:

[root@hadoopconf]# hadoop dfsadmin -safemode enter
Safe modeis ON
[root@hadoopconf]# hadoop dfsadmin -safemode get
Safe modeis ON

离开安全模式:

[root@hadoopconf]# hadoop dfsadmin -safemode leave
Safe modeis OFF
[root@hadoopconf]# hadoop dfsadmin -safemode get
Safe modeis OFF

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 分布式日志收集系统:Flume

    Event 是一行一行的数据 1.flume是分布式的日志收集系统,把收集来的数据传送到目的地去。 2.flume里面有个核心概念,叫做agent。ag...

    chaplinthink
  • kill 掉所有正在运行的hadoop jobs

    chaplinthink
  • 分布式协调服务-Zookeeper

    Zookeeper 是google的chubby一个开源实现,是hadoop的分布式协调服务 它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,...

    chaplinthink
  • 动画:面试必刷之二叉树的镜像

    根据题目的要求,求出一个二叉树的镜像。首先我们要知道什么是二叉树的镜像,我们通过上图可以得出,镜像就是二叉树的每层节点的左右子树进行相互交换。说白了就是除了根节...

    乔戈里
  • 分享一个开源的论坛图片IP签名档

    Youngxj
  • Google Chrome 浏览器将整治所有赛门铁克 SSL/TLS 证书

    神无月
  • 360开源的Qconf配置同步工具使用记录

    我是攻城师
  • LeetCode 114. Flatten Binary Tree to Linked List

    关于二叉树的题目,最直接最简单的方法就是采用递归,因为二叉树具有天然的递归结构,实际上二叉树的定义就是用递归的思想来定义的:一个节点的左右子树任然是一个二叉树。

    大学里的混子
  • 【leetcode刷题】T148-修剪二叉搜索树

    https://leetcode-cn.com/problems/trim-a-binary-search-tree/

    木又AI帮
  • 【LeetCode】一文详解二叉树的三大遍历:前序、中序和后序(python和C++实现)

    深度学习技术前沿公众号博主

扫码关注云+社区

领取腾讯云代金券