前往小程序，Get更优阅读体验！
立即前往
文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
首页
学习
活动
专区
工具
TVP最新优惠活动
返回腾讯云官网
社区首页 >专栏 >安装Hadoop集群

安装Hadoop集群

作者头像
用户4870038
发布于 2021-02-05 11:35:27
2.1K0
发布于 2021-02-05 11:35:27
举报
文章被收录于专栏：MyBatis入门案例-注解

文章目录

安装集群前的准备工作

关闭防火墙，开机不自启

代码语言：javascript
复制
server iptables stop
chkconfig iptables off

关闭selinux

代码语言：javascript
复制
vi /etc/selinux/config

ssh免密码登录

代码语言：javascript
复制
ssh-keygen -t rsa
ssh-copy-id node01

修改主机名

代码语言：javascript
复制
vi /etc/sysconfig/network

设置主机名和IP的对应关系

代码语言：javascript
复制
vi /etc/hosts
远程拷贝：scp /etc/hosts node02:/etc/

安装jdk

。。。 查看之前的这篇安装jdk： https://mp.csdn.net/mdeditor/102639879# 保证至少有三个虚拟机，每个虚拟机完成上面操作

安装Hadoop集群

上传压缩包并解压

在这里插入图片描述
在这里插入图片描述
代码语言：javascript
复制
[root@node01 ~]#  mkdir -p /export/softwares /export/servers
[root@node01 ~]#  cd /export/softwares/
[root@node01 softwares]# rz
[root@node01 softwares]# mv hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz hadoop-2.6.0-cdh5.14.0.tar.gz
[root@node01 softwares]# cd /export/servers/
[root@node01 servers]# tar -zxvf /export/softwares/hadoop-2.6.0-cdh5.14.0.tar.gz

查看Hadoop支持的压缩方式以及本地库

代码语言：javascript
复制
[root@node01 /]# cd /export/servers/hadoop-2.6.0-cdh5.14.0/bin/
[root@node01 bin]# ./hadoop checknative
在这里插入图片描述
在这里插入图片描述

如果出现openssl为false，那么所有机器在线安装openssl即可，执行以下命令，虚拟机联网之后就可以在线进行安装了

代码语言：javascript
复制
[root@node01 bin]# yum -y install openssl-devel
[root@node01 bin]# ./hadoop checknative
在这里插入图片描述
在这里插入图片描述

修改配置文件

进入这个目录修改配置文件

代码语言：javascript
复制
cd /export/servers/hadoop-2.6.0-cdh5.14.0//etc/hadoop/

修改core-site.xml

代码语言：javascript
复制
[root@node01 hadoop]# vim core-site.xml
代码语言：javascript
复制
<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://node01:8020</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value>
	</property>
	<!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>

	<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
</configuration>

修改hdfs-site.xml

代码语言：javascript
复制
[root@node01 hadoop]# vim hdfs-site.xml
代码语言：javascript
复制
<configuration>
	<!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割   --> 
	<!--   集群动态上下线 
	<property>
		<name>dfs.hosts</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host</value>
	</property>
	
	<property>
		<name>dfs.hosts.exclude</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value>
	</property>
	 -->
	 
	 <property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>node01:50090</value>
	</property>

	<property>
		<name>dfs.namenode.http-address</name>
		<value>node01:50070</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>
	</property>
	<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value>
	</property>
	
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
</configuration>

修改Hadoop-env.sh

代码语言：javascript
复制
![在这里插入代码片](https://img-blog.csdnimg.cn/20191104093553522.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0h4bTY0NDA=,size_16,color_FFFFFF,t_70)

无需修改

在这里插入图片描述
在这里插入图片描述

修改mapred-site.xml

代码语言：javascript
复制
[root@node01 hadoop]# vim mapred-site.xml
代码语言：javascript
复制
<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

	<property>
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node01:10020</value>
	</property>

	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node01:19888</value>
	</property>
</configuration>

修改yarn-site.xml

代码语言：javascript
复制
[root@node01 hadoop]# vim mapred-site.xml
代码语言：javascript
复制
<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node01</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

修改slaves文件

代码语言：javascript
复制
[root@node01 hadoop]# vim slaves
代码语言：javascript
复制
node01
node02
node03

创建文件存放目录

代码语言：javascript
复制
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas 
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

安装包的分发

代码语言：javascript
复制
[root@node01 hadoopDatas]# cd /export/servers/  
[root@node01 servers]# scp -r hadoop-2.6.0-cdh5.14.0/ node02:$PWD
[root@node01 servers]# scp -r hadoop-2.6.0-cdh5.14.0/ node03:$PWD

配置Hadoop的环境变量

代码语言：javascript
复制
[root@node01 profile.d]# vim  /etc/profile.d/hadoop.sh
export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
在这里插入图片描述
在这里插入图片描述

配置完成之后生效

代码语言：javascript
复制
[root@node01 profile.d]# source /etc/profile

三台机器都要进行配置Hadoop的环境变量

代码语言：javascript
复制
[root@node01 profile.d]# scp hadoop.sh node02:$PWD
[root@node01 profile.d]# scp hadoop.sh node03:$PWD

配置完成之后生效

代码语言：javascript
复制
[root@node02 profile.d]# source /etc/profile     
[root@node03 profile.d]# source /etc/profile

集群启动

代码语言：javascript
复制
[root@node01 sbin]# cd /export/servers/hadoop-2.6.0-cdh5.14.0/sbin
[root@node01 sbin]# start-all.sh
在这里插入图片描述
在这里插入图片描述

查看集群是否启动

方法一：

代码语言：javascript
复制
[root@node01 sbin]# jps
在这里插入图片描述
在这里插入图片描述

方法二： hdfs集群访问地址： http://192.168.100.21:50070/dfshealth.html#tab-overview

在这里插入图片描述
在这里插入图片描述

方法三： yarn集群访问地址： http://192.168.100.21:8088/cluster

在这里插入图片描述
在这里插入图片描述

关闭集群

代码语言：javascript
复制
[root@node01 sbin]# cd /export/servers/hadoop-2.6.0-cdh5.14.0/sbin
[root@node01 sbin]# stop-all.sh
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
本文参与 腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。
原始发表：2019/11/05 ，如有侵权请联系 cloudcommunity@tencent.com 删除
hadoop
xml
jdk
yarn
http

本文分享自 作者个人站点/博客 前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ，欢迎热爱写作的你一起参与！

hadoop
xml
jdk
yarn
http
评论
登录后参与评论
0 条评论
热度
最新
登录 后参与评论
推荐阅读
LV.
文章
0
获赞
0
目录
  • 文章目录
  • 安装集群前的准备工作
    • 关闭防火墙，开机不自启
      • 关闭selinux
        • ssh免密码登录
          • 修改主机名
            • 设置主机名和IP的对应关系
              • 安装jdk
              • 安装Hadoop集群
                • 上传压缩包并解压
                  • 查看Hadoop支持的压缩方式以及本地库
                    • 修改配置文件
                      • 创建文件存放目录
                        • 安装包的分发
                          • 配置Hadoop的环境变量
                            • 集群启动
                              • 查看集群是否启动
                                • 关闭集群
                                相关产品与服务
                                数据保险箱
                                数据保险箱（Cloud Data Coffer Service，CDCS）为您提供更高安全系数的企业核心数据存储服务。您可以通过自定义过期天数的方法删除数据，避免误删带来的损害，还可以将数据跨地域存储，防止一些不可抗因素导致的数据丢失。数据保险箱支持通过控制台、API 等多样化方式快速简单接入，实现海量数据的存储管理。您可以使用数据保险箱对文件数据进行上传、下载，最终实现数据的安全存储和提取。
                                产品介绍产品文档
                                精选特惠 用云无忧
                                领券

                                腾讯云开发者

                                扫码关注腾讯云开发者

                                扫码关注腾讯云开发者

                                领取腾讯云代金券

                                热门产品

                                热门推荐

                                更多推荐

                                Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有 

                                深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

                                腾讯云计算（北京）有限责任公司 京ICP证150476号 |  京ICP备11018762号 | 京公网安备号11010802020287

                                问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档

                                Copyright © 2013 - 2024 Tencent Cloud.

                                All Rights Reserved. 腾讯云 版权所有

                                登录 后参与评论