大数据成长之路------hadoop集群的部署(2)Hadoop集群安装部署

Maynor

发布于 2022-11-30 13:50:44

4140

发布于 2022-11-30 13:50:44

文章被收录于专栏：最新最全的大数据技术体系最新最全的大数据技术体系

文章目录
Hadoop集群安装部署
Hadoop集群初体验

hadoop集群的部署

Hadoop集群安装部署

1、服务器主机名和IP配置（三台）
2、修改每个主机的/etc/hosts文件，添加IP和主机名的对应关系（三台）
3、管理节点到从节点配置无密码登录
4、配置jdk  1.8（三台）
5、关闭防火墙（三台）
6、关闭selinux（三台）
vi   /etc/selinux/config
SELINUX=enforcing        SELINUX=disabled
		重启系统

安装流程

		1、上传软件包到管理节点，在管理节点解压并配置
		2、将修改完的解压包，远程拷贝到所有的从节点
		3、启动软件

Hadoop安装部署 1、软件包上传并解压

a)tar -zxvf hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz  -C ../servers/

2、第二步查看hadoop支持的压缩方式以及本地库

a)./hadoop checknative

b)安装openssl
yum -y install openssl-devel
				./hadoop checknative

3、修改配置文件

a)core-site.xml
b)hdfs-site.xml
c)Hadoop-env.sh  （不用改）
d)mapred-site.xml
i.cp  mapred-site.xml.template    mapred-site.xml
ii.修改
e)yarn-site.xml
f)slaves

4、创建文件夹

	mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
	mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
	mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas 
	mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
	mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
	mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

5、安装包的分发

		scp -r hadoop-2.6.0-cdh5.14.0/ node02:$PWD
		scp -r hadoop-2.6.0-cdh5.14.0/ node03:$PWD

6、配置hadoop环境变量

a) 创建文件/etc/profile.d/hadoop.sh 并编辑
export  HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export  PATH=$PATH:$HADOOP_HOME/bin

b)source /etc/profile

7、启动集群 a)格式化集群在第一个节点执行 hadoop namenode -format

b)启动 i.每个组件独立启动

1.启动namenode   node01节点   ./hadoop-daemon.sh  start  namenode
2.启动namenode	node01、02、03节点  ./hadoop-daemon.sh  start  datanode

3.启动resourcemanager   node01节点  ./yarn-daemon.sh   start  resourcemanager
4.启动nodemanager  node01、02、03节点    ./yarn-daemon.sh  start  nodemanager

ii.单独启动

1.单独启动HDFS  :  ./start-dfs.sh        关闭 ./stop-dfs.sh
2.单独启动Yarn   :  ./start-yarn.sh       关闭 ./stop-yarn.sh

iii.一键启动所有启动：

./start-all.sh

关闭：

./stop-all.sh

总结: 组件启动有一定顺序,必须严格依照

8、浏览器查看启动页面 http://主节点ip:50070

http://主节点ip:8088

Hadoop集群初体验

数据的上传

		创建文件夹：hadoop  fs  -mkdir   /BD19
		 查看文件夹内容：  hadoop  fs  -ls  /BD19
		上传数据：hadoop  fs  -put XXX.txt  /BD19

大数据计算

	计算pi   3.141592653……
hadoop jar  /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/
hadoop-mapreduce-examples-2.6.0-cdh5.14.0.jar  pi  10  100