hadoop-hdfs安装部署

云缓缓知我意

发布于 2021-04-15 15:04:19

1.3K0

发布于 2021-04-15 15:04:19

文章被收录于专栏：kafka。

1、上传解压

上传到指定目录输入命令rz （如果没有这个命令需要安装lrzsz插件命令 yum -y install lrzsz）

解压到指定文件夹 tar -z/jxvf 压缩包文件 -C 解压的目录

2、配置hadoop的环境变量

vim /etc/profile.d/hadoop.sh

export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0 export PATH= P A T H : PATH: PATH:HADOOP_HOME/bin 配置完成之后生效 source /etc/profile

注： hadoop中所有的配置文件都需要全局同步

3、检查支持哪些库或包

进入hadoop安装目录的bin里面执行以下命令 ./hadoop checknative

如果出现openssl为false，那么所有机器在线安装openssl即可，执行以下命令，虚拟机联网之后就可以在线进行安装了 yum -y install openssl-devel

4、修改hadoop的核心配置文件（直接粘贴将主机名修改成自己的）

第一个配置文件：vim core-site.xml

	fs.defaultFS
	hdfs://node01:8020


	hadoop.tmp.dir
	/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas



	io.file.buffer.size
	4096




	fs.trash.interval
	10080

第二个配置文件： vim hdfs-site.xml

		dfs.namenode.secondary.http-address
		node01:50090



	dfs.namenode.http-address
	node01:50070


	dfs.namenode.name.dir
	file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas



	dfs.datanode.data.dir
	file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas



	dfs.namenode.edits.dir
	file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits


	dfs.namenode.checkpoint.dir
	file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name


	dfs.namenode.checkpoint.edits.dir
	file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits


	dfs.replication
	2


	dfs.permissions
	false

             
	dfs.blocksize
	134217728

第三个配置文件：vim Hadoop-env.sh

       export JAVA_HOME=/export/servers/jdk1.8.0_141  等同于 export JAVA_HOME=${JAVA_HOME}
       可以不修改

第四个配置文件：vim mapred-site.xml

	mapreduce.framework.name
	yarn



	mapreduce.job.ubertask.enable
	true



	mapreduce.jobhistory.address
	node01:10020



	mapreduce.jobhistory.webapp.address
	node01:19888

第五个配置文件：vim yarn-site.xml

	yarn.resourcemanager.hostname
	node01


	yarn.nodemanager.aux-services
	mapreduce_shuffle

5、设置集群有哪些工作节点

编辑slave文件 vim slave node01 node02 node03

6丶创建文件存放目录

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

7、其他节点分发

scp -r hadoop-2.6.0-cdh5.14.0 node02:$PWD
scp -r hadoop-2.6.0-cdh5.14.0 node03:$PWD

8、配置其他节点的hadoop的环境变量

  scp /etc/profile.d/hadoop.sh node02:/etc/profile.d/
  scp /etc/profile.d/hadoop.sh node03:/etc/profile.d/

9 、格式化集群

   在集群安装目录的bin内部
  执行一下命令进行格式化 hdfs namenode -format

10、集群启动

     在集群安装目录的sbin内部执行一下命令进行启动
      ./start-all.sh

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2019/11/05 ，如有侵权请联系 cloudcommunity@tencent.com 删除

ide

专用宿主机

html5

node.js

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

登录后参与评论

0 条评论

热度