大家好,又见面了,我是你们的朋友全栈君。
Linux (观看Linux安装及常用指令)
JDK(观看Linux安装jdk文档)
准备至少3台机器(通过克隆虚拟机;配置好网络JDK 时间 hosts,保证节点间能互ping通)
时间同步
ssh免密钥登陆(两两互通免密钥)
我这边三个节点分别为 : node01 node02 node03
node01 上面部署 namenode 和 datanode
node02 上面部署 secondaryNameNode 和 datanode
node03 上面部署 datanode
export JAVA_HOME= “你的Jdk安装目录” 如图
配置解释:
<configuration>
<property>
//配置namenode所在的服务器
<name>fs.defaultFS</name>
<value>hdfs://node01:9000</value>
</property>
<property>
//hadoop.tmp.dir 是hadoop文件系统依赖的基础配置,很多路径都依赖它。如果hdfs-site.xml中不配 置namenode和datanode的存放位置,默认就放在这个路径中
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-2.6.5</value>
</property>
</configuration>
配置解释:
<configuration>
<property>
//block保存的副本数量,不配置默认是3 我这边是没配置
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node02:50090</value>
</property>
<property>
<name>dfs.namenode.secondary.https-address</name>
<value>node02:50091</value>
</property>
</configuration>
在/home/hadoop-2.6.5/etc/hadoop/新建masters文件
在 slaves 中配置
注意:每行写一个 写成3行
直接把压缩好的 hadoop 发送到node02 node03 节点上
vi ~/.bash_profile
不然你的环境变量不会生效
hdfs namenode -format
service iptables stop
start-dfs.sh
[root@node01 home]# start-dfs.sh
Starting namenodes on [node01]
node01: starting namenode, logging to /home/hadoop-2.6.5/logs/hadoop-root-namenode-node01.out
node03: starting datanode, logging to /home/hadoop-2.6.5/logs/hadoop-root-datanode-node03.out
node02: starting datanode, logging to /home/hadoop-2.6.5/logs/hadoop-root-datanode-node02.out
node01: starting datanode, logging to /home/hadoop-2.6.5/logs/hadoop-root-datanode-node01.out
Starting secondary namenodes [node02]
node02: starting secondarynamenode, logging to /home/hadoop-2.6.5/logs/hadoop-root-secondarynamenode-node02.out
先启动 namenode,再启动 datanode ,最后是 secondaryNameNode
浏览器输入 node01:50070(前提是你在windows配置了 hosts),出现下面界面说明成功
node01:
[root@node01 home]# jps
3617 DataNode
3529 NameNode
3839 Jps
[root@node01 home]#
node02:
[root@node02 hadoop]# jps
2344 Jps
2296 SecondaryNameNode
2205 DataNode
[root@node02 hadoop]#
node03:
[root@node03 subdir0]# jps
1923 Jps
1854 DataNode
[root@node03 subdir0]#
说明你的分布式HDFS搭建成功!!!
hdfs dfs -ls 路径
hdfs dfs -mkdir /data ##创建一个名为data的文件夹
hdfs dfs -rm -r /data ##删除在根目录下 名为 data的文件夹
hdfs dfs -put 文件路径和名称 /data —>上传文件到hdfs /data文件下
hdfs dfs -get 要下载的文件路径和名称
hdfs dfs -copyToLocal 要下载的文件路径和名称
很多命令和Linux中都是大同小异,这里就不过多列举,感兴趣的小伙伴可以自行查看。
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/132835.html原文链接:https://javaforall.cn