HDFS基础配置

HADOOP-3.1.0-----HDFS基础配置

执行步骤：（1）配置集群（2）启动、测试集群增、删、查（3）执行wordcount案例

一、配置集群

　1.在 hadoop-env.sh配置文件添加 jdk绝对路径　　export JAVA_HOME=/opt/module/jdk1.8.0_181

　　　　配置文件位置：/opt/module/hadoop-3.1.0/etc/hadoop/ ，hadoop安装路径下，后文不再叙述。

　　2.配置 core-site.xml

　　　　<!-- 指定HDFS中NameNode的地址-->
　　　　<property>
　　　　<name>fs.defaultFS</name>
　　　　<value>hdfs://localhost:9000</value>
　　　　</property>
　　　　<!-- 指定hadoop运行时产生文件的存储目录-->
　　　　<property>
　　　　<name>hadoop.tmp.dir</name>
　　　　<value>/opt/module/hadoop-2.7.2/data/tmp</value>
　　　　</property>

　　　3.配置hdfs.site.xml

　　　　<!-- 指定HDFS副本的数量-->
　　　　<property>
　　　　<name>dfs.replication</name>
　　　　<value>1</value>
　　　　</property>

　　　4.配置ssh免密登录  

https://cloud.tencent.com/developer/article/1346104

二、启动集群

　　　　1.格式化NameNode（第一次启动时格式化，以后就不要总格式化，频繁格式化会造成namenode_id和datanode_id不一致）

　　　　　　bin/hdfs namenode -format

　　　　2.启动NameNode和DataNode

　　　　　　hdfs --daemon start namenode

　　　　　　hdfs --daemon start datanode

　　　　3.jps+回车  查看是否启动

　　　　　web端查看HDFS文件系统http://ip:9870/

　　　　　　3.0之前版本端口：50070

三、测试案例

　　　　1.在hdfs文件系统上创建一个input文件夹

　　　　　hdfs dfs -mkdir -p /user/atguigu/input

　　　　2.将测试文件内容上传到文件系统上

　　　　　 hdfs dfs -put wcinput/wc.input /user/atguigu/input/

　　　　3.查看上传的文件是否正确

　　　　　　hdfs dfs -ls /user/atguigu/input/

　　　　　　hdfs dfs -cat /user/atguigu/ input/wc.input

　　　   4.运行mapreduce程序

　　　　　　hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/atguigu/input/ /user/atguigu/output

　　　　5.查看输出结果

　　　　　　hdfs dfs -cat /user/atguigu/output/*

　　　　6.将测试文件内容下载到本地

　　　　　　hadoop fs -get /user/atguigu/ output/part-r-00000 ./wcoutput/

　　　　7.删除输出结果

　　　　　　hdfs dfs -rm -r /user/atguigu/output