HDFS基础配置

HADOOP-3.1.0-----HDFS基础配置

执行步骤:(1)配置集群(2)启动、测试集群增、删、查(3)执行wordcount案例

一、配置集群

 1.在 hadoop-env.sh配置文件添加 jdk绝对路径  export JAVA_HOME=/opt/module/jdk1.8.0_181

    配置文件位置:/opt/module/hadoop-3.1.0/etc/hadoop/ ,hadoop安装路径下,后文不再叙述。

  2.配置 core-site.xml

    <!-- 指定HDFS中NameNode的地址-->
    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储目录-->
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-2.7.2/data/tmp</value>
    </property>

   3.配置hdfs.site.xml

    <!-- 指定HDFS副本的数量-->
    <property>
    <name>dfs.replication</name>
    <value>1</value>
    </property>

   4.配置ssh免密登录  

https://www.cnblogs.com/jin-nuo/p/9430066.html

二、启动集群

    1.格式化NameNode(第一次启动时格式化,以后就不要总格式化,频繁格式化会造成namenode_id和datanode_id不一致)

      bin/hdfs namenode -format

    2.启动NameNode和DataNode

      hdfs --daemon start namenode

      hdfs --daemon start datanode

    3.jps+回车  查看是否启动

     web端查看HDFS文件系统http://ip:9870/

      3.0之前版本端口:50070

三、测试案例

    1.在hdfs文件系统上创建一个input文件夹      hdfs dfs -mkdir -p /user/atguigu/input

    2.将测试文件内容上传到文件系统上

      hdfs dfs -put wcinput/wc.input /user/atguigu/input/

    3.查看上传的文件是否正确       hdfs dfs -ls /user/atguigu/input/       hdfs dfs -cat /user/atguigu/ input/wc.input

      4.运行mapreduce程序       hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/atguigu/input/ /user/atguigu/output

    5.查看输出结果       hdfs dfs -cat /user/atguigu/output/*

    6.将测试文件内容下载到本地       hadoop fs -get /user/atguigu/ output/part-r-00000 ./wcoutput/     7.删除输出结果       hdfs dfs -rm -r /user/atguigu/output

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏顶级程序员

【更新】Hadoop代码结构及载入Ecplise方法

一、项目结构 在Hadoop代码结构中,按照功能的不同将项目划分到不同目录当中。 ? 整个项目可以用maven进行构建,因此根目录下有pom.xml文件。 每个...

36112
来自专栏Hadoop实操

如何修改CDSW服务的DNS和HOSTNAME

由于在安装CDSW时域名未统一使用公司的DNS服务,所以这里需要将CDSW服务器的DNS及HOSTNAME做修改。本篇文章主要介绍如何修改CDSW服务的DNS和...

3935
来自专栏about云

各个版本Linux单节点伪分布安装CDH5.1.X及提交wordcount到yarn高可靠文档

问题导读: 1.安装cdh5伪分布配置文件在什么位置? 2.不同的操作系统,cdh5的安装过程都包含哪些流程? 3.在yarn上运行wordcount都需要哪...

2786
来自专栏简单聊聊Spark

Spark内核分析之Spark的HA源码分析

        Spark作业运行的集群环境有两种,分别基于standalone模式和Yarn集群模式。我们知道Yarn集群提供了HA来保证了集群的高可用,而s...

1212
来自专栏技术专栏

Hadoop 伪分布式安装部署

使得环境变量生效: source ~/.bash_profile 验证java是否配置成功: java -v 详细请参考 http://blog.csdn....

3702
来自专栏云原生架构实践

Yarn 安装 on centos7

9071
来自专栏闵开慧

ubuntu_hadoop 部署笔记

单机模式部署 一、Jdk安装 命令:sudo apt-get install openjdk-6-jdk 目录:/usr/l...

3359
来自专栏伦少的博客

centos7 hadoop 集群安装配置

转载请务必注明原创地址为:http://dongkelun.com/2018/04/05/hadoopClusterConf/

4193
来自专栏about云

spark开发环境详细教程1:IntelliJ IDEA使用详细说明

问题导读 1.IntelliJ IDEA是否可以直接创建Scala工程? 2.IntelliJ IDEA安装,需要安装哪些软件? 3.IntelliJ IDE...

3744
来自专栏JavaEdge

史上最快! 10小时大数据入门实战(八)- Hadoop 集成 Spring 的使用1 Spring Hadoop 开发环境搭建及访问 HDFS 文件系统

1423

扫码关注云+社区

领取腾讯云代金券