专栏首页波波烤鸭Hadoop05【命令操作】

Hadoop05【命令操作】

  上篇文章我们成功的搭建了hadoop的集群环境,本文来介绍下hadoop的基本操作

HDFS存储目录

1.存储目录结构

在datanode的hdfsdata目录下查看:

文件

说明

BP-1867776167-192.168.88.61-1554050717516

BP-random integer-NameNode-IP address-creation time

finalized/rbw

这两个目录都是用于实际存储HDFS BLOCK的数据,里面包含许多block_xx文件以及相应的.meta文件,.meta文件包含了checksum信息。rbw是“replica being written”的意思,该目录用于存储用户当前正在写入的数据

dncp_block_verification.log.curr

该文件用于追踪每个block最后修改后的checksum值,该文件会定期滚动,滚动后会移到.prev文件

in_use.lock

防止一台机器同时启动多个Datanode进程导致目录数据不一致

2.浏览器快速查看

常用命令

1.查看根目录下的所有文件

hadoop fs -ls /

2.上传文件

将a.txt文件上传到hdfs中

上传命令

hadoop fs -put a.txt /

浏览器中查看上传的文件

hadoop-node03节点存储结构中查看文件

3.查看上传文件内容

hadoop fs -cat /a.txt

4.下载文件

hadoop fs -get /a.txt

5.删除文件

hadoop fs -rm /a.txt

6.创建目录

[root@hadoop-node04 subdir0]# hadoop fs -mkdir /aaa
[root@hadoop-node04 subdir0]# hadoop fs -mkdir -p  /a1/b1/c1

大文件操作

上传一个超过128M的文件

文件拼接

  将切割成两块的文件拼接成一个文件,我们看下是否可以解压使用。

[root@hadoop-node04 subdir0]# cat blk_1073741826 >> hadoop.file
[root@hadoop-node04 subdir0]# cat blk_1073741827 >> hadoop.file 

尝试解压缩

tar -zxvf hadoop.file

执行基本信息

1.查看HDFS的基本统计信息:

hadoop dfsadmin -report

2. 退出安全模式

  NameNode在启动时会自动进入安全模式。安全模式是NameNode的一种状态,在这个阶段,文件系统不允许有任何修改。系统显示Name node in safe mode,说明系统正处于安全模式,这时只需要等待十几秒即可,也可通过下面的命令退出安全模式:

hadoop dfsadmin -safemode leave

3.进入安全模式

在必要情况下,可以通过以下命令把HDFS置于安全模式:

hadoop dfsadmin -safemode enter

常见的错误

  1. 初始化工作目录结构 hdfs namenode -format 只是初始化了namenode的工作目录,而datanode的工作目录是在datanode启动后自己初始化的
  2. datanode不被namenode识别的问题 namenode在format初始化的时候会形成两个标识:blockPoolId,clusterId 新的datanode加入时,会获取这两个标识作为自己工作目录中的标识,一旦namenode重新format后,namenode的身份标识已变,而datanode如果依然持有原来的id,就不会被namenode识别
  3. datanode下线后多久看到效果 datanode不是一下线就会被namenode认定为下线的,有一个超时时间
  4. 关于副本数量的问题 副本数由客户端的参数dfs.replication决定(优先级: conf.set > 自定义配置文件 > jar包中的hdfs-default.xml)

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Hadoop04【集群环境搭建】

    链接:https://pan.baidu.com/s/1OXiW1i3gD6fVvrFX7NXsJg 提取码:nyzk 下载内容包括源文件和编译的文件。

    用户4919348
  • MapReduce之Eclipse本地运行

      前面我们介绍的wordcount案例是在Eclipse中写好代码,然后打成jar包,然后在Linux环境中执行的,这种方式在我们学习和调试的时候就显得非常的...

    用户4919348
  • Nginx详解Location匹配规则

    本文我们来给大家详细介绍下Nginx中的核心配置文件中的Location匹配规则。   location会尝试根据用户请求中的URI来匹配上面的/uri表达式...

    用户4919348
  • Hadoop hdfs完全分布式搭建教程

    1、安装环境 ①、四台Linux CentOS6.7 系统   hostname                ipaddress              ...

    IT可乐
  • 通过思维导图,让女朋友搭建一个hadoop完全分布式

    女朋友:你上次教我搭建伪分布式,我已经会搭建啦。只用了一台机器就搞定了呀,想学完全分布式的搭建。

    用户7656790
  • hadoop-What-How-Why

    The Apache Hadoop software library is a framework that allows for the distr...

    字母哥博客
  • HDFS的Shell操作(开发重点)

    bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 dfs是fs的实现类。

    用户7656790
  • 保姆级教程:还愁不会搭建伪分布式吗?(其实很简单)

    在上面三篇文章我们已经把基本环境搭建好了,也进行了相应的案例演示,下面我们将进入伪分布式的环境搭建,并运行实例,建议先看上面三篇文章在进行操作。看一百遍,不如手...

    用户7656790
  • hadoop伪分布式环境搭建

      由于博主之前没有从事过hadoop相关的开发工作,最近正好遇到一个hadoop相关的项目,于是决定自学研究一下,博主整理的东西绝对是最全最详细的,不要问为什...

    会说话的丶猫
  • COS助力HADOOP轻松实现数据存储

    1.2 如何在hadoop集群上实现简单的数据处理,通过 wordcount 实现测试。

    Hunter

扫码关注云+社区

领取腾讯云代金券