前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >显示HDFS存储信息

显示HDFS存储信息

作者头像
sparkle123
发布于 2020-12-31 03:39:32
发布于 2020-12-31 03:39:32
1.2K00
代码可运行
举报
运行总次数:0
代码可运行

显示文件数

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
hdfs dfs -count -q /spark2-history

image.png

显示文件夹下文件总大小 -s -h

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
hdfs dfs -du -s -h  /spark2-history

image.png

显示文件由那些块构成

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
hdfs fsck /spark2-history/application_1608084068201_452033_1 -files   -blocks  -racks

显示文件由那些块构成 -files:显示文件的文件名称、大小、块数量及是否可用; -blocks: 显示每个块在文件中的信息,一个块用一行显示; -racks: 展示了每个块所处的机架位置及DataNode的位置;

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
Connecting to namenode via http://bigdata002.yyy.com.cn:50070/fsck?ugi=hdfs&files=1&blocks=1&racks=1&path=%2Fspark2-history%2Fapplication_1608084068201_452033_1
FSCK started by hdfs (auth:KERBEROS_SSL) from /172.16.255.20 for path /spark2-history/application_1608084068201_452033_1 at Mon Dec 28 21:47:50 CST 2020
/spark2-history/application_1608084068201_452033_1 1692130 bytes, 1 block(s):  OK
0. BP-86590029-172.16.255.20-1578389062797:blk_2163930329_1090575119 len=1692130 Live_repl=2 [/default-rack/172.16.254.158:1019, /default-rack/172.16.254.138:1019]

Status: HEALTHY
 Total size:    1692130 B
 Total dirs:    0
 Total files:   1
 Total symlinks:        0
 Total blocks (validated):  1 (avg. block size 1692130 B)
 Minimally replicated blocks:   1 (100.0 %)
 Over-replicated blocks:    0 (0.0 %)
 Under-replicated blocks:   0 (0.0 %)
 Mis-replicated blocks:     0 (0.0 %)
 Default replication factor:    2
 Average block replication: 2.0
 Corrupt blocks:        0
 Missing replicas:      0 (0.0 %)
 Number of data-nodes:      100
 Number of racks:       1
FSCK ended at Mon Dec 28 21:47:50 CST 2020 in 14 milliseconds


The filesystem under path '/spark2-history/application_1608084068201_452033_1' is HEALTHY
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
hadoop几个问题
海量的数据无论是存储还是计算,总是要保证其架构的高可用,数据仓库的构建是一个合的过程,而微服务又是一个分的过程,天下大势,分分合合。
SRE运维实践
2021/03/04
2.1K0
hadoop几个问题
查看Hadoop HDFS 中的一个文件对应block信息
该文章介绍了如何使用 Hadoop 进行大数据处理和分析。主要内容包括:Hadoop 的基本配置、集群搭建、数据存储、数据清洗、数据处理和结果展示。同时,文章还介绍了如何使用 Hadoop 进行数据分析和可视化。
程裕强
2018/01/02
2.8K0
Hadoop集群日常运维
namenode中的元数据非常重要,如丢失或者损坏,则整个系统无法使用。因此应该经常对元数据进行备份,最好是异地备份。
星哥玩云
2022/07/04
1.2K0
《快学BigData》--Hadoop总结(D)(37)
Hadoop总结 - - - - - - - - - - - - - - - - - - - - - - - - - - - - 210
小徐
2019/08/05
5580
《快学BigData》--Hadoop总结(D)(37)
Hadoop环境搭建与测试
CentOS安装和配置Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm
星哥玩云
2022/07/03
5670
HDFS块丢失
(2)hdfs fsck / | egrep -v ‘^.+$’ | grep -v eplica
程裕强
2022/05/06
6810
HDFS块丢失
HDFS 高阶内容
保存 文件树 保存 file->block (file == idnode) 不保存 block->location
birdskyws
2018/12/07
6690
Hadoop HDFS 用户指南
This document is a starting point for users working with Hadoop Distributed File System (HDFS) either as a part of a Hadoop cluster or as a stand-alone general purpose distributed file system. While HDFS is designed to "just work" in many environments, a
用户1154259
2018/01/17
7390
EMR入门学习之HDFS的运维操作(十三)
HDFS是分布式文件系统。HDFS支持fsck命令来检查系统中的各种不一致状况。我们可以使用fsck 来查看当前文件系统的状态。该命令提供了若干选项,不同选项完成不同的功能。
披荆斩棘
2019/11/22
1.3K0
HDFS元信息管理的核心技术与实现
HDFS(Hadoop Distributed File System)是大数据领域中一种核心分布式文件系统,以高可靠性和高扩展性为特点,为海量数据存储提供了高效解决方案。具备高度容错性,通过分布式架构实现数据的高效存储与管理,HDFS采用分块存储与冗余副本策略,确保数据的高可用性与持久性,同时支持高吞吐量的数据访问,满足大数据量处理对性能与稳定性的需求,适用于大规模数据存储和处理场景,特别是读多写少的场景。
童子龙
2025/03/19
1960
HDFS元信息管理的核心技术与实现
hadoop常用维护命令
hadoop常用维护命令 列出正在运行的job $ hadoop job -list kill掉job(1234指jobid) $ hadoop job -kill 1234 查看hdfs块状态 $ hadoop fsck / FSCK started by nange from /127.0.0.1 for path / at Mon Apr 21 22:26:29 CST 2014 ................................ /hdfs/test/avg/out/par
字母哥博客
2020/09/23
5620
hadoop hdfs命令_hadooplinux命令
所有的HDFS命令都调用bin/hdfs脚本文件,如果运行hdfs脚本没有带任何参数的话,则打印所有命令的描述。
全栈程序员站长
2022/11/09
8140
[hadoop3.x]HDFS存储策略和冷热温三阶段数据存储(六)概述
[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS
Maynor
2021/10/09
8430
hdfs报错 'There are 10 missing blocks...'
今天本要部署spark on yarn,因为要在hdfs创建一些共享文件,于是到hdfs web UI去看了一下,结果发现下面的错误,顺手处理一下。
阿dai学长
2020/03/13
3.6K0
[1166]CDH集群删除主机节点
2、选择需要下线的主机,开始下线。为了避免下线过程中出现数据丢失的风险,一次下线的主机数量要小于 hdfs block 的副本数量。
周小董
2022/10/24
2.5K0
[1166]CDH集群删除主机节点
Hadoop生态系统命令合集(更新中……)
Usage: DFSck [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]
小爷毛毛_卓寿杰
2019/02/13
4400
0460-HDFS纠删码的机架感知
Fayson在前面的文章中对Hadoop3的新特性之一纠删码进行过介绍,参考《什么是HDFS的纠删码》,后面又对纠删码的使用进行了实操,参考《如何在CDH6.0中使用纠删码》。但我们知道,在HDFS的三副本年代,Hadoop为了最大限度保证数据可用性,HDFS本身还有一个机架感知策略。这里先温习一下:
Fayson
2018/12/17
1.2K0
HDFS 异构存储
该文介绍了在分布式存储系统中,通过使用 Raft 协议进行分布式数据一致性维护和通过 Zab 协议进行分布式数据访问控制。同时,介绍了基于 Raft 协议的 Zab 协议实例以及基于 Zab 协议的 Raft 协议实例。
liubang01
2017/07/28
4.2K0
HDFS 异构存储
0724-6.2.0-CM接管rpm方式安装的无CM的CDH集群
在之前的文档中介绍了如何用CM接管无CM以rpm方式安装的CDH5.10.0,本文档同样会介绍如何使用Cloudera Manager来接管一个无Cloudera Manager管理的CDH集群,只不过这次的版本是CDH6.2.0。
Fayson
2019/11/06
1K0
0724-6.2.0-CM接管rpm方式安装的无CM的CDH集群
Hadoop之check the logs or run fsck in order to identify the missing blocks
    由于是/tmp目录下,不是正常的业务数据,我们直接删除,如下List-2,之后再去看hdfs的页面,无此问题了。
克虏伯
2020/03/26
2.5K0
相关推荐
hadoop几个问题
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档