HDFS空间释放-最佳解决方案

文章/答案/技术大牛

发布

1回答

hdfs、cloudera

我想在HDFS中释放一些空间，因此我需要找出一些不需要/不使用的HDFS块/文件，并需要删除或存档。那么到目前为止，什么才是最优的解决方案呢？我使用的是Clouder发行版。(我的集群HDFS容量为900 TB，使用了700 TB)

浏览 4提问于2017-08-04得票数 0

回答已采纳

1回答

HDFS磁盘已满

hadoop、hbase、hdfs、ambari

在我们的Ambari集群中，HDFS磁盘的使用率达到了100%。我想删除HBase中的表来释放磁盘，但是hbase (主版)没有启动。有正确的方法释放磁盘空间吗？还是我应该重新安装ambari集群？HDP版本为2.4.2，HDFS版本为2.7.1，Hbase版本为1.1.2

浏览 3提问于2017-02-16得票数 1

回答已采纳

1回答

为什么HDFS的很大一部分是未使用和不可用的？

hadoop、hdfs、amazon-emr

在EMR中，我遇到了一些问题，在专用于HDFS的分区中，某些节点的使用率达到90%，但失败。我怎样才能提供免费

浏览 5提问于2022-06-13得票数 0

1回答

我在使用HBase和HDFS时遇到了问题，因为我知道HBase运行在HDFS之上，因此我认为它使用HDFS来存储数据。问题是HDFS接近其最大空间利用率，并且它和HBase不断崩溃。以下是HDFS选项卡中的监控工具Ambari的图片： ? 在相当长的一段时间内，我甚至不能运行正常的HBase外壳命令，比如list和scan，所以我甚至不能尝试从表中删除一些数据。但是，当我设法重新启动在单个节点上运行的HBase时，我截断了使用该最大空间量的表，并且当我通过du (磁

浏览 59提问于2021-08-23得票数 0

回答已采纳

1回答

何时从数据节点删除数据在hdfs文件夹中-rmr的情况下？

hdfs、hadoop-yarn、hadoop2

只是想了解HDFS是如何编辑的，这样您就可以对磁盘大小进行大幅度的更改。“hdfs dfs -du -s -h /folder”和“hdfs dfsadmin -report”将需要多长时间才能反映缩小的大小？

浏览 1提问于2014-10-08得票数 2

回答已采纳

1回答

从hdfs中删除文件是否也会从复制的datanodes中删除该文件？

hadoop、hdfs

为了释放内存空间，我计划从hdfs中删除一些文件。我有一个3节点集群。如果我从hdfs中删除一个文件，它是否也会自动从复制的datanodes中删除该文件？

浏览 0提问于2018-10-08得票数 0

回答已采纳

1回答

更改HDFS复制因子

filesystems、hadoop、distributed-filesystems、hdfs

对于一些使用命令的目录，我已经将复制因子从3更改为2：但是我的HDFS空闲空间还是一样的。我应该做些别的事情来释放我的磁盘吗？

浏览 0提问于2020-09-29得票数 0

1回答

从hdfs中删除文件是否会删除相应的hive外部表分区？

hadoop、hive

为了释放内存空间，我计划从hdfs中删除一些文件。从hdfs中删除文件是否也会删除相应的hive表的分区？(或者)我们是否需要显式地删除hive表的分区？

浏览 0提问于2018-10-08得票数 0

回答已采纳

1回答

使用Flume/Hadoop时Ubuntu中的Java内存不足异常

java、hadoop、heap-memory、flume

当我尝试使用Flume下载tweet并将其输送到Hadoop时，由于缺少Java堆空间，我得到了内存不足的异常。我已经将Hadoop的mapred-site.xml中的堆空间设置为4GB，如下所示： <name>mapred.child.java.opts</name> <value因为我确实有足够的磁盘空间来保存所有这些，所以我假设错误来自Java，必须同时处理这么多事情。有没有办法让我放慢这些推文下载的速度，或者做些其他的事情来解决这个问题？= MemCh

浏览 3提问于2013-07-29得票数 2

回答已采纳

3回答

运行hadoop时磁盘已满

hadoop、mapreduce、diskspace

有些地方出了问题，它几乎消耗了C驱动器中所有可用的磁盘空间。因此，我关闭了资源管理器、节点管理器、名称Node、数据节点控制台。现在我有一个C驱动器，它几乎已经满了，我不知道如何清空磁盘空间，并使我的C驱动器像以前一样。我现在该怎么办。任何帮助都是非常感谢的。

浏览 7提问于2015-04-17得票数 0

2回答

由于启用了安全模式，无法从dfs中删除文件

hadoop、hdfs、cloudera

dfs空间的99%已用完。因此，我需要删除文件，但要删除文件，需要关闭安全模式。我尝试使用以下命令关闭安全模式，它说它已经关闭，但由于空间不足，它会自动打开它。要关闭安全模式，我需要释放空间！那么，如何清理文件以获得更多空间呢？

浏览 2提问于2014-04-28得票数 5

1回答

HDFS是否可以成为datanode中的孤立文件？

hadoop、hdfs、cloudera

通常，日志修剪作业会释放大约40%的HDFS可用存储空间。然而，在升级过程中，数据节点宕机，重新启动，各种疯狂。已知的是，HDFS接收到了delete命令，因为HDFS文件/文件夹已不存在，但磁盘利用率仍未改变。我的问题是，HDFS是否已经从NameNode的元数据中删除了文件，而没有实际完成DataNodes中的文件块删除，从而有效地孤立了文件块？

浏览 0提问于2013-07-17得票数 0

3回答

Hadoop namenode无法脱离安全模式

hadoop

当我强制hadoop退出安全模式时，使用hdfs dfsadmin -safemode leave，它显示Safe mode is OFF，但我仍然无法删除目录中的文件，结果显示：rm: Cannot我使用命令'hdfs dfsadmin -report'，它显示： Configured Capacity: 52710469632 (49.09 GB)

浏览 0提问于2015-10-14得票数 6

2回答

是否有关于专用sql服务器上页面文件大小的规则？

sql-server、sql-server-2005、memory、configuration

大家好，我们一直在深入研究my_server上关于低磁盘空间的C: disk。我们可以看到，没有多少文件可以删除，以释放存储。但是，我们注意到这个磁盘上的页面文件正在使用32 GB的存储空间。通过手动将页面文件大小减少到8GB，我们将在C:磁盘上释放24 GB的空间，这将是解决磁盘空间问题的最佳长期解决方案。我真的应该禁用页面文件吗？把它减到8GB？

浏览 0提问于2016-08-15得票数 1

回答已采纳

1回答

如何释放非DFS使用的空间与Hortonworks hdp SSH客户端？

hadoop、hdfs、hortonworks-data-platform

今天，我遇到了以下问题: HDFS磁盘使用率为91%。非DFS使用31.2 GB / 41.6 GB (74.96%)。我应该怎么做才能释放磁盘空间呢？从沙箱hdp SSH客户端可以做到吗？我已经从沙箱hdp SSH客户端执行了命令：hdfs dfs -du -h /，但这显然是HDFS数据的使用。

浏览 0提问于2018-04-09得票数 1

回答已采纳

2回答

为什么Hadoop -rmr命令非常快？

hadoop、hdfs

在HDFS的一个文件夹中，我有大约37 of的数据。该命令在一瞬间执行。

浏览 5提问于2013-10-10得票数 1

回答已采纳

2回答

HDFS的最佳底层文件系统类型和配置

partitioning、filesystem、hadoop

我想重新格式化一个本地驱动器分区，并将其转换为HDFS的分区。在此基础上运行HDFS的最佳文件系统是哪个？我应该对这个文件系统进行任何优化吗？这是一个Ubuntu 14.04

浏览 0提问于2014-10-21得票数 3

2回答

HDFS -与块大小相关的

hadoop、mapreduce、hdfs

我认为在HDFS中，第一个文件消耗10 MB，其余54 MB被释放到广告到可用的空间。

浏览 3提问于2015-11-04得票数 0

回答已采纳

1回答

teradata中的动态假脱机空间分配

hdfs、teradata、sqoop

我有大量数据，正在将其从teradata导入hdfs。在执行此操作时，通常会出现假脱机空间不足，因此作业会失败。对此有什么解决方案吗？是否可以根据数据大小动态分配假脱机空间？或者，我们是否可以将数据从sqoop import加载到临时缓冲区，然后将其写入hdfs？

浏览 28提问于2018-02-06得票数 0

回答已采纳

1回答

纱线报告节点已满，尽管它们有空闲空间。

hadoop、hadoop-yarn

检查我的唯一节点的状态会告诉我，使用以下消息它是不健康的： 1/1本地-dirs可用空间低于配置利用率/不再有可用空间/tmp/hadoop-usr/no dir:超过阈值90.0%的使用空间；1/1日志迪尔可用空间低于配置利用率/不再可用空间/Users/usr/Documents/hadoop-3.3.1/logs/userlogs :使用空间超过90.0

浏览 5提问于2022-02-10得票数 0

点击加载更多