腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
RAID +如何使用RAID控制器操作
磁盘
大小
raid
、
redhat
、
hard-drive
我们在戴尔HW物理机器上有3台Hadoop
HDFS
服务器,当所有服务器都有RHEL 7.2版本时问题是我们没有找到1TB
磁盘
,我们只能购买带有2TB的
磁盘
。 第二个问题是,当处理
HDFS
磁盘
时,所有
HDFS
磁盘
必须具有相同的大小。因为旧服务器上的
磁盘
可以达到10
浏览 0
提问于2022-06-15
得票数 -1
回答已采纳
1
回答
HDFS
磁盘
已满
hadoop
、
hbase
、
hdfs
、
ambari
在我们的Ambari集群中,
HDFS
磁盘
的使用率达到了100%。我想删除HBase中的表来释放
磁盘
,但是hbase (主版)没有启动。有正确的方法释放
磁盘
空间吗?还是我应该重新安装ambari集群?HDP版本为2.4.2,
HDFS
版本为2.7.1,Hbase版本为1.1.2
浏览 3
提问于2017-02-16
得票数 1
回答已采纳
2
回答
发送给
HDFS
的减速器的输出,作为地图输出存储在数据节点本地
磁盘
中?
hadoop
、
hadoop-streaming
、
hadoop-partitioning
、
hadoop2
我对
HDFS
存储和数据节点存储有点困惑。以下是我的怀疑。 向Suresh致意
浏览 6
提问于2014-04-22
得票数 1
1
回答
HDFS
如何写入数据节点上的
磁盘
?
hadoop
、
filesystems
、
hdfs
HDFS
如何写入物理
磁盘
?
HDFS
是否确保这些物理块是连续的?(连续块增加FS吞吐量,因为它最小化了搜索时间)?
HDFS
如何提供高吞吐量?
浏览 6
提问于2014-04-18
得票数 1
1
回答
星火中的本地
磁盘
配置
apache-spark
嗨,官方的火花文件说: 我想知道每个节点 4-8的目的是什么?我对
浏览 1
提问于2017-08-11
得票数 1
3
回答
运行hadoop时
磁盘
已满
hadoop
、
mapreduce
、
diskspace
有些地方出了问题,它几乎消耗了C驱动器中所有可用的
磁盘
空间。因此,我关闭了资源管理器、节点管理器、名称Node、数据节点控制台。现在我有一个C驱动器,它几乎已经满了,我不知道如何清空
磁盘
空间,并使我的C驱动器像以前一样。我现在该怎么办。任何帮助都是非常感谢的。
浏览 7
提问于2015-04-17
得票数 0
4
回答
HDFS
数据块大小与实际文件大小
hdfs
、
filesize
我知道
HDFS
在数据节点中使用常规的linux文件系统存储数据。我的
HDFS
块大小是128 MB。假设我的hadoop群集中有10 GB
磁盘
空间,这意味着,
HDFS
最初有80 blocks作为可用存储。 如果我创建一个比方说12.8 MB的小文件,#available
HDFS
块将变为79。在前一种情况下,
HDFS
基本上在每次块分配后根据可用
磁盘
空间重新计算#可用块,因此,只有在超过128MB的
磁盘
空间被消耗后,#可用块才会变为78。请澄清。
浏览 0
提问于2013-02-25
得票数 16
回答已采纳
4
回答
知道hadoop中数据节点的
磁盘
空间吗?
hadoop
、
hdfs
、
hadoop-yarn
、
hadoop2
、
webhdfs
是否有一种方法或命令可以让我了解每个datanode的
磁盘
空间或整个集群
磁盘
空间?dfs -du -h / 但是,我似乎没有对许多目录执行它的权限,因此无法获得实际的
磁盘
空间。
浏览 2
提问于2017-08-22
得票数 4
回答已采纳
1
回答
如何在Apache Hadoop 2中使用
HDFS
内部DataNode
磁盘
均衡器?
hadoop
、
hdfs
、
hortonworks-data-platform
、
ambari
HDFS
磁盘
均衡器是Hadoop3的一个新特性。在Hadoop2中使用
HDFS
磁盘
均衡器的最佳替代方法是什么?
浏览 22
提问于2019-07-05
得票数 1
1
回答
Hadoop
hdfs
集群将在挂载
磁盘
上配置,而不是在默认
磁盘
上配置
ubuntu
、
hadoop
OS: Ubuntu我正在尝试在挂载
磁盘
上配置hadoop(2.7.2)集群,而不是在默认
磁盘
上。已挂载的
磁盘
为'/mnt/raid‘,并在
hdfs
-site.xml中执行了以下配置<property> <value>1</value> <n
浏览 2
提问于2016-03-17
得票数 0
1
回答
Hadoop错误代码-1000,在任何本地目录中都没有可用的空间
hadoop
预期的输出是几行文本,而我的
磁盘
还远远没有满(至少10 at空闲)。代码是一些我不能在这里发布的通用mapreduce工作,因为它是大学的知识产权。 关于如何解决“没有可用空间”错误,有什么建议吗?PS:我已经解决了,就像这里说的:由用户"banu“免费的硬盘空间需要至少10%以上的
磁盘
。
浏览 4
提问于2020-11-14
得票数 2
回答已采纳
1
回答
猫和分割一个文件并上传到
hdfs
?
linux
、
perl
、
gzip
、
split
我正在尝试实现这样的场景:我可以拆分本地linux上的gz文件,并将其作为部分解压缩或压缩文件上传到
hdfs
,而无需将拆分的输出写入
磁盘
。在尝试以下命令后,我遇到了问题。下面的命令写到本地
磁盘
,然后我可以上传到我不想要的
hdfs
:-
hdfs
dfs -copyFromLocal ./*file.part* /folder/in/<
浏览 0
提问于2017-10-07
得票数 0
回答已采纳
1
回答
是否可以在
HDFS
上持久化RDD?
scala
、
hadoop
、
apache-spark
、
hdfs
我知道RDD可以在内存、
磁盘
或两者中持久化/缓存,但是否也可以将其保存在
HDFS
上。我面临的问题是,集群上的内存和
磁盘
空间太少,而我的
HDFS
空间却很大。
浏览 2
提问于2016-10-26
得票数 3
2
回答
由于启用了安全模式,无法从dfs中删除文件
hadoop
、
hdfs
、
cloudera
我尝试使用以下命令关闭安全模式,它说它已经关闭,但由于空间不足,它会自动打开它。
浏览 2
提问于2014-04-28
得票数 5
3
回答
GCP | dataproc |如何创建持久的
HDFS
卷意味着即使你删除了dataproc集群,它也不应该删除
HDFS
?有可能吗?
google-cloud-platform
、
hdfs
、
nfs
、
google-cloud-dataproc
、
dataproc
GCP dataproc -当您终止dataproc集群时,
HDFS
会自动删除。如何使其持久化
HDFS
即使您删除了dataproc集群,它也不应该删除
HDFS
?有可能吗?
浏览 7
提问于2021-05-12
得票数 2
1
回答
HDFS
容量:如何阅读"dfsadmin报告“
hadoop
、
cloudera-cdh
当我运行"
hdfs
-report“时,我得到了如下(简化)的内容:Present Capacity: 400GB DFS Remaining: 300
浏览 3
提问于2015-06-26
得票数 4
回答已采纳
1
回答
增加HDP 2.3 3节点群集中的
HDFS
磁盘
大小
hadoop
、
hdfs
、
hortonworks-data-platform
、
ambari
在POC的3节点集群安装中,我的第三个注意事项是DataNode,它有大约200 GB的
磁盘
空间。根据ambari的
HDFS
磁盘
使用小部件,我当前的
HDFS
使用情况如下:当我执行df -h检查
磁盘
大小时,我可以看到tmpfs占用了大量空间,如以下屏幕截图所示:我如何才能将该空间用于我的
HDFS
。
浏览 1
提问于2016-02-25
得票数 0
2
回答
如何检索ambari集群
HDFS
磁盘
使用度量
rest
、
metrics
、
ambari
和上面一样,我想知道如何检索
HDFS
DISK USAGE METRICS DATA,如果有人知道,请帮助我。
浏览 3
提问于2015-06-30
得票数 0
1
回答
Hadoop:如果没有可用的reducer作业,映射器输出存储在哪里(本地或
HDFS
)?
hadoop
在Hadoop中,所有映射器输出都存储在本地
磁盘
中(而不是
HDFS
中)。任何Hadoop作业都有可能没有reducer。感谢和问候,KB Devaraj
浏览 0
提问于2015-07-23
得票数 1
1
回答
HDFS
大小和
hdfs
复制因子
hadoop
、
hdfs
我们的
HDFS
大小几乎是80T,而且我们有98%的可用容量!因此,我们正在考虑将
HDFS
复制因子从3降到2。我们来做个模拟,,但问题是-从以前的3个复制因子创建的第三个数据仍然存在于
HDFS
磁盘
中。或者可能-没有任何选项删除旧的数
浏览 0
提问于2020-07-16
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
hdfs auditlog
HDFS体系架构
Hadoop HDFS操作
HDFS概念笔记
HBase集群基于HDFS
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券