腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
HDFS
Balancer
-
适用于
包含
1KB
文件
的
群集
我有一个
包含
3个节点
的
HDFS
集群。该集群
包含
大量小
文件
(KB),我已经达到了每个节点数百万个数据块。 我又向集群中添加了4台新服务器,并启动了均衡器进程,但看起来效果不是很好。-目标是减少每台服务器
的
数据块数量 为了平衡小
文件
,我应该更改以下参数
的
值以支持从
1KB
大小
的
文件
移动吗?Ddfs.
balancer
.getBlocks.min-block-size=1048 **我确实知
浏览 25
提问于2021-10-16
得票数 0
回答已采纳
1
回答
将
HDFS
文件
映射到外部驱动器时出错
、
我想在hadoop-2.7.3中创建一个
文件
夹,它物理上驻留在外部(usb-拇指)驱动器上,我
的
想法是,我-copyFromLocal
的
任何
文件
都将驻留在拇指驱动器上。,我没有得到这样
的
文件
/
文件
夹错误。只有当我将
文件
夹设置为hadoop
的
本地
文件
夹时,它才能起作用:
hdfs
dfs -copyFromLocal
浏览 0
提问于2017-01-13
得票数 0
1
回答
CDH5
hdfs
均衡器误差
、
、
运行'
hdfs
平衡器‘时,我确实看到它显示了安装
的
机架拓扑、过度使用和未充分利用
的
节点,它说“需要移动5TB才能使集群平衡”,并且“决定将10 GB字节从10.150.11.24:50010移动到10.150.11.164Holder _NONMAPREDUCE_-201468433_1没有任何打开
的
文件
。Holder _NONMAPREDUCE_-201468433_1没有任何打开
的
文件
。:从10.150.11.126:56490 Call#71 Retry
浏览 7
提问于2014-08-19
得票数 3
1
回答
在正在运行
的
spark/hadoop
群集
中添加
hdfs
datanode
、
、
我有一个
包含
1个master和2个节点
的
spark集群(worker + datanode)。 1st datanode -> DFS Used%:75.61% 3rd datanode -> DFS Used%: 8.83% 您是
浏览 0
提问于2017-02-10
得票数 2
1
回答
Hdfs
查找小于特定大小
的
文件
、
、
有没有办法在
Hdfs
中列出小于特定大小
的
文件
。使用命令行,甚至是spark脚本?Scala / spark会更好,因为与命令行相比,它可能运行得更快。
浏览 20
提问于2019-10-29
得票数 1
回答已采纳
1
回答
命令使用:何时使用hadoop fs和
hdfs
、
、
如标题所示,我很困惑何时使用以“
hdfs
”和“hadoop”开头
的
命令 FYI,我是使用Cloudera4.6快速启动vm
的
hadoop新手。
浏览 6
提问于2014-06-24
得票数 3
回答已采纳
2
回答
Hadoop Distcp将目录内
的
内容复制到同名目录
、
这个目录
包含
目录“一”、“二”、“三”、...、“九十”。在集群B中,我有目录/a/b/c。这个目录
包含
目录"one“。我希望将目录"one“到”90ty“从
群集
A复制到
群集
B,这样,最后,
群集
B将拥有目录/a/b/c/one ... /a/b/c/90ty。
群集
B /a/b/c/one中存在不在
群集
A
浏览 7
提问于2013-10-18
得票数 2
5
回答
HDFS
-加载大量
文件
、
、
、
、
为了测试目的,我试图将大量
的
小
文件
加载到
HDFS
中。实际上,我们讨论
的
是大约100万(1'000'000)个大小为
1KB
到100
1KB
的
文件
。我在一个
文件
夹中
的
Linux系统上用R脚本生成了这些
文件
。每个
文件
都有一个信息结构,其中
包含
一个带有产品信息
的
标头,以及
包含
数字信息
的
不同数量<em
浏览 2
提问于2015-08-13
得票数 2
2
回答
并发追加到spark中
的
hdfs
文件
、
、
我得到
的
ex是append_file失败
的
文件
是忙
hdfs
_non_map_reducefs.append.write(rdd.collect.mkstring.getBytes)
hdfs
中
的
复制因子为1,我使用一个节点
群集
spa
浏览 2
提问于2017-06-24
得票数 0
2
回答
hdfs
数据被破坏了。无法删除损坏
的
文件
夹,因为它没有显示此类
文件
或目录。
、
我
的
hdfs
数据被破坏了。/siva:损坏
的
块blk_6483992593913191763 /siva:丢失2块总大小82009995 B.Status:损坏总大小: 82009995 B总
文件
:8总
文件
:1总块(验证):2 (avg )。:0 (0.0 %)默认复制因子:2平均块复制: 0.0损坏块:2个丢失副本:0数据-节点数:1架:1场FSCK比赛结束于2月23日1
浏览 7
提问于2016-02-23
得票数 1
1
回答
远程
HDFS
文件
从安全
群集
移动到不工作
的
非安全
群集
。
、
、
尝试将
文件
从一个
hdfs
文件
夹移动到非安全
群集
中
的
另一个
hdfs
文件
夹中。源和目的地都位于非安全
群集
上。下面的代码在安全
群集
中执行,以将
文件
从源
hdfs
文件
夹移动到非安全
群集
中
的
目标
hdfs
文件
夹。getOrCreate() val conf =
浏览 2
提问于2019-12-24
得票数 0
回答已采纳
2
回答
HDFS
复制系数更改
如果
群集
中
的
复制因子发生更改,例如从5更改为3,并且重新启动
群集
,则旧
文件
块会发生什么情况?它们是否会被视为过度复制并被删除,或者复制因素仅
适用于
新
文件
?这意味着旧
文件
块被复制5次,而新
文件
块(在重启之后)被复制3次。如果集群没有重启,会发生什么情况?
浏览 2
提问于2013-06-13
得票数 7
1
回答
如何在Hive中使用DistCp直接将数据转换为表格?
、
、
我使用DistCp将数据从
群集
1复制到
群集
2。我成功地将表数据从
群集
1复制到
群集
2。但是,使用
hdfs
,数据已发送到
文件
浏览器。有没有什么直接
的
方法可以通过使用DistCp命令将这个
hdfs
数据转换成一个Hive表(包括数据类型、分隔符...etc)?我当然可以查询它来从
hdfs
收集数据,但是我必须逐个转换它们。试图寻找有效
的
方法来实现这一点。谢谢!示例: hadoop distcp
hdfs
:
浏览 0
提问于2015-10-22
得票数 1
1
回答
Hadoop用较小
的
硬盘添加datanode
、
我们计划在Hadoop集群中添加两个新
的
datanodes。在谷歌搜索了一天之后,我仍然无法回答这个问题:如果新
的
数据阳极上
的
硬盘较小,会发生什么情况?这会导致
HDFS
的
总规模缩小吗?下面是一个例子Datanode2 with 1TB多添加一个具有500 one磁盘
的
节点
HDFS
的
总存储量是多少?如果是2.5TB (我希望如此),
浏览 0
提问于2013-10-09
得票数 0
回答已采纳
1
回答
spark-提交从本地到
群集
的
文件
传输
我需要在本地机器和spark集群之间来回传输输入
文件
、输出
文件
和作业日志
文件
。 使用
文件
传输
的
任何推荐方法。有没有什么未来
的
计划,spark将支持
文件
从
群集
传输到本地,反之亦然。
浏览 2
提问于2015-07-27
得票数 0
1
回答
如何使用maprfs Java API执行递归ls?
、
、
、
、
我写了一个应用程序,列出
HDFS
中
的
所有
文件
,然后对它们进行一些处理。这是我
的
代码中列出
HDFS
中所有
文件
的
部分:FileSystem
hdfs
;RemoteIterator<LocatedFileStatus> i
浏览 0
提问于2016-03-17
得票数 0
1
回答
nifi putHDFS写入本地
文件
系统
、
、
挑战在NIFI集群上,我使用一个连接到PutHDFS
的
简单GetFile。当通过这种方式推送
文件
时,PutHDFS会成功终止。但是,我并没有看到
文件
被放到我
的
HFDS上(在
HDFS
集群上),而是看到一个
文件
被放到了我运行NIFI
的
本地
文件
系统上。这让我感到困惑,因此我提出了这样
的
问题
浏览 65
提问于2018-05-27
得票数 1
2
回答
在hadoop
的
映射阶段写入本地
文件
、
Hadoop将中间结果写入本地磁盘,将reducer
的
结果写入
HDFS
。
HDFS
是什么意思。它在物理上翻译成什么?
浏览 1
提问于2012-09-14
得票数 0
回答已采纳
3
回答
将整个
HDFS
从一个
群集
转移到另一个
群集
、
在一个有5个节点
的
测试集群上,我
的
HDFS
中存储了大量
的
hive表。数据应在70 Gb *3左右(复制)。不,我想将整个设置转移到具有更多节点
的
不同环境中。无法在两个
群集
之间建立网络连接。问题是,我没有太多
的
时间与新
的
集群,也没有可能测试与其他测试环境
的
传输。因此,我需要一个可靠
的
计划。:)如何在新
群集
上以最小
的
配置工作量传输配置单元设置?是否可以仅将5个节点<e
浏览 3
提问于2013-01-11
得票数 1
回答已采纳
2
回答
Hadoop DFSClient安装
、
、
我运行Hadoop集群,并且我有兴趣再安装一台只安装DFSClient
的
机器。机器X将运行DFSClient,我应该能够从它看到
HDFS
。为了安装Hadoop,我从集群
的
一个节点复制了DFSClient主目录到机器X(包括.jar
文件
和配置)。hadoop fs -ls / 我得到本地根目录(不是
HDFS
根目录)。
浏览 3
提问于2013-07-07
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Hadoop教程:功能,组件,集群和拓扑
HBase应用与发展之HBase应用与高可用实践
4.HBase 运行模式
【大数据】Hive 小文件治理和 HDFS 数据平衡讲解
2.快速启动HBase
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券