如何知道Hadoop节点上文件的确切块大小？
如何知道Hadoop节点上文件的确切块大小？
提问于 2016-02-17 21:47:49
我有一个放在HDFS上的1 GB文件。因此，它将被分成块并发送到集群中的不同节点。
是否有任何命令可以确定特定节点上文件块的确切大小？
谢谢。
回答 3
Stack Overflow用户
回答已采纳
发布于 2016-02-18 05:20:53
您应该使用hdfs fsck命令：
hdfs fsck /tmp/test.txt -files -blocks此命令将打印有关文件组成的所有块的信息：
/tmp/test.tar.gz 151937000 bytes, 2 block(s): OK
0. BP-739546456-192.168.20.1-1455713910789:blk_1073742021_1197 len=134217728 Live_repl=3
1. BP-739546456-192.168.20.1-1455713910789:blk_1073742022_1198 len=17719272 Live_repl=3如您所见，此处显示了(每行中的len字段)数据块的实际使用容量。
此外，你还可以在官方Hadoop documentation page上看到hdfs fsck的许多其他有用的特性。
Stack Overflow用户
发布于 2019-08-11 21:56:33
您可以尝试：
hdfs getconf -confKey dfs.blocksizeStack Overflow用户
发布于 2016-02-17 22:15:03
我没有什么好评论的。
看一下设置各种属性的documentation页面，该页面涵盖
dfs.blocksize除了配置更改之外，您还可以使用以下命令查看文件的实际大小
hadoop fs -ls fileNameWithPath例如：
hadoop fs -ls /user/edureka 输出：
-rwxrwxrwx 1 edureka supergroup 391355 2014-09-30 12:29 /user/edureka/cust页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/35458494
复制相关文章
相似问题
腾讯云开发者
