问如何在hadoop中跟踪哪个数据块在哪个数据节点中？

EN

有一个很好的工具是由欧洲核子研究组织开源的-请参阅博客文章https://db-blog.web.cern.ch/blog/daniel-lanza-garcia/2016-04-tool-visualise-block-distribution-hadoop-hdfs-cluster

它不仅可以显示节点上的数据块位置，还可以显示这些节点上的磁盘位置(表格视图)：

​

​

此项目的代码可以在以下位置找到：https://github.com/cerndb/hdfs-metadata

在内部，这个欧洲核子研究组织的工具使用对Hadoop的API调用-例如，参见https://github.com/cerndb/hdfs-metadata/blob/master/src/main/java/ch/cern/db/hdfs/DistributedFileSystemMetadata.java#L168

所以它比使用cli工具要快得多，例如，如果你计划在许多文件上运行它，然后看到合并的结果。

hdfs fsck / -files -blocks -locations一次只能查看一个文件。

我们使用这个工具来查看一个巨大的镶嵌表是否很好地分布在节点和磁盘上，以检查数据处理偏差是否不是由于数据分布缺陷而发生的。