HDFS块文件和存放目录的关系

详情请参见DatanodeUtil.java中的函数idToBlockDir(File root, long blockId)。 如果block文件没有放在正确的目录下,则DataNode会出现“expected block file path”日志。 // g++ -g -o block2dir block2dir.cpp #include #include int main(int argc, char* argv[]) {     if (argc != 2)     {         fprintf(stderr, "usage: block2dir block_id, example: block2dir 1075840138\n");         exit(1);     }     const long block_id = atol(argv[1]);     const int d1 = (int) ((block_id >> 16) & 0x1F);     const int d2 = (int) ((block_id >> 8) & 0x1F);     fprintf(stderr, "subdir%d/subdir%d\n", d1, d2);     return 0; } 运行示例: $ ./block2dir 1075840138 subdir0/subdir4 /** * @return the meta name given the block name and generation stamp. */ public static String getMetaName(String blockName, long generationStamp) {     return blockName + "_" + generationStamp + Block.METADATA_EXTENSION;  }

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏DOTNET

.NET MongoDB Driver GridFS 2.2原理及使用示例

一、API解读 1 GridFSBucketOptions 1)public string BucketName { get; set; } 获取或设置buck...

3478
来自专栏Elasticsearch实验室

Elasitcsearch 底层系列 Lucene 内核解析之 Stored Fields

Lucene 的 stored fields 主要用于行存文档需要保存的字段内容,每个文档的所有 stored fields 保存在一起,在查询请求需要返回字段...

6165
来自专栏Spark学习技巧

spark调优系列之内存和GC调优

本文基于spark1.6讲解。 一,基本概述 调优内存的使用主要有三个方面的考虑:对象的内存占用量(你可能希望整个数据集都适合内存),访问这些数据的开销,垃圾...

8569
来自专栏JavaEdge

Java并发编程实战系列13之显式锁 (Explicit Locks)

Java5之前只能用synchronized和volatile,5后Doug Lea加入了ReentrantLock,并不是替代内置锁,而是当内置锁机制不适用时...

4927
来自专栏张善友的专栏

SmtpClient发送邮件遭遇The specified string is not in the form required for a subject.

通过System.Net.Mail发送邮件,出现错误: System.ArgumentException: The specified string is...

21010
来自专栏JAVA烂猪皮

JVM难学?那是因为你没认真看完这篇文章

JAVA程序运行与虚拟机之上,运行时需要内存空间。虚拟机执行JAVA程序的过程中会把它管理的内存划分为不同的数据区域方便管理。

1044
来自专栏Janti

Java多线程高并发学习笔记——阻塞队列

在探讨可重入锁之后,接下来学习阻塞队列,这篇文章也是断断续续的写了很久,因为最近开始学ssm框架,准备做一个自己的小网站,后续可能更新自己写网站的技术分享。 请...

3658
来自专栏岑玉海

Spark调优

因为Spark是内存当中的计算框架,集群中的任何资源都会让它处于瓶颈,CPU、内存、网络带宽。通常,内存足够的情况之下,网络带宽是瓶颈,这时我们就需要进行一些调...

3868
来自专栏JAVA烂猪皮

简单理解JVM优化

所有正在运行的线程的栈上的引用变量。所有的全局变量。所有ClassLoader。。。

1962
来自专栏腾讯云Elasticsearch Service

Elasitcsearch 底层系列 Lucene 内核解析之 Stored Fields

Lucene 的 stored fields 主要用于行存文档需要保存的字段内容,每个文档的所有 stored fields 保存在一起,在查询请求需要返回字段...

1661

扫码关注云+社区

领取腾讯云代金券