Hadoop2.2.0中DFSInputStream类的read方法浅析

DFSInputStream类共有三个read方法：

public synchronized int read(final ByteBuffer buf)

public synchronized int read(final byte buf[], int off, int len)

public int read(long position, byte[] buffer, int offset, int length)

最有吸引人的方法是第三个，支持部分读取HDFS文件，这是由于此类的父类实现了Seekable, PositionedReadable接口。

这里对第三个方法的参数加以解释：

position ：针对指定hdfs文件的位置，开始从position读起；

offset      ：针对buffer而言，内容从offset开始填起，就是说buffer中的前（offset-1）的空间会空出来（不伤害之前填写的内容）；

length    ：本次读取的长度（byte单位），确保offset+length <= buffer.size；

这里纠正一个习惯看法，之前一直说block是Hadoop的基本管理单元，很容易容易hadoop每次会把一整个块的数据读入内存。跟踪源码发现，hadoop读入块信息，再根据具体的偏移信息读入相关的部分数据，而不是每次都机械的读入整个块。