HDFS之下载某个块的文件

public class TestCustomUploadAndDownload {

   private FileSystem fs;
   private FileSystem localFs;
   private Configuration conf = new Configuration();
	
	@Before
	public void init() throws IOException, URISyntaxException {
		//创建一个客户端对象
		 fs=FileSystem.get(new URI("hdfs://hadoop101:9000"),conf);
		 localFs=FileSystem.get(new Configuration());
	}
	
	@After
	public void close() throws IOException {
		if (fs !=null) {
			fs.close();
		}
	}
	
	//从HDFS中下载第一个块的文件，即0~128M
	@Test
	public void testFirstBlock() throws Exception {
		//提供两个Path，和两个FileSystem
		Path src=new Path("/sts.zip");
		Path dest=new Path("e:/firstblock");
		
		// 使用HDFS的分布式文件系统中获取的输入流，读取HDFS上指定路径的数据
		FSDataInputStream is = fs.open(src);
		// 使用本地文件系统中获取的输出流写入本地文件
		FSDataOutputStream os = localFs.create(dest, true);
		
		// 1k
		byte [] buffer=new byte[1024];
				
		// 流中数据的拷贝
		for (int i = 0; i < 1024 * 128; i++) {
					
			is.read(buffer);
			os.write(buffer);
					
		}
				
		//关流
		IOUtils.closeStream(is);
		IOUtils.closeStream(os);
	}
	
	//从HDFS中下载第二个块的文件，即128~256M
	@Test
	public void testSecondBlock() throws Exception {
		//提供两个Path，和两个FileSystem
		Path src=new Path("/sts.zip");
		Path dest=new Path("e:/secondblock");
		
		// 使用HDFS的分布式文件系统中获取的输入流，读取HDFS上指定路径的数据
		FSDataInputStream is = fs.open(src);
		// 使用本地文件系统中获取的输出流写入本地文件
		FSDataOutputStream os = localFs.create(dest, true);
		
		//定位到流的指定位置
		is.seek(1024*1024*128*2);
		
		// 1k
		byte [] buffer=new byte[1024];
				
		// 流中数据的拷贝
		for (int i = 0; i < 1024 * 128; i++) {	
			is.read(buffer);
			os.write(buffer);		
		}
				
		//关流
		IOUtils.closeStream(is);
		IOUtils.closeStream(os);
	}
//从HDFS中下载第三个块的文件，即256~384M
	@Test
	public void testSecondBlock() throws Exception {
		//提供两个Path，和两个FileSystem
		Path src=new Path("/sts.zip");
		Path dest=new Path("e:/thirdblock");
		
		// 使用HDFS的分布式文件系统中获取的输入流，读取HDFS上指定路径的数据
		FSDataInputStream is = fs.open(src);
		// 使用本地文件系统中获取的输出流写入本地文件
		FSDataOutputStream os = localFs.create(dest, true);
		
		//定位到流的指定位置
		is.seek(1024*1024*128*2);
		
		// 1k
		byte [] buffer=new byte[1024];
				
		// 流中数据的拷贝
		for (int i = 0; i < 1024 * 128; i++) {	
			is.read(buffer);
			os.write(buffer);		
		}
				
		//关流
		IOUtils.closeStream(is);
		IOUtils.closeStream(os);
	}
	
	//从HDFS中下载最后一个块的文件
	@Test
	public void testFinalBlock() throws Exception {
		//提供两个Path，和两个FileSystem
		Path src=new Path("/sts.zip");
		Path dest=new Path("e:/fourthblock");
		
		// 使用HDFS的分布式文件系统中获取的输入流，读取HDFS上指定路径的数据
		FSDataInputStream is = fs.open(src);
		// 使用本地文件系统中获取的输出流写入本地文件
		FSDataOutputStream os = localFs.create(dest, true);
		
		//定位到流的指定位置
		is.seek(1024*1024*128*3);
		
		//buffSize 默认不能超过4096
		IOUtils.copyBytes(is, os, 4096, true);
		//因为是最后一个块，所以直接使用流拷贝，拷贝剩下的所有文件
	}

cat file1 >> file2

type secondblock >> firstblock
type thirdblock >> firstblock
type fourthblock >> firstblock