专栏首页孙小白HDFS之下载某个块的文件

HDFS之下载某个块的文件

假如我有一个文件在HDFS上分成了0~3,共四块,那么如何把它们下载到本地并且恢复成完整的文件呢?

public class TestCustomUploadAndDownload {

   private FileSystem fs;
   private FileSystem localFs;
   private Configuration conf = new Configuration();
	
	@Before
	public void init() throws IOException, URISyntaxException {
		//创建一个客户端对象
		 fs=FileSystem.get(new URI("hdfs://hadoop101:9000"),conf);
		 localFs=FileSystem.get(new Configuration());
	}
	
	@After
	public void close() throws IOException {
		if (fs !=null) {
			fs.close();
		}
	}
	
	//从HDFS中下载第一个块的文件,即0~128M
	@Test
	public void testFirstBlock() throws Exception {
		//提供两个Path,和两个FileSystem
		Path src=new Path("/sts.zip");
		Path dest=new Path("e:/firstblock");
		
		// 使用HDFS的分布式文件系统中获取的输入流,读取HDFS上指定路径的数据
		FSDataInputStream is = fs.open(src);
		// 使用本地文件系统中获取的输出流写入本地文件
		FSDataOutputStream os = localFs.create(dest, true);
		
		// 1k
		byte [] buffer=new byte[1024];
				
		// 流中数据的拷贝
		for (int i = 0; i < 1024 * 128; i++) {
					
			is.read(buffer);
			os.write(buffer);
					
		}
				
		//关流
		IOUtils.closeStream(is);
		IOUtils.closeStream(os);
	}
	
	//从HDFS中下载第二个块的文件,即128~256M
	@Test
	public void testSecondBlock() throws Exception {
		//提供两个Path,和两个FileSystem
		Path src=new Path("/sts.zip");
		Path dest=new Path("e:/secondblock");
		
		// 使用HDFS的分布式文件系统中获取的输入流,读取HDFS上指定路径的数据
		FSDataInputStream is = fs.open(src);
		// 使用本地文件系统中获取的输出流写入本地文件
		FSDataOutputStream os = localFs.create(dest, true);
		
		//定位到流的指定位置
		is.seek(1024*1024*128*2);
		
		// 1k
		byte [] buffer=new byte[1024];
				
		// 流中数据的拷贝
		for (int i = 0; i < 1024 * 128; i++) {	
			is.read(buffer);
			os.write(buffer);		
		}
				
		//关流
		IOUtils.closeStream(is);
		IOUtils.closeStream(os);
	}
//从HDFS中下载第三个块的文件,即256~384M
	@Test
	public void testSecondBlock() throws Exception {
		//提供两个Path,和两个FileSystem
		Path src=new Path("/sts.zip");
		Path dest=new Path("e:/thirdblock");
		
		// 使用HDFS的分布式文件系统中获取的输入流,读取HDFS上指定路径的数据
		FSDataInputStream is = fs.open(src);
		// 使用本地文件系统中获取的输出流写入本地文件
		FSDataOutputStream os = localFs.create(dest, true);
		
		//定位到流的指定位置
		is.seek(1024*1024*128*2);
		
		// 1k
		byte [] buffer=new byte[1024];
				
		// 流中数据的拷贝
		for (int i = 0; i < 1024 * 128; i++) {	
			is.read(buffer);
			os.write(buffer);		
		}
				
		//关流
		IOUtils.closeStream(is);
		IOUtils.closeStream(os);
	}
	
	//从HDFS中下载最后一个块的文件
	@Test
	public void testFinalBlock() throws Exception {
		//提供两个Path,和两个FileSystem
		Path src=new Path("/sts.zip");
		Path dest=new Path("e:/fourthblock");
		
		// 使用HDFS的分布式文件系统中获取的输入流,读取HDFS上指定路径的数据
		FSDataInputStream is = fs.open(src);
		// 使用本地文件系统中获取的输出流写入本地文件
		FSDataOutputStream os = localFs.create(dest, true);
		
		//定位到流的指定位置
		is.seek(1024*1024*128*3);
		
		//buffSize 默认不能超过4096
		IOUtils.copyBytes(is, os, 4096, true);
		//因为是最后一个块,所以直接使用流拷贝,拷贝剩下的所有文件
	}

这就是从HDFS下载在本地后每个块对应的文件了

那么,如何把这些零散的文件拼接成一个完整的文件呢?

在linux中,对文件的拼接使用的命令是cat 例如,把文件1的内容追加到文件2中:

cat file1 >> file2

而在windows的cmd中,使用的命令是type 把四个文件拼接在一起,分别执行:

type secondblock >> firstblock
type thirdblock >> firstblock
type fourthblock >> firstblock

最后恢复成原文件,只需要改后缀名即可!

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Java单例模式-懒汉式、恶汉式、静态内部类、枚举以及线程安全问题

    通过单例模式可以保证系统中一个类只有一个实例而且该实例易于外界访问,从而方便对实例个数额控制并节约系统资源。

    爱学习的孙小白
  • Java的IO流

    注:抽象流实质上就是抽象类,实际上使用到的是继承于它们的子类!FileInputStream、FileOutputStream、FileReader、FileW...

    爱学习的孙小白
  • 快速排序详细讲解

      在这里,快速排序,顾名思义,排序速度较快,但是较为复杂,但是递归这个思想,说简单但是也有些绕,说难也就几行代码的问题。

    爱学习的孙小白
  • Sql Server内置函数实现MD5加密

    实例 MD5加密“123456”: HashBytes('MD5','123456') 结果:0xE10ADC3949BA59ABBE56E057F20F883...

    Java中文社群_老王
  • 阶段01Java基础day21IO流02

    声明:本文为原创,作者为 对弈,转载时请保留本声明及附带文章链接:http://www.duiyi.xyz/c%e5%ae%9e%e7%8e%b0%e9%9b%...

    对弈
  • Java基础笔记21

    dreamkong
  • eclipse创建maven项目

    在我们的项目上点击右键,选择properties 并找到 Project Facets ,并点击Convert to faceted form…  然后勾选Dy...

    似水的流年
  • Spring+SpringMvc+Mybatis框架集成搭建教程二(依赖配置及框架整合)

    (3).在项目的resources文件夹下新建log4j.properties文件

    阿豪聊干货
  • eclipse创建maven项目

    1.打开eclipse,文件-新建-其他,选择Maven Project

    似水的流年
  • eclipse创建maven项目

    1.打开eclipse,文件-新建-其他,选择Maven Project ? 2.第一个打上勾,并输入存储目录 ? 3.下一步,这里的Packi...

    似水的流年

扫码关注云+社区

领取腾讯云代金券