前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >读写hdfs文件(工作笔记)

读写hdfs文件(工作笔记)

作者头像
用户3003813
发布2018-09-06 14:11:46
7230
发布2018-09-06 14:11:46
举报
文章被收录于专栏:个人分享个人分享
代码语言:javascript
复制
import java.io.IOException;
import java.io.InputStream;
import java.util.List;
import java.util.Map;

import org.apache.commons.io.IOUtils;
import org.apache.commons.lang3.StringUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import com.google.common.collect.Maps;


public class LoadHdfsTemplate {
    static final Logger logger = LoggerFactory
            .getLogger(LoadHdfsTemplate.class);
    
    protected FileSystem fileSystem ;
    
    private String hdfsPath = "/template/template.txt";
    
    public final boolean checkFile(String filePath) {
        boolean exists = false;
        try {
            Path path = new Path(filePath);
            exists = fileSystem.exists(path);
        } catch (IOException e) {
            logger.error("接口模板文件不存在!", e);
        } catch (Exception e) {
            logger.error("", e);
        }
        return exists;
    }
    
    public Map<String,Object> readHdfsFile() throws IOException{
        fileSystem = FileSystem.get(new Configuration());
        Path path = new Path(hdfsPath);
        InputStream in = fileSystem.open(path);
        List<String> lines = IOUtils.readLines(in);
        if(null == lines || lines.isEmpty()){
            return null;
        }
        Map<String,Object> map =  Maps.newConcurrentMap();
        int rowNum = 0;
        for(String line : lines){
            rowNum++;
            String[] content = line.split("    ");
            String code = content[0].trim();
            String template = content[1].trim();
            if(StringUtils.isEmpty(line) || StringUtils.isEmpty(template)){
                logger.error("第{}条模板格式错误!内容为:{}",rowNum,line);
                continue;
            }
            map.put(code, template);
        }
        return map;
        
    }

    public void setHdfsPath(String hdfsPath) {
        this.hdfsPath = hdfsPath;
    }
}

 应用场景为,读取hdfs上的文件,并转化成<k,v>形式存入内存。

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2016-09-18 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档