(64) 常见文件类型处理: 属性文件/CSV/EXCEL/HTML/压缩文件 / 计算机程序的思维逻辑

查看历史文章,请点击上方链接关注公众号。

对于处理文件,我们介绍了流的方式,57节介绍了字节流,58节介绍了字符流,同时,也介绍了比较底层的操作文件的方式,60节介绍了随机读写文件,61节介绍了内存映射文件,我们也介绍了对象的序列化/反序列化机制,62节介绍了Java标准的序列化,63节介绍了如何用Jackson处理其他序列化格式如XML/JSON和MessagePack。

在日常编程中,我们还经常会需要处理一些具体类型的文件,如CSV, Excel, HTML,直接使用前面几节介绍的方式来处理一般是很不方便的,往往有一些第三方的类库,基于之前介绍的技术,提供了更为方便易用的接口。

本节,我们就来简要介绍如何利用Java SDK和一些第三方类库,来处理如下五种类型的文件:

  • 属性文件:属性文件是常见的配置文件,用于在不改变代码的情况下改变程序的行为。
  • CSV:CSV是Comma-Separated Values的缩写,表示逗号分割值,是一种非常常见的文件类型,大部分日志文件都是CSV,CSV也经常用于交换表格类型的数据,待会我们会看到,CSV看上去很简单但处理的复杂性经常被低估。
  • Excel:Excel大家都知道,在编程中,经常需要将表格类型的数据导出为Excel格式,以方便用户查看,也经常需要接受Excel类型的文件作为输入以批量导入数据。
  • HTML:所有网页都是HTML格式,我们经常需要分析HTML网页,以从中提取感兴趣的信息。
  • 压缩文件:压缩文件有多种格式,也有很多压缩工具,大部分情况下,我们可以借助工具而不需要自己写程序处理压缩文件,但某些情况,需要自己编程压缩文件或解压缩文件。

属性文件

属性文件一般很简单,一行表示一个属性,属性就是键值对,键和值用等号(=)或冒号(:)分隔,一般用于配置程序的一些参数。比如,在需要连接数据库的程序中,经常使用配置文件配置数据库信息,比如,有这么个文件config.properties,内容大概如下所示:

db.host = 192.168.10.100
db.port : 3306
db.username = zhangsan
db.password = mima1234

处理这种文件使用字符流也是比较容易的,但Java中有一个专门的类java.util.Properties,它的使用也很简单,有如下主要方法:

public synchronized void load(InputStream inStream)
public String getProperty(String key)
public String getProperty(String key, String defaultValue)

load用于从流中加载属性,getProperty用于获取属性值,可以提供一个默认值,如果没有找到配置的值,则返回默认值。对于上面的配置文件,可以使用类似下面的代码进行读取:

Properties prop = new Properties();
prop.load(new FileInputStream("config.properties"));
String host = prop.getProperty("db.host");
int port = Integer.valueOf(prop.getProperty("db.port", "3306"));

使用类Properties处理属性文件的好处是:

  • 可以自动处理空格,我们看到分隔符=前后的空格会被自动忽略
  • 可以自动忽略空行
  • 可以添加注释,以字符#或!开头的行会被视为注释,进行忽略

不过,使用Properties也有限制,它不能直接处理中文,在配置文件中,所有非ASCII字符需要使用Unicode编码,比如,不能在配置文件中直接这么写:

name=老马

"老马"需要替换为Unicode编码,如下所示:

name=\u8001\u9A6C

在Java IDE如Eclipse中,如果使用属性文件编辑器,它会自动替换中文为Unicode编码,如果使用其他编辑器,可以先写成中文,然后使用JDK提供的命令native2ascii转换为Unicode编码,用法如下例所示:

native2ascii -encoding UTF-8 native.properties ascii.properties

native.properties是输入,其中包含中文,ascii.properties是输出,中文替换为了Unicode编码,-encoding指定输入文件的编码,这里指定为了UTF-8。

CSV文件

CSV是Comma-Separated Values的缩写,表示逗号分割值,一般而言,一行表示一条记录,一条记录包含多个字段,字段之间用逗号分隔。不过,一般而言,分隔符不一定是逗号,可能是其他字符如tab符'\t'、冒号':',分号';'等。程序中的各种日志文件通常是CSV文件,在导入导出表格类型的数据时,CSV也是经常用的一种格式。

CSV格式看上去很简单,比如,我们在58节保存学生列表时,使用的就是CSV格式,如下所示:

张三,18,80.9
李四,17,67.5

使用之前介绍的字符流,看上去就可以很容易处理CSV文件,按行读取,对每一行,使用String.split进行分割即可。但其实CSV有一些复杂的地方,最重要的是:

  • 字段内容中包含分割符怎么办?
  • 字段内容中包含换行符怎么办?

对于这些问题,CSV有一个参考标准,RFC-4180,https://tools.ietf.org/html/rfc4180,但实践中不同程序往往有其他处理方式,所幸的是,处理方式大体类似,大概有两种处理方式:

  1. 使用引用符号比如",在字段内容两边加上",如果内容中包含"本身,则使用两个"
  2. 使用转义字符,常用的是\,如果内容中包含\,则使用两个\

比如,如果字段内容有两行,内容为:

hello, world \ abc
"老马"

使用第一种方式,内容会变为:

"hello, world \ abc
""老马"""

使用第二种方式,内容会变为:

hello\, world \\ abc\n"老马"

CSV还有其他一些细节,不同程序的处理方式也不一样,比如:

  • 怎么表示null值?
  • 空行和字段之间的空格怎么处理?
  • 怎么表示注释?

由于以上这些复杂问题,使用简单的字符流就难以处理了。有一个第三方类库,Apache Commons CSV,对处理CSV提供了良好的支持,它的官网地址是:

http://commons.apache.org/proper/commons-csv/index.html

本节使用其1.4版本,简要介绍其用法。如果使用Maven管理项目,可引入以下文件中的依赖:

https://github.com/swiftma/program-logic/blob/master/csv_lib/dependencies.xml

如果非Maven,可从下面地址下载依赖库:

https://github.com/swiftma/program-logic/tree/master/csv_lib

Apache Commons CSV中有一个重要的类CSVFormat,它表示CSV格式,它有很多方法以定义具体的CSV格式,如:

//定义分隔符
public CSVFormat withDelimiter(final char delimiter)
//定义引号符

public CSVFormat withQuote(final char quoteChar)

//定义转义符
public CSVFormat withEscape(final char escape) 
//定义值为null的对象对应的字符串值
public CSVFormat withNullString(final String nullString)
//定义记录之间的分隔符
public CSVFormat withRecordSeparator(final char recordSeparator)
//定义是否忽略字段之间的空白
public CSVFormat withIgnoreSurroundingSpaces(final boolean ignoreSurroundingSpaces) 

比如,如果CSV格式定义为:使用分号;作为分隔符,"作为引号符,使用N/A表示null对象,忽略字段之间的空白,CSVFormat可以这样创建:

CSVFormat format = CSVFormat.newFormat(';')
        .withQuote('"').withNullString("N/A")
        .withIgnoreSurroundingSpaces(true);

除了自定义CSVFormat,CSVFormat类中也定义了一些预定义的格式,如:CSVFormat.DEFAULT, CSVFormat.RFC4180。

CSVFormat有一个方法,可以分析字符流:

public CSVParser parse(final Reader in) throws IOException

返回值类型为CSVParser,它有如下方法获取记录信息:

public Iterator<CSVRecord> iterator()
public List<CSVRecord> getRecords() throws IOException
public long getRecordNumber()

CSVRecord表示一条记录,它有如下方法获取每个字段的信息:

//根据字段列索引获取值,索引从0开始

public String get(final int i)

//根据列名获取值

public String get(final String name)
//字段个数

public int size()
//字段的迭代器

public Iterator<String> iterator()

分析CSV文件的基本代码如下所示:

CSVFormat format = CSVFormat.newFormat(';')
        .withQuote('"').withNullString("N/A")
        .withIgnoreSurroundingSpaces(true);
Reader reader = new FileReader("student.csv");
try{
    for(CSVRecord record : format.parse(reader)){
        int fieldNum = record.size();
        for(int i=0; i<fieldNum; i++){
            System.out.print(record.get(i)+" ");
        }
        System.out.println();
    }
}finally{
    reader.close();
}

除了分析CSV文件,Apache Commons CSV也可以写CSV文件,有一个CSVPrinter,它有很多打印方法,比如:

//输出一条记录,参数可变,每个参数是一个字段值
public void printRecord(final Object... values) throws IOException 

//输出一条记录

public void printRecord(final Iterable<?> values) throws IOException

看个代码示例:

CSVPrinter out = new CSVPrinter(new FileWriter("student.csv"),
        CSVFormat.DEFAULT);
out.printRecord("老马", 18, "看电影,看书,听音乐");
out.printRecord("小马", 16, "乐高;赛车;");
out.close();

输出文件student.csv中的内容为:

"老马",18,"看电影,看书,听音乐"
"小马",16,乐高;赛车;

Excel

Excel主要有两种格式,后缀名分别为.xls和.xlsx,.xlsx是Office 2007以后的默认扩展名。Java中处理Excel文件及其他微软文档广泛使用POI类库,其官网是http://poi.apache.org/。

本节使用其3.15版本,简要介绍其用法。如果使用Maven管理项目,可引入以下文件中的依赖:

https://github.com/swiftma/program-logic/blob/master/excel_lib/dependencies.xml

如果非Maven,可从下面地址下载依赖库:

https://github.com/swiftma/program-logic/tree/master/excel_lib

使用POI处理Excel文件,有如下主要类:

  • Workbook: 表示一个Excel文件对象,它是一个接口,有两个主要类HSSFWorkbook和XSSFWorkbook,前者对应.xls格式,后者对应.xlsx格式。
  • Sheet: 表示一个工作表
  • Row: 表示一行
  • Cell: 表示一个单元格

比如,保存学生列表到student.xls,代码可以为:

public static void saveAsExcel(List<Student> list) throws IOException {
    Workbook wb = new HSSFWorkbook();
    Sheet sheet = wb.createSheet();
    for (int i = 0; i < list.size(); i++) {
        Student student = list.get(i);
        Row row = sheet.createRow(i);
        row.createCell(0).setCellValue(student.getName());
        row.createCell(1).setCellValue(student.getAge());
        row.createCell(2).setCellValue(student.getScore());
    }
    OutputStream out = new FileOutputStream("student.xls");
    wb.write(out);
    out.close();
    wb.close();
}

如果要保存为.xlsx格式,只需要替换第一行为:

Workbook wb = new XSSFWorkbook();

使用POI也可以方便的解析Excel文件,使用WorkbookFactory的create方法即可,如下所示:

public static List<Student> readAsExcel() throws Exception  {
    Workbook wb = WorkbookFactory.create(new File("student.xls"));
    List<Student> list = new ArrayList<Student>();
    for(Sheet sheet : wb){
        for(Row row : sheet){
            String name = row.getCell(0).getStringCellValue();
            int age = (int)row.getCell(1).getNumericCellValue();
            double score = row.getCell(2).getNumericCellValue();
            list.add(new Student(name, age, score));
        }
    }    
    wb.close();
    return list;
}

以上我们只是介绍了基本用法,如果需要更多信息,如配置单元格的格式、颜色、字体,可参看http://poi.apache.org/spreadsheet/quick-guide.html。

HTML

HTML是网页的格式,如果不熟悉,可以参看http://www.w3school.com.cn/html/html_intro.asp。在日常工作中,可能需要分析HTML页面,抽取其中感兴趣的信息。有很多HTML分析器,我们简要介绍一种,jsoup,其官网地址为https://jsoup.org/。

本节使用其1.10.2版本。如果使用Maven管理项目,可引入以下文件中的依赖:

https://github.com/swiftma/program-logic/blob/master/html_lib/dependencies.xml

如果非Maven,可从下面地址下载依赖库:

https://github.com/swiftma/program-logic/tree/master/html_lib

我们通过一个简单例子来看jsoup的使用,我们要分析的网页地址是:

http://www.cnblogs.com/swiftma/p/5631311.html

浏览器中看起来的样子是这样的(部分截图):

将网页保存下来,其HTML代码看上去是这样的(部分截图):

假定我们要抽取网页主题内容中每篇文章的标题和链接,怎么实现呢?jsoup支持使用CSS选择器语法查找元素,如果不了解CSS选择器,可参看http://www.w3school.com.cn/cssref/css_selectors.asp。

定位文章列表的CSS选择器可以是

#cnblogs_post_body p a

我们来看代码(假定文件为articles.html):

Document doc = Jsoup.parse(new File("articles.html"), "UTF-8");
Elements elements = doc.select("#cnblogs_post_body p a");
for(Element e : elements){
    String title = e.text();
    String href = e.attr("href");
    System.out.println(title+", "+href);
}

输出为(部分):

计算机程序的思维逻辑 (1) - 数据和变量, http://www.cnblogs.com/swiftma/p/5396551.html 计算机程序的思维逻辑 (2) - 赋值, http://www.cnblogs.com/swiftma/p/5399315.html

jsoup也可以直接连接URL进行分析,比如,上面代码的第一行可以替换为:

String url = "http://www.cnblogs.com/swiftma/p/5631311.html";
Document doc = Jsoup.connect(url).get();

关于jsoup的更多用法,请参看其官网。

压缩文件

压缩文件有多种格式,Java SDK支持两种:gzip和zip,gzip只能压缩一个文件,而zip文件中可以包含多个文件。下面我们介绍Java SDK中的基本用法,如果需要更多格式,可以考虑Apache Commons Compress:

http://commons.apache.org/proper/commons-compress/

先来看gzip,有两个主要的类:

java.util.zip.GZIPOutputStream java.util.zip.GZIPInputStream

它们分别是OutputStream和InputStream的子类,都是装饰类,GZIPOutputStream加到已有的流上,就可以实现压缩,而GZIPInputStream加到已有的流上,就可以实现解压缩。比如,压缩一个文件的代码可以为:

public static void gzip(String fileName) throws IOException {
    InputStream in = null;
    String gzipFileName = fileName + ".gz";
    OutputStream out = null;
    try {
        in = new BufferedInputStream(new FileInputStream(fileName));
        out = new GZIPOutputStream(new BufferedOutputStream(
                new FileOutputStream(gzipFileName)));
        copy(in, out);
    } finally {
        if (out != null) {
            out.close();
        }
        if (in != null) {
            in.close();
        }
    }
}

调用的copy方法是我们在57节介绍的。解压缩文件的代码可以为:

public static void gunzip(String gzipFileName, String unzipFileName)
        throws IOException {
    InputStream in = null;
    OutputStream out = null;
    try {
        in = new GZIPInputStream(new BufferedInputStream(
                new FileInputStream(gzipFileName)));
        out = new BufferedOutputStream(new FileOutputStream(
                unzipFileName));
        copy(in, out);
    } finally {
        if (out != null) {
            out.close();
        }
        if (in != null) {
            in.close();
        }
    }
}

zip文件支持一个压缩文件中包含多个文件,Java SDK主要的类是:

java.util.zip.ZipOutputStream
java.util.zip.ZipInputStream

它们也分别是OutputStream和InputStream的子类,也都是装饰类,但不能像GZIPOutputStream/GZIPInputStream那样简单使用。

ZipOutputStream可以写入多个文件,它有一个重要方法:

public void putNextEntry(ZipEntry e) throws IOException

在写入每一个文件前,必须要先调用该方法,表示准备写入一个压缩条目ZipEntry,每个压缩条目有个名称,这个名称是压缩文件的相对路径,如果名称以字符'/'结尾,表示目录,它的构造方法是:

public ZipEntry(String name)

我们看一段代码,压缩一个文件或一个目录:

public static void zip(File inFile, File zipFile) throws IOException {
    ZipOutputStream out = new ZipOutputStream(new BufferedOutputStream(
            new FileOutputStream(zipFile)));
    try {
        if (!inFile.exists()) {
            throw new FileNotFoundException(inFile.getAbsolutePath());
        }
        inFile = inFile.getCanonicalFile();
        String rootPath = inFile.getParent();
        if (!rootPath.endsWith(File.separator)) {
            rootPath += File.separator;
        }
        addFileToZipOut(inFile, out, rootPath);
    } finally {
        out.close();
    }
}

参数inFile表示输入,可以是普通文件或目录,zipFile表示输出,rootPath表示父目录,用于计算每个文件的相对路径,主要调用了addFileToZipOut将文件加入到ZipOutputStream中,代码为:

private static void addFileToZipOut(File file, ZipOutputStream out,
        String rootPath) throws IOException {
    String relativePath = file.getCanonicalPath().substring(
            rootPath.length());
    if (file.isFile()) {
        out.putNextEntry(new ZipEntry(relativePath));
        InputStream in = new BufferedInputStream(new FileInputStream(file));
        try {
            copy(in, out);
        } finally {
            in.close();
        }
    } else {
        out.putNextEntry(new ZipEntry(relativePath + File.separator));
        for (File f : file.listFiles()) {
            addFileToZipOut(f, out, rootPath);
        }
    }
}

它同样调用了copy方法将文件内容写入ZipOutputStream,对于目录,进行递归调用。

ZipInputStream用于解压zip文件,它有一个对应的方法,获取压缩条目:

public ZipEntry getNextEntry() throws IOException

如果返回值为null,表示没有条目了。使用ZipInputStream解压文件,可以使用类似如下代码:

public static void unzip(File zipFile, String destDir) throws IOException {
    ZipInputStream zin = new ZipInputStream(new BufferedInputStream(
            new FileInputStream(zipFile)));
    if (!destDir.endsWith(File.separator)) {
        destDir += File.separator;
    }
    try {
        ZipEntry entry = zin.getNextEntry();
        while (entry != null) {
            extractZipEntry(entry, zin, destDir);
            entry = zin.getNextEntry();
        }
    } finally {
        zin.close();
    }
}

调用extractZipEntry处理每个压缩条目,代码为:

private static void extractZipEntry(ZipEntry entry, ZipInputStream zin,
        String destDir) throws IOException {
    if (!entry.isDirectory()) {
        File parent = new File(destDir + entry.getName()).getParentFile();
        if (!parent.exists()) {
            parent.mkdirs();
        }
        OutputStream entryOut = new BufferedOutputStream(
                new FileOutputStream(destDir + entry.getName()));
        try {
            copy(zin, entryOut);
        } finally {
            entryOut.close();
        }
    } else {
        new File(destDir + entry.getName()).mkdirs();
    }
}

小结

本节简要介绍了五种常见文件类型的处理:属性文件、CSV、EXCEL、HTML和压缩文件,介绍了基本用法和更多信息的参考链接。

至此,关于文件的所有部分,我们就介绍完了。

从下一节开始,让我们一起探索并发和线程的世界!

(与其他章节一样,本节所有代码位于 https://github.com/swiftma/program-logic)

原文发布于微信公众号 - 老马说编程(laoma_shuo)

原文发表时间:2017-01-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ChaMd5安全团队

0ctf2018 heapstorm2详解

题目链接 https://github.com/eternalsakura/ctf_pwn/tree/master/0ctf2018/heapstorm2 前置...

7487
来自专栏比原链

剥开比原看代码13:比原是如何通过/list-balances显示帐户余额的?

Gitee地址:https://gitee.com/BytomBlockchain/bytom

791
来自专栏hotqin888的专栏

用golang递归构建无限级树状目录json数据和数据库

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/hotqin888/article/det...

3032
来自专栏一个会写诗的程序员的博客

ES6 + React 开发极小知识集教程(附:dva 创建项目过程讲解)Kotlin 开发者社区

不要用 var,而是用 const 和 let,分别表示常量和变量。不同于 var 的函数作用域,const 和 let 都是块级作用域。

1142
来自专栏IT杂记

通过Java程序提交通用Mapreduce无法回收类的问题

问题描述 上次发布的博客 通过Java程序提交通用Mapreduce,在实施过程中发现,每次提交一次Mapreduce任务,JVM无法回收过程中产生的MapRe...

3076
来自专栏逆向技术

PE格式第六讲,导出表

                PE格式第六讲,导出表 请注意,下方字数比较多,其实结构挺简单,但是你如果把博客内容弄明白了,对你受益匪浅,千万不要看到字...

1936
来自专栏流浪猫的golang

golang mongoDB 的集合创建以及增删改查操作

mongo官方没有golang 的官方驱动,但是有一个社区驱动: http://labix.org/mgo api文档:https://godoc.or...

1853
来自专栏大内老A

ASP.NET MVC以ModelValidator为核心的Model验证体系: ModelValidatorProviders

前面篇文章我们分别介绍用真正用于实施Model验证的ModelValidator(《ASP.NET MVC以ModelValidator为核心的Model验证体...

1805
来自专栏Python研发

Django之Model世界

django为使用一种新的方式,即:关系对象映射(Object Relational Mapping,简称ORM)

1242
来自专栏影子

Java解析OFFICE(word,excel,powerpoint)以及PDF的实现方案及开发中的点滴分享

58216

扫码关注云+社区

领取腾讯云代金券