我有一个包含.CSV文件的.zip文件的URL。
我正在用Java语言编写一个应用程序,它需要下载这个.zip文件,访问.zip中的CSV文件,并使用Apache Commons CSV在CSVRecords列表中解析它们。我不想把任何文件写到磁盘上,因为这是性能上的浪费。
这就是我到目前为止所拥有的(我现在省略了所有的错误处理,它只是一个POC):
URL url = new URL(myURLString);
InputStream input = url.openStream();
ZipInputStream zipIn = new ZipInputStream(input);
ZipEntry entry;
while((entry = zipIn.getNextEntry()) != null) {
InputStreamReader isr = new InputStreamReader(zipIn);
CSVParser csv = new CSVParser(isr, CSVFormat.DEFAULT);
List<CSVRecord> records = csv.getRecords(); <----- THIS IS WHERE IT HANGS!
}
由于某些原因,我不明白为什么当CSVParser试图读取文件时它会挂起。任何帮助都是非常感谢的!
附注:当CSV不在拉链中时,我可以很好地阅读它,因此:
URL url = new URL(myURLString);
InputStream input = url.openStream();
InputStreamReader reader= new InputStreamReader(input );
CSVParser csv = new CSVParser(reader, CSVFormat.DEFAULT);
List<CSVRecord> records = csv.getRecords();
发布于 2017-09-13 12:06:23
也许可以尝试使用不同的解析器。使用univocity-parsers可能会报告处理文件时出现的任何错误。
只需更改为:
URL url = new URL(myURLString);
InputStream input = url.openStream();
ZipInputStream zipIn = new ZipInputStream(input);
ZipEntry entry;
//configure the parser to detect the CSV format automatically
CsvParserSettings parserSettings = new CsvParserSettings();
parserSettings.detectFormatAutomatically();
//use this if the files are small (less than 50mb each)
//parserSettings.setReadInputOnSeparateThread(false);
CsvParser csv = new CsvParser(parserSettings);
while((entry = zipIn.getNextEntry()) != null) {
InputStreamReader isr = new InputStreamReader(zipIn);
List<Record> records = csv.parseAllRecords(isr);
}
希望能有所帮助。
免责声明:我是这个库的作者。它是开源和免费的(Apache2.0许可证)
发布于 2018-09-12 03:58:20
我已经写了一个支持你的用例的库unzip-csv。它甚至可以解压归档文件中的特定文件(下载片段),还支持多线程工作程序。
https://stackoverflow.com/questions/46184001
复制相似问题