如何使用FlatFileItemReader和块跳过CSV中的空行
如何使用FlatFileItemReader和块跳过CSV中的空行
提问于 2015-04-16 11:36:34
我正在使用FlatFileItemReader处理CSV文件。
有时，我在输入文件中得到空行。
当这种情况发生时，整个步骤就停止了。我想跳过这些行继续正常。
我尝试将异常处理程序添加到该步骤中，以捕获退出，而不是将整个步骤弯下：
@Bean
public Step processSnidUploadedFileStep() {
return stepBuilderFactory.get("processSnidFileStep")
.<MyDTO, MyDTO>chunk(numOfProcessingChunksPerFile)
.reader(snidFileReader(OVERRIDDEN_BY_EXPRESSION))
.processor(manualUploadAsyncItemProcessor())
.writer(manualUploadAsyncItemWriter())
.listener(logProcessListener)
.throttleLimit(20)
.taskExecutor(infrastructureConfigurationConfig.taskJobExecutor())
.exceptionHandler((context, throwable) -> logger.error("Skipping record on file. cause="+ ((FlatFileParseException)throwable).getCause()))
.build();
}由于我正在处理块，当空行到达并捕获异常时，会发生这样的情况:整个块是跳过的(块可能包含CSV文件上的有效行，它们也被跳过)
在以块处理文件时，知道如何正确处理吗？
谢谢，雷。
在编辑我的代码之后。仍未跳过：
public Step processSnidUploadedFileStep() {
SimpleStepBuilder<MyDTO, MyDTO> builder = new SimpleStepBuilder<MyDTO, MyDTO>(stepBuilderFactory.get("processSnidFileStep"));
return builder
.<PushItemDTO, PushItemDTO>chunk(numOfProcessingChunksPerFile)
.faultTolerant().skip(FlatFileParseException.class)
.reader(snidFileReader(OVERRIDDEN_BY_EXPRESSION))
.processor(manualUploadAsyncItemProcessor())
.writer(manualUploadAsyncItemWriter())
.listener(logProcessListener)
.throttleLimit(20)
.taskExecutor(infrastructureConfigurationConfig.taskJobExecutor())
.build();
}回答 1
Stack Overflow用户
回答已采纳
发布于 2015-04-17 11:28:07
我们创建了自定义SimpleRecordSeparatorPolicy，它告诉读者跳过空行。这样，我们就可以读取100条记录，即3条是空行，这些记录毫无例外地被忽略，它写入了97条记录。
这是代码：
package com.my.package;
import org.springframework.batch.item.file.separator.SimpleRecordSeparatorPolicy;
public class BlankLineRecordSeparatorPolicy extends SimpleRecordSeparatorPolicy {
@Override
public boolean isEndOfRecord(final String line) {
return line.trim().length() != 0 && super.isEndOfRecord(line);
}
@Override
public String postProcess(final String record) {
if (record == null || record.trim().length() == 0) {
return null;
}
return super.postProcess(record);
}
}以下是读者：
package com.my.package;
import org.springframework.batch.core.configuration.annotation.StepScope;
import org.springframework.batch.item.file.FlatFileItemReader;
import org.springframework.batch.item.file.mapping.DefaultLineMapper;
import org.springframework.batch.item.file.transform.DelimitedLineTokenizer;
import org.springframework.stereotype.Component;
@Component
@StepScope
public class CustomReader extends FlatFileItemReader<CustomClass> {
@Override
public void afterPropertiesSet() throws Exception {
setLineMapper(new DefaultLineMapper<CustomClass>() {
{
/// configuration of line mapper
}
});
setRecordSeparatorPolicy(new BlankLineRecordSeparatorPolicy());
super.afterPropertiesSet();
}
}页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/29673524
复制相关文章
相似问题
腾讯云开发者
