在spring batch中我的自定义阅读器中出现空值
在Spring Batch中，自定义阅读器（Custom ItemReader）是用于读取数据的组件。当在自定义阅读器中出现空值时，可能会导致数据处理过程中的异常或错误。为了解决这个问题，可以采取以下步骤：
- 检查数据源：首先，确保数据源中没有空值。可以通过查询数据库或检查文件等方式来验证数据源的完整性。
- 数据过滤：在自定义阅读器中，可以添加过滤器（Filter）来排除空值。这样可以确保只有有效的数据被读取和处理。
- 异常处理：在自定义阅读器中，可以添加异常处理机制来处理空值。可以使用try-catch语句块来捕获异常，并根据需要采取相应的处理措施，例如记录日志或跳过当前数据。
- 数据校验：在自定义阅读器中，可以添加数据校验的逻辑，以确保读取的数据符合预期的格式和规范。可以使用正则表达式或其他校验方法来验证数据的有效性。
- 单元测试：为了确保自定义阅读器的正确性和稳定性，建议编写相应的单元测试。通过模拟包含空值的数据源，并验证自定义阅读器的行为和输出结果，可以及早发现和解决空值相关的问题。
总结起来，当在Spring Batch中的自定义阅读器中出现空值时，可以通过检查数据源、数据过滤、异常处理、数据校验和单元测试等方法来解决问题。这样可以确保数据处理过程的稳定性和可靠性。
关于Spring Batch和自定义阅读器的更多信息，您可以参考腾讯云的产品文档和官方网站：
- Spring Batch官方网站：https://spring.io/projects/spring-batch
- 腾讯云Spring Batch产品介绍：https://cloud.tencent.com/product/springbatch
相关·内容
我正在使用Spring batch和spring boot。我在处理多个文件时遇到问题。
我的方案。我有多个具有不同标题的文件，例如：
Sourcefile1.txt：
name, age, salary
ajay, 22, 2000
vijay, 23, 3000
Sourcefile2.txt：
name, address
vijay, india
ajay, uk
我想使用spring boot和spring batch来处理这些文件。我该怎么做呢？
浏览 0提问于2017-05-24得票数 0
我在我的项目中使用Spring integration和Spring batch，使用spring集成从ftp接收文件，并使用spring批处理运行作业来处理文件，我想以以下格式读取文件：
4ByteLengthDATA4ByteLengthDATA4ByteLengthDATA...
该文件只有一行，并且可能包含与上述格式相同的100万条记录，我的问题是如何使用spring批处理读取有效的文件？
浏览 0提问于2019-01-12得票数 1
回答已采纳
1回答
步骤配置示例：
Step employersStep = stepBuilderFactory.get("employersStep")
.<Employer, EmployerEntity>chunk(10)
.reader(amqpReader())
.processor(processor)
.writer(entityWriter)
.build();
如你所见，我正在努力：
从AMQP代理(RabbitMQ);process it读取数据；将处理过的数据写入DB.。
案件的预期
浏览 2提问于2021-08-11得票数 0
运行spring batch的项目时，出现异常！
异常详细信息：
Caused by: java.lang.NullPointerException: null
at org.springframework.batch.item.xml.StaxEventItemReader.moveCursorToNextFragment(StaxEventItemReader.java:141)
fileName是正确的！
配置代码：
@Bean
@StepScope
public StaxEventItemReader xmlFileItemReader(@Value("#{jobParame
浏览 3提问于2013-08-22得票数 1
2回答
我需要读取用分隔符分隔的csv文件，并将其存储到SQL DB。我的csv将包含空字符串(“")和空值(”“)。目前，所有的空值和空字符串都是以空字符串的形式存储在SQL中，使用的是spring batch。现在，我想将空值替换为null，而不是空字符串。
1|raj |N|N|Y|Y
第三列为空，第四列为空。|是分隔符。
浏览 2提问于2016-01-11得票数 0
1回答
我有一个csv文件，包含4行。Step是正常执行的，但是当它超出第4行时，它会抛出一个错误，而我只有4行。
在fieledSetMapper类中，我显示文件的行
public class BatchFieldSetMapper implements FieldSetMapper<Batch>{
@Override
public Batch mapFieldSet(FieldSet fieldSet) throws BindException {
Batch result = new Batch();
result.setInstitution(fieldSet
浏览 1提问于2017-05-07得票数 1
回答已采纳
我正在处理的春季批处理程序是从一个表中读取数据。它使用的是‘org.springframework.batch.item.database.JdbcCursorItemReader’itemReader。此前的计划是修改表并添加PROCESSED_INDICATOR标志，并将其预先填充为“未决”状态。一旦记录被处理，写入器将将PROCESSED_INDICATOR标志的状态更新为“processed”。这是为了支持重新启动。例如，如果批处理获取了100万条记录并在150万条记录中死亡，那么当我重新启动该批时，它应该从我停止的地方开始。但不幸的是，管理层没有批准这一解决方案。我正在挖掘使项目阅读
浏览 1提问于2019-01-16得票数 1
1回答
我们创建了一个自定义项目阅读器，它扩展了AbstractPaginatedDataItemReader。Spring-batch允许管理停止或不停止作业的异常(跳过的异常)。
在“经典”的spring-batch阅读器中，doRead方法抛出任何Exception。这意味着，如果在读取过程中抛出跳过的异常，则跳过该项并继续运行作业。
但在分页读取器中，用于检索下一个数据页的doPageRead方法不会抛出任何异常：
protected abstract Iterator<T> doPageRead();
doRead方法调用doPageRead方法：
protected T doR
浏览 1提问于2017-11-03得票数 3
我是Spring Batch的新手。我有以下问题。
我正在使用Spring Batch开发一个批处理过程。我有一个java数组，里面有一些'process_id‘值。我想要做的是，对于每个“process_id”，我需要使用ItemReader调用数据库存储过程。有没有人能帮我写ItemReader来实现这一点？
谢谢你的帮助。
浏览 1提问于2012-06-08得票数 1
回答已采纳
我需要创建一个spring batch，其中的任务是根据提供的过滤器从LDAP读取数据。谁能帮助我们找到如何配置多个读取器，每个读取器将有一个不同的过滤器，并返回对象列表，并处理该列表并将其存储到不同的域 例如： List<Users> reader1(LdapTemplate ldaptemplate){
LdapItemReader reader = new LdapItemReader<>(
filter1 = ..;
)
List<Users> reader2(LdapTemplate ldaptemplate){
LdapItemRead
浏览 28提问于2021-07-06得票数 0
因此，我的春季批处理作业有三个步骤，第一步(Tasklet)将从共享驱动器复制文件，并将它们存储在spring project(FileSystems.getDefault()."folder_name").的文件夹中。第二步应根据业务逻辑从该文件夹和流程中读取xml文件，最后写入MultiResourceItemReader最后一步(Tasklet)将删除在步骤1中创建的文件夹。但是，在关闭作业作业中的step step1中的步骤执行资源时，必须设置o.s.batch.core.step.AbstractStep资源和o.s.batch.core.step.AbstractS
浏览 0提问于2018-10-18得票数 0
我必须跳过来自reader FlatFileItemReader的自定义映射器FieldSetMapper的自定义异常(CSVFieldMappingException)，对于我的Spring批处理作业业务logic.For的ArrayIndexOutOfBoundsException，我已经添加了作业步骤的配置，如下所示。
@Bean
public Step step1(StepBuilderFactory stepBuilderFactory,
ItemReader reader, ItemWriter writer,
浏览 10提问于2016-03-15得票数 0
我有一个带有自定义ItemReader作为委托的ItemReader。我面临的问题是，当我启动工作时，同一个文件会被一遍又一遍地读取。
这是委托类：
public class AllegatiReader implements ResourceAwareItemReaderItemStream<Allegato> {
@PersistenceContext
protected EntityManager em;
private Resource resource;
@Override
public void close() throws
浏览 4提问于2015-03-31得票数 0
回答已采纳
我想从数据库中读取大量数据，读取表的查询将是动态的(表名将从配置文件中选择)。并将数据放在带有分隔符的平面文件中。因为表名本身是动态的，所以我不能使用任何行映射器/DTO/VO类。
这是读取自定义数据并将其写入到具有某些分隔符的平面文件。
您能帮助我们确定如何使用spring batch来实现这一点吗？
浏览 9提问于2017-12-07得票数 0
2回答
我最近开始使用spring batch。有没有人能告诉我如何在微线程中限制块(即ItemReader和ItemWrite的调用)的执行次数。
我在微线程中设置了allow-start-if-complete="false"，start-limit="1“。然后我在块中设置commit-interval="1“。
<batch:step id="mig-chain-data">
<batch:tasklet allow-start-if-complete="false" start-limit="1"
浏览 0提问于2012-06-20得票数 1
回答已采纳
我不知道这是否可能，但这是我的问题:我有一个使用spring-boot和spring-batch开发的批处理，并且我必须使用Feign调用另一个微服务......help！
这是我的班级阅读器
package it.batch.step;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.batch.item.ItemReader;
import org.springframework.batch.item.NonTransientResourceException;
imp
浏览 9提问于2020-04-11得票数 1
我试图在的春季批处理示例之后使用多行。
我遇到了以下编译错误-
我确信，在寻找实现ItemReader的类时，有一些与泛型有关的东西，但是AggregateItemReader实现了ItemReader。
public class AggregateItemReader<T> implements ItemReader<List<T>> {
你可以在这里找到我的代码-
更新：
我抑制了泛型，并按照下面的方式更新了AggregateItemReader，以便调用ItemStreamReader open()方法。
public class Aggr
浏览 3提问于2021-08-13得票数 1
回答已采纳
免责声明:我是春天的菜鸟。我所要求的可能很“奇怪”，因为我甚至不知道我不知道什么。
我正在尝试使用Java创建一个批处理数据移动/操作工具(我可以说是ETL工具)。有人建议我查看spring-batch，我非常喜欢它，因为它有许多用于数据读写和处理的库。
但我的问题是-我的数据源(平面文件或表)没有固定。在前端，用户将选择要加载的平面文件或数据库表，程序将自动加载该文件或数据库表。这意味着，通常的事情，如：
源/目标实体结构
源或目标数据库URL/DSN
工作参数等
在我的案子里不是预先决定的。它们是在运行时确定的。但是，到目前为止，无论我看到了什么spring-batch
浏览 0提问于2014-12-15得票数 2
我有一个spring batch作业，其中的一个步骤如下：
<bean id="abstractReader" class="org.springframework.batch.item.database.JdbcCursorItemReader" abstract="true">
<property name="fetchSize" value="1000"/>
<property name="verifyCursorPosition" value=&
浏览 0提问于2016-01-28得票数 0
我有一个spring批处理程序，其中我从数据库写入到一个固定格式的文件。
我的数据库表由5列组成。所有列都包含对某些产品的描述。列的类型为varchar，每个列的大小为200。
我从我的pojo中的专栏中读取了5个字符串属性的描述。desc1、desc2、desc3、desc4、desc5。
我的项目写入器如下所示：
<beans:bean id="DbToFileItemWriter" class="org.springframework.batch.item.file.FlatFileItemWriter" scope="step"&g
浏览 0提问于2012-01-21得票数 1
回答已采纳
对于Spring批处理作业，我们在同一个表上有两个不同的查询。要求具有一个读取器，该读取器执行两个查询以从同一个表中读取数据。
一种方法可能是：
<batch:step id="firstStep" next="secondStep">
<batch:tasklet>
<batch:chunk reader="firstReader" writer="firstWriter" commit- interval="2">
浏览 1提问于2016-05-26得票数 3
我读到过Apache Solr和Spring Batch。Apache Solr是一种强大的搜索技术。现在，我们希望从Apache Solr读取数据，然后Spring Batch将处理该数据并将其写入数据库。
我搜索了很多，但我不能得到关于这个集成的演示。可以将Apache Solr与Spring Batch集成吗？
浏览 0提问于2015-10-04得票数 2
我正在使用CommandLineJobRunner来执行一个spring批处理作业。我想传入一组参数，但我遇到了一些问题。这是我的步骤：
<bean id="loadTAReportsJob" class="org.springframework.batch.core.job.SimpleJob">
<property name="steps">
<bean id="loadStep" parent="simpleStep">
浏览 0提问于2011-04-02得票数 2
回答已采纳
我是Springbatch的新手，正在尝试实现以下目标:我们有一个包含页眉、正文和页脚记录的文件，其中页脚包含文件中应该包含的总行数。有没有办法用页脚中的数字验证输入文件中的记录数，如果它们不匹配，就用Spring batch抛出一个异常？
浏览 6提问于2013-12-03得票数 0
在spring批处理作业中，我有一个步骤，希望使用Hibernate从数据库中逐块读取数据，对其进行处理，然后将其写回数据库。现在我在设置阅读器时遇到了一些问题：
@EnableBatchProcessing
@Configuration
@ComponentScan(basePackages = {"com.x.y.z.database", "com.x.y.p.database"}, excludeFilters={
@ComponentScan.Filter(type= FilterType.ASSIGNABLE_TYPE, value=C
浏览 0提问于2019-07-15得票数 0
我们正在处理一个Spring批处理作业，我们需要在一个步骤中存储计算出的数据，并在下一步中检索它。
我可以使用spring批处理源代码中的以下实现，以独立的方式实现这一点
但我们是以客户端/主服务器和服务器的方式实现它。其中客户端/主服务器具有与作业和分区相关的代码。
客户端位于EAR的外部，由Shell脚本用来调用批处理作业。
客户端的Bean配置：
<job id="esk956" xmlns="http://www.springframework.org/schema/batch">
<step id="importSa
浏览 0提问于2013-01-22得票数 0
回答已采纳
Spring batch FlatFileItemReader默认支持两种文件格式，固定长度和分隔符分隔。e.g
id name email
1 name1 name1@abc.com
2 name2 name@abc.com
因此，它会将每一行视为一个项目，并将字段视为项目(域)对象的属性。
我的输入文件只有ids，由空格或逗号分隔，因为我只需要ids (或者它对于每个项目都是唯一的，比如用户名或电子邮件等)。
1,2,3,4,5,6
7,8,9, ...... so on
或
username1, username2, username3, username4 .. so on
浏览 0提问于2014-04-12得票数 0
我有一个spring批处理程序，它从文件中读取并写入数据库。
数据由|| (双管道)分隔，并且行尾没有分隔符。
one||two||three||four
foo||bar||foo1||bar1
问题是每行的结尾在行尾字符之前有数百个尾随空格。
使用ctrl + Q，i在文本垫中显示：
one||two||three||four.......................................
foo||bar||foo1||bar1...............
car||bike||tango||charlie..........................
这会在(or
浏览 0提问于2011-12-01得票数 2
回答已采纳
我想找到一种方法来测试我作为MultiResourceItemReader委托编写的自定义MultiResourceItemReader。
这里是我的Spring配置文件：
<batch:job id="allegati" incrementer="jobParametersIncrementer">
<batch:step id="allegati-import">
<batch:tasklet>
<batch:chunk reader="alle
浏览 2提问于2015-03-31得票数 1
回答已采纳
我正在尝试使用spring-batch在网络上的不同端点(pc、s3、dropbox、google drive)之间传输任何文件(视频、txt等)。为此，我正在获取包含要传输的文件位置(Url)列表的json文件(假设我可以访问这些位置)。 那么，我如何告诉阅读器在我的控制器被点击(在其中创建作业)而不是在启动spring-boot应用程序时读取输入呢？ 我曾尝试添加"spring.batch.job.enabled=false“来停止spring-batch的自动启动，但我担心的是，我应该在哪里设置将提供给ItemReader的资源行： FlatFileItemReader<
浏览 50提问于2020-08-25得票数 0
回答已采纳
我需要读取一个与模块相关的事务表，使用Spring获取记录，并使用编写记录，这样我就无法控制这些读取器和写入器，因为它们不是自定义的。然后，第二步是使用SFTP将相同的平面文件传输到远程位置。
但是，有时当Spring FlatFile读取器没有得到记录时，它会生成带有头的空文件。
因此，我正在检查第二步任务中文件的内容，并检查它是否包含头和记录，然后在该步骤中传输相同的内容，否则我将插入一些默认记录，其中包含一些逻辑到事务表中。一旦插入完成，那么我想从当前的tasklet步骤调用前一步，即步骤1 Spring平面文件读取器。
请让我知道相同的调用前一步从当前步骤，也就是任务。
请找到下面的示
浏览 3提问于2015-10-01得票数 1
回答已采纳
spring batch的新手，正在尝试为大量数据输入实现Partition。我已经检查了下面的解决方案，它们与我的问题相似，但无法解决问题。
但我还是遇到了异常：
Caused by: org.springframework.expression.spel.SpelEvaluationException: EL1008E:(pos 0): Property or field 'stepExecutionContext' cannot be found on object of type 'org.springframework.beans.factory.conf
浏览 0提问于2017-08-31得票数 0
我想了解按块读取数据的基本机制。实际上，我想手动复制该代码。我们从中读取的数据库不支持SQL查询，SQL查询可以限制读取的记录数。因此，我正在尝试是否可以以某种方式将读取限制为特定的大小(就像spring batch如何将一次读取限制为特定的块大小一样)。
谢谢!
浏览 2提问于2018-11-30得票数 0
我有一个Spring批处理任务，我在两个stpe之间传递一些值。我在Step1中设置了作业上下文中的值，现在尝试从Step2中的RepositoryItemReader中读取。有一个@BeforeStep方法，我可以在其中读取上下文中设置的值。但我在@PostConstruct带注释的方法中设置了我的存储库以及方法名和参数，该方法在@BeforeStep带注释的方法之前执行。
从JobExecution上下文中读取ReposiotryItem中的参数的最佳方法是什么？
@Component
@JobScope
public class MyItemReader extends Reposito
浏览 5提问于2018-02-05得票数 0
回答已采纳
我想按顺序处理多个文件，每个文件都需要在多线程的帮助下处理，所以我使用了spring batch FlatFileItemReader和TaskExecutor，它对我来说似乎工作得很好。正如我们在需求中提到的，我们必须处理多个文件，所以除了FlatFileItemReader之外，我还使用了MultiResourceItemReader，它将获取多个文件，并逐个处理我遇到的问题。谁能帮我解释一下异常的原因是什么？解决这个问题的方法是什么？ org.springframework.batch.item.ReaderNotOpenException: Reader must be open b
浏览 35提问于2020-03-27得票数 4
回答已采纳
1回答
如何在Spring Batch中实现对DB的并行读取？
根据，我可以实现多线程步骤，但是，我必须为我的读者实现SynchronizedItemStreamReader。因此，我对DB的所有查询都是连续的。
浏览 0提问于2020-05-01得票数 0
1回答
我有一个不调用写方法的问题。
春季语境
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:batch="http://www.springframework.org/schema/batch" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://www.springframework.org/schema/batch
http://www
浏览 3提问于2013-09-05得票数 1
我的应用程序只需要读取和处理固定数量的记录。如果我使用的是flatfileItemReader，如何限制这一点？在基于数据库的项目阅读器中，当达到max_limit时，我返回null/空列表。如果我使用的是org.springframework.batch.item.file.FlatFileItemReader，如何实现同样的目标？
浏览 0提问于2016-06-12得票数 4
我有一个spring-batch任务，可以将各种银行对帐单转换成我的应用程序。每种银行对帐单类型都有不同的读取器，并且所有类型都只有一个写入器。这项工作非常简单--读取、处理和写入：
<batch:job id="importer" restartable="true">
<batch:step id="import">
<batch:tasklet>
<batch:chunk reader="reader" writer="writ
浏览 0提问于2012-01-22得票数 3
回答已采纳
我正在尝试在Spring Batch中配置几个数据源。在启动时，Spring Batch抛出以下异常：
To use the default BatchConfigurer the context must contain no more thanone DataSource, found 2
来自批处理配置的代码片段
@Configuration
@EnableBatchProcessing
public class BatchJobConfiguration {
@Primary
@Bean(name = "baseDatasource")
pu
浏览 347提问于2014-08-28得票数 43
回答已采纳
这是我的job.xml的一部分
<job id="foo" job-repository="job-repository">
<step id="bar">
<tasklet transaction-manager="transaction-manager">
<chunk commit-interval="1"
reader="foo-reader" writer="foo-writer"
浏览 4提问于2011-05-21得票数 77
回答已采纳
我正面临着这个问题中描述的类似问题。Spring batch jpaPagingItemReader why some rows are not read? 我必须从一个表中读取一些记录，比如 SELECT * FROM TABLE1 WHERE COLUMN1 = NULL 并根据其他列的值做一些处理(连接到REST服务)，并在COLUMN1中获取一些数据和更新。 因为我将RepositoryItemReader与taskExecutor一起使用，所以分页的fetch不能很好地工作，大约一半的记录被从实际符合条件的记录中跳过。 为了避免这个问题，我将查询简化为SELECT * FROM T
浏览 97提问于2021-09-06得票数 0
是否可以使用spring batch Itemreader读取2个不同的文件(在单个阅读器中)，并比较这2个files.Based中存在的属性(如ID列)，然后使用Itemprocessor比较ID，记录将使用Itemwriter写入新文件中
浏览 0提问于2019-02-13得票数 1
我想处理3个数据文件。比方说FileA，FileB，FileC。每个文件具有不同类型的数据，并将被加载到不同的表集。我读过关于Spring Batch的文章，看过视频，做过一些教程。我正在考虑为每种类型的文件编写一系列Steps。例如，我的FileProcessingJob将FileA-Step1、FileA-Step2、FileA-Step3用于FileA，然后将FileB-Step1、FileB-Step2、FileB-Step3用于FileB，并将<代码>d13</code>、FileC-Step2、FileC-Step3用于FileC。我希望将文件名作为参数传递
浏览 11提问于2018-01-20得票数 0
我们正在使用Spring Batch加载一个大文件。该文件包含票证数据，并且每个票证数据跨越多行。标签数据的结尾由下一个标签数据的开始标识。我们使用PeekableItemReader来实现这一点。问题是-当我们不能一次处理一条记录时，是否有可能实现多线程来提高阅读器的性能？多线程不应该读取相同票证数据的不同部分(行)，因为它们必须在单个线程中读取和处理。我们的目标是提高阅读器的性能
提前感谢
浏览 2提问于2019-08-23得票数 0
我使用了Spring Batch和quartz调度器。我们将作业详细信息存储在数据库中。如果发生任何错误，那么错误详细信息将存储在Postgresql数据库表(BATCH_JOB_EXECUTION、BATCH_JOB_EXECUTION_PARAMS、BATCH_STEP_EXECUTION、BATCH_STEP_EXECUTION_CONTEXT)中。错误详细信息存储为异常prinStackTrace()详细信息。我们如何覆盖这些错误消息？如果我们编写用户定义的异常类，那么我们如何才能只存储错误消息而不是整个错误堆栈跟踪呢？
浏览 1提问于2013-12-11得票数 2
我一直在尝试spring batch示例，但我无法通过itemwriter删除数据库中的记录。itemreader运行正常，但在itemwriter中，我不知道如何工作，因为我是spring batch的新手，我可能会犯一些错误。我尝试了一些示例中的以下代码，但它不起作用。我是不是必须写一些其他的类或者别的什么？
<bean id="itemWriter" class="org.springframework.batch.item.database.JdbcBatchItemWriter">
<property name="da
浏览 2提问于2013-12-06得票数 1
1回答
我正在开发Spring Batch CompositeItemReader and Writter示例。在这个程序中，我尝试读取数据，从mysql表中读取两个表，和写到单个XML文件。当我试图这样做时，我看到下面的错误正在出现：
java.lang.ClassCastException: java.lang.String cannot be cast to com.common.batch.model.Customer
at com.common.batch.processor.CustomerProcessor.process(CustomerProcessor.java:1)
浏览 2提问于2016-04-03得票数 0
我正在使用spring batch，我正在尝试从csv文件导入数据，然后使用分区概念将结果存储在xml文件中。
<bean id="flatFileItemReader" class="org.springframework.batch.item.file.FlatFileItemReader" scope="step">
<property name="resource" value="classpath:ExamResult.txt" />
&l
浏览 0提问于2018-05-15得票数 0
我需要读取/处理一个包含几个平面文件的归档文件，每个文件都应该有自己的映射和编写器。
如何使用bean配置为每个文件分配不同的FieldSetmappers和Writer。
我已经开始扩展open方法并覆盖MultiResourceItemReader方法，如下所示：
@Override
public void open(ExecutionContext executionContext)
throws ItemStreamException {
ZipFile zipFile;
List<Resource>
浏览 1提问于2014-08-10得票数 0
回答已采纳
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
腾讯云开发者
