Spring批处理应用程序中的spring JdbcCursorItemReader

文章/答案/技术大牛

发布

1回答

Spring JDBCTemplate ResultSetExtractor与Spring Batch ItemReader的区别

java、mysql、spring

我确实有一个大型的MySQL数据库表(超过100万条记录)。我需要读取所有数据，并使用java语言对其进行一些处理。使用Spring JDBCTemplate重写ResultSetExtractor或RowCallbackHandler并按顺序读取行。使用Spring批处理JDBCCursorItemReader/JDBCPagingIte

浏览 2提问于2016-05-12得票数 0

3回答

Spring批处理-在尝试读取/写入同一个表时获取DeadlockLoserDataAccessException

java、db2、spring-batch、compositeitemwriter

我正在开发一个Spring批处理应用程序，它将从表A读取未处理的数据，处理数据，将处理过的数据插入表B，然后将表A中的行更新为已处理数据。我相信这是因为JDBCCursorItemReader的Curser，它是用来读取表A的，妨碍了表的更新。我该怎么解决这个问题？我在Spring批处理中使用了JDBCCursorItemReader和Compo

浏览 1提问于2018-11-20得票数 0

回答已采纳

3回答

Spring批处理JdbcCursorItemReader导致内存不足问题

java、spring-batch

我正在使用spring批处理框架进行数据迁移。我使用的阅读器是JdbcCursorItemReader。我将块大小设置为500，并将读取器获取大小设置为1000。但是，当使用spring批处理运行服务时，它似乎只读取了内存中的所有数据一次，并耗尽了内存。然后抛出一个记忆不够的问题。下面是我如何定义读者的方法： private JdbcCursorItemReader<Map<Str

浏览 0提问于2019-03-28得票数 4

回答已采纳

1回答

为什么任务在Spring数据流启动后没有被销毁？

spring、spring-batch、spring-cloud-dataflow

我创建了一些Spring项目，并使用(SCDF)部署了这些作业。但是，当任务完成时，JVM不会结束。它仍然存在。The maximum concurrent task executions is at its limit [20]HikariPool-1 - Shutting但是在Spring批处理项目中使用了下面的属性之后： spring<

浏览 0提问于2020-02-08得票数 1

回答已采纳

1回答

Spring Batch中的数据库锁定

spring、spring-batch、db2-zos

我正在开发一个Spring批处理应用程序，它在使用默认JdbcCursorItemReader时遇到了DB2死锁。当批处理作业遇到错误时，我们设置了一个SkipListener来将" error“状态写入相关行，也就是死锁发生时。我们发现，通过使用默认的JdbcPagingItemReader，我们能够避免死锁情况，尽管我们不能确切地确定为什么会出现这种情况。我对Spring Batch的理解是，一旦从查询中读入Result

浏览 21提问于2018-11-22得票数 0

1回答

规则弹簧批次

spring、spring-batch

我需要运行一个夜间批处理过程：我还需要一些方法来按需运行表A中较小的记录子集的规则。Spring是一个不错的选择吗？我能把数据访问和业务逻辑的逻辑放在ItemProcessor中吗？

浏览 0提问于2015-04-28得票数 0

回答已采纳

4回答

Spring Batch -当ItemReader未返回任何数据时如何使作业失败

spring、spring-batch

我有一个spring批处理应用程序，它使用JdbcCursorItemReader从DB表中读取数据，并使用FlatFileItemWriter将其写入平面文件。当我测试我的应用程序时，我发现即使没有通过JdbcCursorItemReader从数据库返回数据，FlatFileItemWriter也会创建一个文件。然而，当数据库中没有合适的数据时，我计划使我的工作失败。有没有可能这样做，或者至少阻止

浏览 0提问于2011-04-07得票数 2

1回答

使用带有自动配置和非标准数据库的Spring批处理

spring-boot、spring-batch

我正在尝试创建一个Spring批处理应用程序。我们使用SQL数据库，它实际上是SQLSERVER，一种已知的数据库类型。问题是，我的数据库驱动程序sybase.jdbc4.sqlanywhere.IDriver返回产品名"SQL“，这是Spring无法识别的，这会导致各种错误。通过在我的配置类中显式地创建一个JobRepositoryFactoryBean，我能够克服其中的一些问题： * We can&#

浏览 0提问于2017-04-05得票数 0

回答已采纳

2回答

如何循环Java中的大型SQL结果集或一次获得X行数

java、sql-server、spring、spring-batch

在我的Spring批处理程序中，我执行一个SQL查询，从返回的结果集中获取一些信息，然后将其打印到一个文件中。SELECT TOP 5000WHERE status > 1 这里的问题是，如果我循环这一点，我将得到相同的5,000行每次。我想不出一种方法来循环并得到5,000行，将我需要的信息打印到一个文件

浏览 0提问于2019-06-13得票数 0

回答已采纳

1回答

Java LocalDate在Spring* bean中不起作用*

java、spring、spring-boot、spring-batch

我在一个Spring Batch项目中工作。我有从SQL Server DB读取数据的bean。在read查询中，我设置了从表中提取信息的日期。问题是我使用LocalDate设置查询日期参数时使用的是String.format()方法。我必须添加当前日期的一天。bean正在被初始化，没有任何问题，在第一次运行时，查询是按照要求运行的，但是在连续运行期间，LocalDate只生成当前日期，而不添加1天。@Bean public JdbcCursorItemRead

浏览 23提问于2020-08-31得票数 0

回答已采纳

1回答

基于JdbcCursorItemReader的动态SQL查询

java、spring、spring-batch

我对spring批处理使用了java配置(Spring)。我有一个员工Id列表，对于每个Id，我需要运行一个查询(如下所示)，然后处理数据。我知道我们可以使用reader.setPreparedStatementSetter动态地在上面的SQL中设置参数。但是，我不确定如何对列表中的每个员工id重复批处理过程。任何帮助都是非常感谢的。employeeIds.add(2); @StepScope public Ite

浏览 1提问于2017-03-20得票数 0

回答已采纳

5回答

Spring批JdbcCursorItemReader与NamedParameters的结合

spring-batch

Spring批处理JdbcCursorItemReader可以接受preparedStatementSetter <bean id="reader" class="org.springframework.batch.item.database.JdbcCursorItemReader然而，我们预先存在的sql使用命名参数，例如SELECT * FROM test WHERE col1 = :param。是否有一种方法可以让NamedPreparedStatementSe

浏览 9提问于2014-04-22得票数 7

1回答

从数据库读取弹簧批处理并将其发送到mqueue

spring、spring-batch、spring-jms

我需要从数据库中读取记录并将其写入jms队列。我开始使用spring，但是我不知道如何通过编程实现它。非常感谢你的帮助。谢谢,

浏览 4提问于2015-11-18得票数 1

1回答

spring、spring-mvc、spring-batch、spring-jdbc、jdbctemplate

现在有一个用例来构建部门'A‘和邮政编码11223中的员工列表，以及部门B和邮政编码33445中的员工列表。在上述步骤中，我将创建一个EmployeeQueryCriteria对象的ArrayList，必须为该对象获取数据。所以我的问题是:1.有没有一种方法可以将这个列表传递给EmpDaoJdbcCursorItemReader，它将遍历对象并设置EmployeeQueryCriteria对象中的参数值。2.我是否可以循环执

浏览 0提问于2016-08-15得票数 0

回答已采纳

1回答

spring :平行于平面文件在数据库上转储一组查询

csv、jdbc、spring-batch

，所以我想使用一个框架，例如spring批处理，它给了我重新启动和作业监视的能力。我正在使用基于文件的H2数据库来持久化春季批处理作业。上面的问题与使用spring批处理XML配置时是否有魔力有关，或者我是否也可以以编程的方式创建所有这些bean:由于我需要将自己的配置格式解析为spring批处理作业配置，所以我宁愿使用spring batch但是，如果我的工作崩

浏览 2提问于2013-08-07得票数 0

回答已采纳

1回答

spring批处理自定义jdbc项目阅读器

java、spring、jdbc、spring-batch

我想创建一个定制的jdbc项目阅读器，我找到了这个解决方案。import org.springframework.batch.item.ItemReader;JdbcCursorItemReader<>(); databaseReader.setDataSource(dataSource(new Bean

浏览 1提问于2017-08-22得票数 1

1回答

如何用多线程JdbcCursorItemReader从Oracle中读取数据

spring、spring-boot、spring-batch

我使用了spring批处理应用程序，并配置了如下步骤：taskExecutor.setCorePoolSize：public JdbcCursorItemReader<Mymodel> reader() { JdbcCursorItemReader<Mymodel> reader = newJdbcCursorIte

浏览 2提问于2018-12-27得票数 2

回答已采纳

2回答

春季批处理:批处理数据源和步骤数据源

spring、spring-batch

我需要访问两个数据源：我在那里看到了关于如何创建自定义batch configurer的几个例子。<Unitat> jdbcCursorItemReader = new JdbcCursorItemReader<>(); <e

浏览 3提问于2020-11-17得票数 1

回答已采纳

1回答

如何在Spring批处理中读取(.mdb文件)并加载到mysql

spring、spring-boot、spring-batch

我想在Spring中读取*.mdb文件并加载到MySQL数据库中。

浏览 0提问于2018-12-03得票数 0

1回答

使用JobParameters的Spring批处理SQL命令

spring-batch

我是春季批处理的新手，这里我使用下面的读取器语句从DB获得一些数据。这里我需要动态地传递值(通过参数)。<bean id="ItemReader" class="org.springframework.batch.item.database.JdbcCursorItemReader

浏览 2提问于2016-01-20得票数 1

回答已采纳

点击加载更多

Spring JDBCTemplate ResultSetExtractor与Spring Batch ItemReader的区别

Spring批处理-在尝试读取/写入同一个表时获取DeadlockLoserDataAccessException

Spring批处理JdbcCursorItemReader导致内存不足问题

为什么任务在Spring数据流启动后没有被销毁？

Spring Batch中的数据库锁定

规则弹簧批次

Spring Batch -当ItemReader未返回任何数据时如何使作业失败

使用带有自动配置和非标准数据库的Spring批处理

如何循环Java中的大型SQL结果集或一次获得X行数

Java LocalDate在Spring* bean中不起作用*

基于JdbcCursorItemReader的动态SQL查询

Spring批JdbcCursorItemReader与NamedParameters的结合

从数据库读取弹簧批处理并将其发送到mqueue