我有一个需求，我想在下面的场景中使用Spring batch框架。
我有一个对交易日期列进行分区的表。我想使用Spring batch框架的读取器、处理器和写入器来处理这个表的记录。我想做的是创建单独的线程读取，写入和处理基于交易日期。假设有4个交易日期，然后我想创建4个单独的线程，每个单独的交易日期。在每个线程中，读取器将从表中读取该交易日期的
浏览 0提问于2014-07-07得票数 0
我目前正在使用Spring Boot和Spring Batch应用程序从数据库中读取200,000条记录，处理它并生成XML输出。我编写了单线程Spring批处理程序，它使用JDBCPagingItemReader从数据库中批量读取10K条记录，并使用StaxEventItemReader生成此输出。整个过程需要30分钟。我想通过使用Spring Batch本地分区来增强这个程序。有没有人可以分享J
浏览 13提问于2017-07-10得票数 0
1回答
我正在使用spring-kafka和消费卡夫卡主题的批量记录，并通过AbstractMessageListenerContainer.AckMode.BATCH提交偏移量。在本例中，我将记录的List分配给一个线程(名称：ProcessThread)，该线程将处理所有记录并将结果返回给使用者线程，然后使用者线程将记录结果。(在此过程中，使用者线程将一直等待，直到它从ProcessThread获得结果
浏览 6提问于2018-10-03得票数 1
当我们在Spring batch中使用singleItemPeekableItemReader来读取CSV时，是否可以使用多线程？我有一个包含100000条记录的CSV文件，需要使用Spring Batch读取该文件并将其加载到数据库中。我已经为它使用了4个线程。但是现在我有一个需求，那就是根据条件组合行，并一次读取。为此，我使用了Spring Batch的SingleItemPe
浏览 0提问于2018-06-11得票数 1
我是Spring Batch的新手。我想知道Spring batch如何使用web服务，以及如何让spring batch从web服务(如transaction_id = 125 )读取输入
为了清楚起见，我希望spring batch从web服务(ID = 125)读取输入，查询输入，然后对该记录进行一些计算，最后更新记录
浏览 8提问于2013-04-23得票数 2
问题:如何同时处理多行？每当我使用线程启动函数时，它为每个线程选择相同的值(即光标为每个线程返回相同的值)。我需要为每个线程处理不同的值。这样我就可以减少一些时间。我的程序是 import requestsimport jsonimport threading
conn = pymysql.connect(host,status =%s where asset_id = %s&q
浏览 16提问于2020-01-06得票数 0
回答已采纳
在阅读了关于在Spring-Batch中扩展和并行处理的可能性之后，我们想知道Spring-batch的开箱即用行为是什么？或者是否存在某种并行性，因此当项目A移动到步骤2时，项目B被读取并处理到步骤1？
浏览 3提问于2018-12-17得票数 1
读取包含1000万数据的csv文件，并将其存储在db中。用尽可能少的时间。
我使用简单的java多线程执行器实现了它，逻辑几乎类似于spring batch的块。从csv文件中读取预定数量的数据，然后创建一个线程，并将数据传递给线程，由线程验证数据，然后写入多线程运行的文件。一旦所有的任务都完成了，我将调用sql加载器来加载每个文件。现在我想把这段代码移到spring batch(
浏览 0提问于2013-09-07得票数 4
回答已采纳
:tasklet>在上面的步骤中，compositeItemWriter配置了两个编写器，它们一个接一个地运行，并将1亿条记录写入Oracle和一个文件。此外，dataReader有一个同步读取方法，以确保多个线程不会从Oracle读取相同的数据。从今天起，这项工作需要1小时30分钟才能完成。在等式的另一边，我将使用两个并行流来读取每个主题的数据，并分别将数据写入Oracle和文件。
考虑到上面的架构，我想了解<
浏览 3提问于2020-09-02得票数 0
1回答
我们在SQL server中有一个表，其中包含一些记录集。我们需要读取一条记录并调用一些外部服务，然后删除该记录。我们正在使用线程池大小为10的Executor Service进行读取。现在我的问题是每个线程只能读取一条唯一的记录。假设我在DB中有10个线程和10条记录。使得线程1可以读取一个记录，而另一个<e
浏览 1提问于2019-06-04得票数 0
5回答
我有一个应用程序，它利用Spring Batch来读取和处理公共数据库中的记录。该作业在固定时间从调度程序触发，并且在单个应用程序实例上运行良好。Spring Batch (信号量)中有没有什么东西可以管理被多个实例访问的数据，以防止它们访问和修改相同的记录？非常感谢
浏览 5提问于2020-12-01得票数 1
我希望定义n个工作人员池，并将每个执行任务保存在一个rabbitmq队列中。当此任务完成(失败或成功)时，我希望工作人员从队列中执行另一个任务。我可以在文档中看到如何生成一个工人池，让他们都等待他们的兄弟姐妹完成。不过，我希望有一个n个任务的缓冲区，当一个工作人员完成任务时，它会向缓冲区中添加另一个任务(所以在bugger中只有n个任务)。对于上下文，我的非多线程代码如下： message = get_frame_from_queue() # get message from rabbit
浏览 2提问于2014-06-14得票数 0
回答已采纳
我们正在使用Spring Batch加载一个大文件。该文件包含票证数据，并且每个票证数据跨越多行。标签数据的结尾由下一个标签数据的开始标识。我们使用PeekableItemReader来实现这一点。问题是-当我们不能一次处理一条记录时，是否有可能实现多线程来提高阅读器的性能？多线程不应该读取相同票证数据的不同部分(行)，因为它们必须在单个线程中读取和处理。我们的目标是提高阅读器的性能
提前感谢
浏览 2提问于2019-08-23得票数 0
1回答
我在应用程序中使用了spring batch。我在步骤级别使用了spring batch的多线程。</chunk> </step>
<bean id="writer" class="org.springframework.batch.item.file.FlatFileItemWriterproperty name="l
浏览 2提问于2014-07-06得票数 0
1回答
这是通过一个调度任务上的spring ldap库完成的。此搜索将返回约20000个结果。然后，我希望修改所有这些用户的属性，这就是问题的开始。我真希望有一个像在关系数据库中那样的组修改函数，你可以这样做(set a=x where b循环遍历每个用户，并执行如下所示的操作：
DistinguishedName userDn第二种方法与第一种方法相同，但要切分用户列表并使用多线程进行修改。它的运行速度要快得多，但仍然不能很好地扩展。ldap是一个开放的数据存储区。
浏览 4提问于2013-07-19得票数 0
回答已采纳
2回答
我正在尝试用Spring实现一个业务需求，但在事务管理方面遇到了一些问题。1)使用某些条件查询数据库(#1)。4)作为前3步的结果，将记录插入另一个数据库(#2)。
我需要这4个步骤是传递性的。例如，如果第四步失败，则应回滚第二步中写入平面文件的最后一项。我的导师建议我在这类项目中一般使用Spring Batch。然而，考虑到Spring Batch使用“面向块的处理”
浏览 2提问于2011-03-03得票数 3
1回答
我们使用spring batch(MultiResourceItemReader)来读取搜索行，并将其写入db，然后将其发送到JMS。大概需要25个小时才能完成所有的工作。尽管我们在生产中有10个系统，但目前我们只使用一个系统来运行这个任务(我是spring batch的新手，不知道spring如何支持负载均衡)
因为我们只有一个系统，所以我们将数据源配置为连接到数据库，2)使用线程(5)和1生产系统是很好的方法(或者)而不是spring</e
浏览 4提问于2016-03-14得票数 0
我对Python和多重处理很陌生。我必须将2个大型xml (约6GB)文件解析为2个数据格式。这两个文件都可以独立处理。现在，我想将由process 1生成的dataframe应用到process 2中，谁能告诉我实现这一点的最佳方法是什么？我主要关心的是进程之间共享数据。
浏览 5提问于2019-12-05得票数 0
回答已采纳
1回答
我是Spring batch的新手，我需要开发一个spring batch应用程序，它可以从csv文件中读取1,000,000条记录。我已经开发了一个spring batch应用程序，如下所示。<job id="hellojob" xmlns="http://www.springframework.org/schema/batch">
浏览 1提问于2017-02-18得票数 0
1回答
如何对大文件进行Spring批量记录分区？ 例如，如果我在文件中有100条记录，我需要提高spring批处理速度，每10条记录创建1个线程。该怎么做呢？但是这个分区工具为每个文件创建分区。因此不会对一个大文件造成性能影响。该怎么做呢？是的，我需要写像https://mkyong.com/spring-batch/spring-batch-pa
浏览 29提问于2020-04-21得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
