我在三台机器上运行spring batch作业。例如，数据库有30条记录，每台机器上的批处理作业必须提取唯一的10条记录并对其进行处理。
我读了分区和并行处理，有点迷惑，哪一个更合适？
浏览 2提问于2013-10-20得票数 0
2回答
如果我在Spring Batch中使用分区(假设有10个分区)和块，任务执行器如下所示每个分区将运行多少个线程？
浏览 17提问于2017-01-12得票数 0
回答已采纳
我有一个需求，我想在下面的场景中使用Spring batch框架。
我有一个对交易日期列进行分区的表。我想使用Spring batch框架的读取器、处理器和写入器来处理这个表的记录。我想做的是创建单独的线程读取，写入和处理基于交易日期。假设有4个交易日期，然后我想创建4个单独的线程，每个单独的交易日期。在每个线程中，读取器将从表中读取该交易日期的记录，在处理器中丰富记录，然后在写入器中发布/写入。我是Spring b
浏览 0提问于2014-07-07得票数 0
我目前正在使用Spring Boot和Spring Batch应用程序从数据库中读取200,000条记录，处理它并生成XML输出。我编写了单线程Spring批处理程序，它使用JDBCPagingItemReader从数据库中批量读取10K条记录，并使用StaxEventItemReader生成此输出。整个过程需要30分钟。我想通过使用Spring Batch本地分区来增强这个程序。有没有人可以分享Java配置代码来完成Spring <
浏览 13提问于2017-07-10得票数 0
1回答
如何对大文件进行Spring批量记录分区？ 例如，如果我在文件中有100条记录，我需要提高spring批处理速度，每10条记录创建1个线程。该怎么做呢？但是这个分区工具为每个文件创建分区。因此不会对一个大文件造成性能影响。该怎么做呢？是的，我需要写像https://mkyong.com/spring-batch/spring-batch-partitioning-example
浏览 29提问于2020-04-21得票数 0
我已经为单个步骤实现了spring批处理分区，其中主步骤将其工作委托给几个从线程，然后这些从线程被并行执行。如下图所示。(参考)
<batch:listener ref="myJoblistener"></batch:listener>
</batch:listeners>" ha
浏览 3提问于2014-04-29得票数 5
我想对每个页面中的数据进行分区，并使用TaskExecutor在单独的线程中执行这些分区。我不知道需要做些什么才能做到这一点。任何指导/输入都将非常感谢。
浏览 16提问于2017-03-07得票数 0
2)如果有10亿条记录，我将得到10000个文件，每个文件包含10K条记录4)这10个线程应处理拆分过程中创建的所有10000个文件。5)我不想创建与文件计数相同数量的线程，因为在这种情况下，我可能会面临内存问题。我正在寻找的是，无论多少个文件，我想处理他们只使用10个线程。专家，你能让我知道这可以用spring batch实现吗？如果是，你能
浏览 3提问于2017-12-22得票数 1
1回答
我正在实现spring批处理作业，以便使用分区方法处理DB表中的数百万条记录，如下所示：
如何控制被创建的线程数量，因为
浏览 1提问于2015-03-24得票数 7
回答已采纳
1回答
如果我们将分区工具与多线程步骤一起使用，会有什么问题吗？ 我的想法是，如果我必须处理来自两个不同数据库表的大量记录，那么我使用分区程序来拆分这些表，然后每个步骤都会以多线程的方式对一个表执行查询。
浏览 15提问于2020-05-02得票数 0
回答已采纳
我想写一个批处理，它从表中读取数据，对数据进行分区，并将其移交给Spring Integration工作流。 批处理和集成工作流都是单独的maven项目，并且集成项目是批处理项目中的依赖项。只有一个分区程序和一个微线程。在这个微线程中，我将数据(出于测试目的而硬编码)放入Spring集成网关。在此之后，我将消息传递到出站通道适配器，该适配器将消息打印到控制台。Integration项目是Spring Batch项目中的一个普通库。我被告知要使用远程<e
浏览 41提问于2021-01-08得票数 0
1回答
我知道spring batch框架是以块为单位处理数据的。然而，我在想，当同样的分块功能可以通过java获得时，为什么我们还需要batch框架。谁能让我知道如果有更多的原因去spring batch框架？
浏览 1提问于2014-11-14得票数 31
回答已采纳
我正在开发Spring批处理代码。我的应用程序从Account表中读取帐户的详细信息。通常我得到的Accounts在80万到160万之间。在Spring中，我想到使用分区，我使用了如下代码： <partition step=accountPartitioner">
<handler grid-size="
浏览 0提问于2018-10-13得票数 0
我需要并行化一个批处理spring作业的单个步骤。在要并行化的步骤之前，运行微线程，将一些结果放入作业的参数中。微线程产生的结果是执行分区程序和要并行化的步骤的项所必需的。由于我可以使用不同的初始参数同时多次运行相同的作业，所以微线程和步骤项是否安全线程安全？
浏览 35提问于2019-05-17得票数 0
回答已采纳
1回答
我们正在使用spring batch来做到这一点。问题是，记录的分组基于表A中的数据，每个唯一分组标准都有一个主体组，如果每1000条记录属于同一主体组，则每1000条记录有一个子组。记录，表A-->子组，表B(每1000条记录属于唯一的分组标准)-->主体组，表C-->(用于唯一的分组标准)任何更好的想法来解决这个问题也是值得感谢的。
浏览 4提问于2012-12-16得票数 0
考虑使用Spring Batch:类似于以下步骤: 1.遍历所有100个S3文件夹，并识别出每个文件夹中有文件，例如60个文件夹中有文件。2.创建多个作业\任务，例如60个作业，并并行执行它们。
浏览 8提问于2020-05-14得票数 0
spring batch远程分块和远程分区有什么区别？
我不能理解spring batch中远程分块和远程分区之间的区别。有谁能解释一下吗？
浏览 4提问于2013-12-02得票数 15
回答已采纳
1回答
我目前正在开发Spring Batch POC，并且已经很好地掌握了大多数Spring Batch的实际特性。我目前有一个程序，它使用Spring Integration接收HttpRequest，并使用消息通道最终将作业执行发送到队列中的作业启动器。我们的想法是，我们将有一个运行的服务器，可以在任何时候接受许多作业请求，以及一个大型的机器集群，作业将被分区到这些机器上。抱歉，如果有什么不清楚或令人困惑的地方，我只是一个上个月开始学习Spring和Spring<
浏览 1提问于2012-07-21得票数 2
我试图在批中插入(对象存储在数组中，一旦计数可被10000整除，我就将所有这些对象插入到我的表中。但这需要超过4分钟的时间。有没有更快的方法？if(count%10000==0){arr.clear();
浏览 0提问于2020-03-06得票数 2
回答已采纳
我已经编写了spring batch远程分区方法，我不希望我的主步骤等待从步骤确认，我希望我的主步骤在对数据进行分区后立即完成。在spring batch中有同样的配置吗？
浏览 31提问于2021-04-12得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号