Spring Batch内存泄漏-使用JpaItemWriter对数据库执行CSV
Spring Batch是一个开源的批处理框架，用于处理大量数据的批量作业。它提供了一种简单且灵活的方式来编写、配置和执行批处理作业。
内存泄漏是指在程序运行过程中，由于错误的内存管理导致一部分内存无法被回收，从而造成内存占用过高的问题。在Spring Batch中，如果使用JpaItemWriter对数据库执行CSV写入操作时出现内存泄漏，可能是由于以下原因导致的：
- 数据量过大：如果批处理作业处理的数据量非常大，内存中的对象可能无法及时释放，导致内存泄漏。可以考虑使用分页查询或者分批次处理数据，以减少内存占用。
- 对象引用未释放：在使用JpaItemWriter时，可能存在未正确释放对象引用的情况，导致内存泄漏。可以在写入完成后手动释放对象引用，或者使用try-with-resources语句自动释放资源。
- 代码逻辑错误：可能存在代码逻辑错误，导致对象无法被垃圾回收。可以仔细检查代码，确保对象在不再使用时能够被正确释放。
为了解决内存泄漏问题，可以采取以下措施：
- 优化数据处理逻辑：对于大数据量的处理，可以采用分页查询或者分批次处理数据，以减少内存占用。
- 及时释放对象引用：在使用JpaItemWriter时，确保在写入完成后手动释放对象引用，或者使用try-with-resources语句自动释放资源。
- 使用内存管理工具：可以使用一些内存管理工具，如Java VisualVM、Eclipse Memory Analyzer等，来分析内存使用情况，找出内存泄漏的原因。
- 定期进行性能测试：定期进行性能测试，监控系统的内存使用情况，及时发现和解决内存泄漏问题。
关于Spring Batch的更多信息，可以参考腾讯云的产品介绍页面：Spring Batch产品介绍
请注意，以上答案仅供参考，具体解决方案需要根据实际情况进行调整和优化。
相关·内容
1回答
我使用spring-batch作业将大型csv文件的内容持久化到数据库。JpaItemWriter用于持久化，到目前为止还不错。
但是现在我想首先检查数据库中是否已经存在一个实体(通过id -- csv中的id字段和数据库中的id字段是相等的)，如果只更新该实体就行了。
这是怎么做到的呢？
浏览 0提问于2014-11-12得票数 2
我在一个Spring批处理作业中遇到了一个问题，即读取一个大的CSV文件(几百万条记录)并将其中的记录保存到数据库中。作业使用FlatFileItemReader读取CSV，使用JpaItemWriter将读取和处理的记录写入数据库。问题是，在将另一个项目块刷新到数据库之后，JpaItemWriter没有清除持久性上下文，并且作业以OutOfMemoryError结束。 我已经解决了这个问题，方法是扩展JpaItemWriter并覆盖write方法，以便它在编写一堆代码后调用EntityManager.clear()，但我想知道Spring Batch是否已经解决了这个问题，而问题的根源在于
浏览 68提问于2019-02-18得票数 0
回答已采纳
我使用Spring-Batch读取csv文件，格式化内容并将其写入数据库，如下所示：
StepBuilder<T, T> builder = stepBuilderFactory.get("step")
.<T, T>chunk(100)
.reader(flatFileItemReader)
.processor(processor)
.writer(jpaItemWriter);
csv包含一个ID列。如何修改reader以基于该ID的块？例句：
#id, #value
1, first
1000, second
10
浏览 12提问于2014-11-13得票数 2
回答已采纳
1回答
我使用spring-batch进行数据导入。但是在writer()步骤中，我不想持久化处理的项，而是从数据库中删除它们(通过id)。
问:像ItemWriters一样的JpaItemWriter只是用于持久化项目。有什么作家我可以把CrudRepository传递给repository.delete(id)吗？
浏览 1提问于2016-02-15得票数 4
回答已采纳
我使用的是Spring Boot & Batch示例。在本例中，我从XML读取数据，并将数据写入MySQL数据库。以下是源代码：。
在运行此示例时，我得到以下错误-
javax.persistence.TransactionRequiredException: no transaction is in progress
at org.hibernate.internal.AbstractSharedSessionContract.checkTransactionNeededForUpdateOperation(AbstractSharedSessionContract.java
浏览 1提问于2019-12-28得票数 2
在Spring批处理作业中，我试图使用JobExecutionContext在各个步骤之间共享数据，只有将步骤保持为单个线程才能工作，如下所示：
@EnableTask
@EnableBatchProcessing
@Configuration
@PropertySource(value = {"classpath:application.properties"})
public class Config{
private static final HashMap<String,Object> OVERRIDDEN
浏览 3提问于2021-05-16得票数 0
回答已采纳
我使用Spring-Batch v3.0.0进行批量导入。有一个StepScope和一个JobScope。我如何知道它们中哪一个是合适的？
例如，如果我定义了一个应该使用特定EntityManager的自定义ItemReader或ItemWriter，它可能如下所示：
@Bean
@Scope("step") //@Scope("job") //custom scope required to inject #jobParameters
public JpaItemWriter<T> jpaItemWriter(EntityManagerFactor
浏览 0提问于2014-06-03得票数 13
回答已采纳
我正面临一个奇怪的问题，一个应用程序，是一个春季引导应用程序。
详细信息：
该应用程序有一个春季批处理作业，它使用JpaItemWriter执行对数据库的写入。
此外，应用程序被配置为使用hibernate。
ItemWriter配置如下：
@Bean(name = "itemWriter")
@StepScope
public ItemWriter<Record> itemWriter() {
JpaItemWriter<Record> itemWriter = new JpaItemWriter<>();
浏览 3提问于2017-12-03得票数 8
我有一个使用batch的spring-boot项目。读取工作正常(我从CSV文件中读取)，映射到我的POJO也可以工作(也可以插入到DB中，但不能更新...)。
但问题来了:我使用JpaItemWriter和一个具有自动生成的ID (long值)的实体。当我没有在Bean中设置这个Id时，它将是一个带有下一个值的插入(它的工作方式应该是这样的)。
但问题是，有时我不需要插入，而需要更新。当我将Id设置为与数据库中现有条目相同的Id时(H2保存到文件中)，它要么执行另一次插入，要么违反主键。
我还在Entity类中尝试了@DynamicUpdate(true)和@SelectBeforeUpda
浏览 3提问于2015-02-07得票数 0
我用spring batch创建了一个java批处理项目，它允许在数据库的表中持久化CSV的行。我想知道是否可以使用Spring API REST使用加入必要CSV的POST方法来触发批处理。
提前谢谢你
浏览 4提问于2017-09-25得票数 1
回答已采纳
我正在使用Spring批处理教程中的示例代码，其中我将ItemWriter的实现从转换为JpaItemWriter，作为JPA的一个实验。当我在POM中使用spring-boot-starter-parent:0.5.0.M6时，示例应用程序将无错误地运行。
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>0.5.0.M6
浏览 3提问于2014-01-04得票数 0
回答已采纳
我有一个Spring批处理应用程序，它读取平面文件CSV并转换一些数据，然后将其写入数据库。我们谈论的是数十万条记录或数百万条记录。 我想在第二天验证CSV中的行数是否与数据库中插入的记录数匹配。我想让这个过程自动化。目前，数据加载是由一些脚本完成的，这些脚本将这些CSV文件推送到我的S3批处理应用程序正在侦听的listening存储桶中。 触发这种“自动验证”的最佳方式是什么，以便在数据加载后，另一个服务可以检查所有批处理作业是否都以正确的exit_status != FAILURE完成，以及CSV中最初的记录数是否与数据库记录匹配？ 我想要有某种“触发器”，这样整个过程都是自动化的。在我
浏览 50提问于2021-07-01得票数 0
回答已采纳
2回答
使用Spring批处理的事务管理
、、、、
我发现实际上Spring和我能够设置一些工作。现在，我希望使用Hibernate/JPA将导入的数据保存在数据库中，并一直得到以下错误：
14:46:43.500 [main] ERROR o.s.b.core.step.AbstractStep - Encountered an error executing the step javax.persistence.TransactionRequiredException: no transaction is in progress
我知道问题出在交易上。下面是我针对entityManager和transactionManager的spri
浏览 5提问于2013-07-30得票数 12
回答已采纳
3回答
我的项目有这个要求，其中用户上传的CSV文件，这必须推送到sql server数据库。我知道我们可以使用Spring batch来处理大量的记录。但是我找不到任何教程/示例代码来满足我的这一要求。我遇到的所有教程都只是将CSV文件名和内存中的数据库硬编码到其中，如下所示：
用户输入文件按预定时间在共享驱动器位置可用，文件名前缀为例如: stack_overlfow_dd-MM-yyyy HH:mm，每天如何轮询网络共享驱动器每5-10分钟至少一小时，如果它与正则表达式匹配，则上传到数据库。我如何首先从共享位置获取csv文件，并将其存储在内存或其他地方，然后配置spring batch以将其作
浏览 1提问于2018-09-02得票数 0
有很多使用FlatFileItemReader和TaskExecutor的例子。我提供了下面的示例(包括XML和Java )：
我用它来配置大型CSV (GB大小)，用开箱即用的JpaItemWriter写入数据库。似乎没有任何问题，即使没有设置保存状态=假或采取任何类型的特殊处理。
现在，FlatFileItemReader被证明为非线程安全的。
我的猜测是，JpaItemWriter通过持久化集合来“覆盖”这个问题，也就是说，如果hashCode()和equals()覆盖实体的业务密钥，则集合没有重复。然而，即使这样，由于非线程安全读取和处理，也不足以防止重复。
请您澄
浏览 7提问于2017-02-16得票数 7
我想在春季批处理的多数据源条件下使用JpaItemWriter，JPA.下面是我的配置(有日志、公共、成员db配置)
通用db配置
@Configuration
@EnableJpaRepositories(
basePackages = "com.member.batch.dao.common",
entityManagerFactoryRef = "commonEntityManager",
transactionManagerRef = "commonTransactionManager"
)
publi
浏览 23提问于2022-09-15得票数 0
我正在尝试实现一个简单的春季批处理作业
目标是使用JpaItemReader在DB上执行select查询，并以异步方式处理所有itens。
我遵循这个示例，->
如果我在一个线程中运行这段代码，它就能正常工作。
但是，当我添加异步进程时，似乎任务将状态更改为已完成，而无需等待Process()的执行。
我可以错过这个剧本里的一些东西吗？
以下是控制台的结果：
2019-11-07 10:15:10.672 [main] T: INFO o.s.batch.core.job.SimpleStepHandler - Step already complete or not restart
浏览 3提问于2019-11-07得票数 1
回答已采纳
1回答
我使用spring批处理来读取和转换类似树的实体，并使用JpaItemWriter写入oracle数据库。对于树一样的实体，我的意思是：
class A {
@OneToMany
List<B> bList;
}
class B {
@OneToMany
List<C> cList;
}
class C {
@OneToMany
List<D> dList;
}
class D {
}
关系的大小可以快速增长，但由于业务原因，需要将整个实体同时保存在一个事务中。有了这个4层层次结构，我想知道是否可以使用
浏览 1提问于2016-05-18得票数 3
回答已采纳
我需要在我的Spring应用程序中异步运行可执行jar，我想知道Spring是否有任何快速、方便的方法来完成这一任务，而不需要像Spring Batch这样复杂的东西？
此时，我必须创建一个Thread来完成asych部分，然后通过以下旧代码运行我的jar：
Process p = Runtime.getRuntime().exec("java -jar etc...");
我试着研究这个，但结果都是关于创建一个Spring Boot可执行jar，我没有找到一个好的搜索词来过滤所有的噪音。我还发现了一些任务调度的东西，它们看起来相当复杂。
我不需要任何花哨的功能-只需运行该ja
浏览 0提问于2017-02-05得票数 0
回答已采纳
1回答
我试图使用Spring (3.0.6)执行一些数据维护操作。我正在读取JPA (Hibernate 5.0.1实现)中的数据，修改它并试图再次使用JPA将其保存回数据库。
但是，在查看了我看到的数据库之后，作业执行是成功的，实际上只有几个条目被修改了(所有条目都应该被修改)。数据似乎没有正确地刷新/事务没有提交，日志显示所有项都在适当的处理器和适当的编写器中处理。
也许我遗漏了一些关于transactionManager的东西，但我很难弄清楚它，因为工作环境在我看来是正常的：
<beans xmlns="http://www.springframework.org/schema/
浏览 2提问于2016-04-12得票数 0
我正在使用带有多线程的jpaItemWriter。但我一直收到SQL Error: 1062，SQLState: 23000主键Violation.Although我正在获取不同的记录并插入相同的记录。是JpaItemWriter ThreadSafe。？在多线程中，如何使处理器和写入器线程安全，以避免类似的异常。有时我也会得到下面的异常 java.sql.SQLException: Deadlock found when trying to get lock; try restarting transaction
o.h.e.jdbc.batch.internal.BatchingBatc
浏览 38提问于2019-01-14得票数 0
回答已采纳
1回答
我正在使用Spring项目开发Spring。我的问题是，当我使用HibernateTransactionManager和SessionFactory时，为什么需要来自LocalSessionFactoryBean的HibernateItemWriter？
Application.java
import java.util.Properties;
import javax.sql.DataSource;
import org.hibernate.SessionFactory;
import org.springframework.batch.core.configuration.annotat
浏览 0提问于2018-09-16得票数 6
回答已采纳
2回答
我使用spring-batch和spring- data -jpa来读取大型csv数据文件，并使用hibernate将现有条目持久化(或更新)到postgresql数据库中。
如何配置spring才能使用批量/批量插入？
在配置作业step时，我相应地设置了chunk大小：
StepBuilderFactory step;
step.chunk(10000).reader(csvReader).writer(jpaItemWriter).build();
我还需要关注hibernate.jdbc.batch_size属性吗？我是否还需要设置它，可能设置为与块大小相同的大小？
浏览 2提问于2014-12-11得票数 1
chunk oriented tasklet flow 我正在使用spring-batch并组成'ChunkOrientedTasklet‘。 我看到了上面的图像，并意识到阅读器和写入器是作为单个事务操作的。 但事实并非如此。 为什么spring-batch阅读器和写入器使用不同的事务？ 因此，读取器和写入器使用不同的持久化上下文。 因此，select查询发生两次。读取器中的每个页面单元1次，写入器中的每个合并1次(因为事务不同，实体不是从持久化上下文中获取的，而是通过查询DB获取新的实体) Select查询在插入、更新和未更改的情况下继续出现在Writer中 reader - Qu
浏览 18提问于2020-11-23得票数 0
当我们在Spring batch中使用singleItemPeekableItemReader来读取CSV时，是否可以使用多线程？
我有一个包含100000条记录的CSV文件，需要使用Spring Batch读取该文件并将其加载到数据库中。我已经为它使用了4个线程。但是现在我有一个需求，那就是根据条件组合行，并一次读取。为此，我使用了Spring Batch的SingleItemPeekableItemReader。但是在这之后我就不能使用多线程了。
如何在SingleItemPeekableItemReader中实现多线程
浏览 0提问于2018-06-11得票数 1
我的项目有这样的要求:用户上传一个CSV文件，该文件必须被推送到sql server数据库。我按照下面的基本示例将CSV文件加载到sql服务器数据库中。通过修改数据源来运行这个回购，这里我们使用的是sql server而不是内存中的db。
下面是对POM文件的添加：
<dependency>
<groupId>com.microsoft.sqlserver</groupId>
<<artifactId>sqljdbc4</artifactId>
<version>4.0</version>
<<
浏览 0提问于2018-09-01得票数 3
这是我第一次使用Spring批处理，我有一个例外：
Caused by: org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'stepScope' defined in class path resource [org/springframework/batch/core/configuration/annotation/StepScopeConfiguration.class]: Instantiation of bean failed; nested
浏览 2提问于2013-07-26得票数 0
1回答
我有一个Spring Boot批处理作业，它有两个主要步骤，第一个步骤是从电子表格中读取一堆行。第二个是写入数据库。现在，它被设置为串行写入数据库
public CompositeItemWriter<SoftLayerData> compositeSoftlayerDataWriter(
JpaItemWriter<SoftLayerData> softlayerDataWriter) {
CompositeItemWriter<SoftLayerData> compositeWriter = new CompositeItemWriter&l
浏览 3提问于2021-09-12得票数 1
在更新java依赖项之后，当我通过post上传超过1个文件时，我将面临一个OutOfMemoryError。该项目是一个简单的Java SpringBoot服务器，我需要发送CSV文件(约10/15MB)。服务器的错误是：
ERROR [serialparts-tecdoc-service,,,] 43717 --- [nio-9095-exec-2] o.a.coyote.http11.Http11NioProtocol : Failed to complete processing of a request
java.lang.OutOfMemoryError: Java he
浏览 1031提问于2021-03-15得票数 0
我在Spring批处理线程中使用Spring数据Jpa存储库时遇到了问题。我希望在MyOrderTasklet's execute方法中有一个有效的hibernate事务，使用为这一步配置的myTransactionManager。但是，一旦调用了flush()，或者是否保留了execute方法(没有显式调用flush())。我得到了一个
TransactionRequiredException"no transaction is in progress".
调试时，我看到一个事务在进入tasklet的执行方法之前由spring批处理创建，并且通过在hibernateT
浏览 1提问于2014-09-03得票数 4
回答已采纳
我有一个带有自定义ItemReader作为委托的ItemReader。我面临的问题是，当我启动工作时，同一个文件会被一遍又一遍地读取。
这是委托类：
public class AllegatiReader implements ResourceAwareItemReaderItemStream<Allegato> {
@PersistenceContext
protected EntityManager em;
private Resource resource;
@Override
public void close() throws
浏览 4提问于2015-03-31得票数 0
回答已采纳
1回答
我正在使用spring批处理从DB传输数据，并在Solr服务器中对它们进行索引。我注意到Solr中索引了确切数量的数据记录。但是当我检查数据时，我注意到我的Solr中有重复的行。关于DB和Solr中的确切行数，Spring批处理似乎以某种方式多次写入一条记录，而不是新的合法记录。 我更改了目标，将所有内容写入CSV文件，以确保这不是Solr问题。我可以重复这个问题。但是，不幸的是，这意味着我的CSV文件中也有重复的行。 下面是我的代码片段，我尽可能地使其简单。我必须使用一些分页来读取我的数据库，因为我有大约2000万行数据，读取所有数据都会使我的服务器崩溃。 @Bean
pu
浏览 49提问于2021-10-03得票数 0
我创建了一个spring批处理，用于查询Azure SQL server数据库并将数据写入CSV文件。我没有数据库的create权限。我在运行批处理时得到了这个错误Invalid Object name BATCH_JOB_INSTANCE。我不希望在主数据库中创建春季批处理元数据表。或者，如果我可以将它们放在另一个本地或内存中的数据库(如h2db )中，将是有帮助的。我还添加了spring-batch-initialize-schema=never，这是大多数类似问题的答案，但这并没有帮助。
编辑：
我通过扩展Invalid Object name类和重写setDataSource方法来阻止
浏览 10提问于2020-09-27得票数 1
情况：
我有一个A类，我用JpaPagingItemReader从db中读到的。
@Entity
@Table(name="...")
public class ClassA {
@ManyToOne
@JoinColumn(name="FKID_ClassB")
private ClassB classB;
在处理器中，将创建一个新的类B(由类A中的外键引用)。此外，还将更新表A中的项目。
@Entity
@Table(name="...")
public class ClassB {
@OneToMany(
浏览 7提问于2015-12-30得票数 1
我使用Spring批处理将数据插入到数据库中。当我想要插入的数据中有问题时(因此，没有插入数据)，我希望作者停止整个工作。
这是我的工作：
<step id="recopyTotoStep">
<tasklet>
<chunk reader="totoReader"
processor="totoProcessor"
writer="totoWriter"
commit-inter
浏览 3提问于2017-01-19得票数 0
回答已采纳
关于通过ItemWriter<T>契约在数据库上编写Spring批处理操作，我有一个问题。引用迈克尔·米内拉(MichaelT.Minella)的“春季批次最终指南”：
所有的项目都在一个单独的调用中传递给ItemWriter，在那里可以一次写出它们。这个对ItemWriter的单次调用允许通过批处理物理写来优化IO。..。块是通过提交间隔来定义的。如果提交间隔设置为50个项，则作业将读取50个项，处理50个项，然后一次写出50个项。
然而，当我在一个基于步骤的作业中使用HibernateItemWriter或JpaItemWriter来写入基于Spring的应用程序中的数据库时，
浏览 11提问于2022-08-19得票数 1
回答已采纳
我正在用TensorFlow编写一个训练脚本来对两种不同类型的图像进行分类。下面是创建数据集对象的类，该对象用于生成批处理和递增时期。在第一个时期完成之前，它工作得很好。然后，它在next_batch方法中的self._images = self._images[perm]行失败。这对我来说没有任何意义，因为Python不应该复制self._images--只是重新洗牌数据。
class DataSet(object):
def __init__(self, images, labels, norm=True):
assert images.shape[0] == labels.s
浏览 4提问于2017-07-24得票数 0
我正在执行Spring Batch项目，该项目从Oracle读取数据并将其写入DB，当我运行批处理作业时，它会给出以下错误。
我浏览了许多链接，比如：、和，但不确定如何安装它。
jav
a.lang.Exception: Apparent connection leak detected
at com.zaxxer.hikari.HikariDataSource.getConnection(HikariDataSource.java:100) ~[HikariCP-3.4.2.jar:na]
at org.springframework.jdbc.datasource.Data
浏览 0提问于2020-06-25得票数 2
回答已采纳
我正在AKS容器中运行spring批处理应用程序。我看到它没有在执行spring批处理作业之后释放内存。
它举行了几乎1.4Gi后的作业执行
我正在使用下面的命令来运行spring批处理作业
java -jar jarname职务名称
如果重新启动POD，内存使用量约为100 is。
应该使用任何jar开关来释放内存吗？
浏览 7提问于2021-11-17得票数 1
我需要开发一个应用程序来使用Spring Batch执行以下活动。从数据库读取数据-->处理数据并准备rest API请求-->写入或发布到第三方restful服务。
我已经看到了很多从数据库读取写入CSV、DB、JMS的示例。但我找不到任何写入web服务的选项。是否可以使用spring batch或建议其他技术来执行此活动。
浏览 0提问于2017-05-27得票数 0
1回答
我正在从普通的spring批处理迁移到spring云任务，并通过spring云数据流执行spring批处理。在我的工作和我为文件伤害而部署的示例工作中，我都遇到了以下问题：
我正在使用带有postgres后端的spring-cloud-dataflow-server-local-1.4.0.RELEASE。我还对该示例进行了修改，以便使用postgres数据库。
当我尝试第二次使用不同的参数运行任务时，就会出现问题。当我第一次运行它时：
task launch fileInjectTask --arguments "filePath=classpath:data.csv --spri
浏览 0提问于2018-03-21得票数 1
3回答
我正在创建一个web应用程序，它将在世界上的每个城镇、地区和国家建立一个数据库，以便将其他对象映射到某个位置。作为应用程序的一部分，我希望用户能够搜索某个位置，为此，我使用弹性搜索来索引所有内容。为了与弹性搜索交互，我正在使用NEST。
我有以下代码：
public void RefreshLocationIndex()
{
int count;
using (var dbContext = new ModelContext())
{
IndexMany(dbContext.Countries, "Country");
}
浏览 5提问于2013-10-26得票数 4
回答已采纳
1回答
使用以下场景，我使用Spring批处理数据库表中的记录：
同时使用5个并行步骤处理来自5个表的数据每个并行步骤还有5个线程来处理来自单个表的记录
以下是作业配置的总结: TestJob ->并行Step1 & Step2 ->步骤1使用2个线程，步骤2使用2个线程
对于Spring表，我尝试使用Server数据库、内存数据库中的HSQL，但在从BATCH_STEP_EXECUTION_SEQ Spring中选择要插入到BATCH_STEP_EXECUTION表中时，不知怎么地Spring批处理会导致阻塞，因此试图从挂起的BATCH_STEP_EXECUTION_SEQ表中获
浏览 3提问于2020-07-31得票数 1
回答已采纳
这是我的场景..
我需要读取csv文件并将输出存储到ElasticSearch。我正在使用Spring Batch读取csv文件。谁能给我举个例子，如何使用Spring Batch或Spring Batch扩展在elasticsearch中保存？
浏览 1提问于2016-02-28得票数 3
我的项目有这个要求，其中用户上传的CSV文件，这必须推送到mysql数据库。我知道我们可以使用Spring batch来处理大量的记录。但是我找不到任何教程/示例代码来满足我的这一要求。我遇到的所有教程都将CSV文件名硬编码在其中，如下所示：
我需要使用用户上传的文件并对其进行相应的处理。这里的任何帮助都将不胜感激..
如果没有Spring batch，有没有其他方式将上传的CSV数据插入到mysql中？
浏览 3提问于2017-11-23得票数 4
回答已采纳
我配置Spring批处理作业，它从数据库读取一些项，进行一些基本处理，因此应该创建csv文件：
<batch:job id="testJob" job-repository="jobRepository" parent="jobParent">
<batch:step id="testStep" allow-start-if-complete="true">
<batch:tasklet>
<batch:chunk
浏览 1提问于2017-08-27得票数 0
回答已采纳
我想创建一个spring-batch作业，它会将数据保存到SQL Server表中，但我想在没有任何元数据数据库持久性的情况下运行它。不幸的是，spring-batch需要写入作业执行的元数据信息。
我不希望创建这些批次表。我该怎么做呢。
浏览 0提问于2020-09-18得票数 1
1回答
我有一个控制台应用程序，它查询数据库，然后在循环中将一些记录发布到REST ( API不支持批处理发布，因此我必须循环遍历每条记录，并在相关的情况下单独发布)。数据库访问速度快，没有问题，根据我设置的计时器，api post循环也是如此，但是在完成工作后，应用程序本身需要很长时间才能退出。
这是在我引入Parallel.Foreach以加快发布速度之后开始发生的。在使用非并行循环之前，发布1000条记录平均需要10分钟，但是应用程序完成后会立即返回和退出(正如预期的那样)。根据我正在使用的Stopwatch计时器，在并行循环到位之后，这个程序平均减少到44秒，但是应用程序直到大约2分钟后才会退
浏览 1提问于2017-07-25得票数 2
回答已采纳
有时Hibernate会在其方法中抛出一个IllegalArgumentException，我不知道为什么，也不知道如何重现。
我正在使用Spring Batch尝试处理一个文件，并在ItemWriter上将记录保存到数据库(创建/更新)，如下所示：
public class ProductWriter implements ItemWriter<ProductRecord> {
@Autowired private ProductRepository repository;
@Override
@Transactional
public void
浏览 17提问于2016-08-20得票数 1
回答已采纳
我有File1.csv，它的列是id、name、age。File2.csv具有列id、designation。在这两个文件中，ID是指相同的值，并且是唯一的。示例数据File1.csv
id name age
101 abc 30
102 def 25
File2.csv
id designation
101 manager
102 Assistant manager
Spring batch需要同时读取文件，合并数据并写入数据库，如下所示
id name age designation
101 abc 30
浏览 0提问于2016-11-23得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
