Spring data jpa在异常时继续批量插入

Spring Data JPA 在批量插入过程中遇到异常时，默认情况下会停止当前操作并抛出异常。这是因为 Spring Data JPA 遵循事务的原子性原则，即事务中的所有操作要么全部成功，要么全部失败。如果在批量插入过程中发生异常，整个事务将回滚，以保证数据的一致性。

基础概念

事务管理：在数据库操作中，事务是一组必须全部成功完成或全部不完成的操作序列。Spring Data JPA 支持声明式事务管理，通过注解 @Transactional 来控制事务的边界。

批量插入：批量插入是指一次性向数据库中插入多条记录，这通常比逐条插入更高效。

类型

JDBC 批处理：直接使用 JDBC 的批处理功能。
Spring Data JPA 批量操作：通过 Spring Data JPA 提供的接口和方法实现批量操作。

应用场景

数据迁移：将大量数据从一个系统迁移到另一个系统。
数据初始化：在应用启动时插入初始数据。
日志记录：批量记录用户操作日志。

遇到的问题及原因

如果在批量插入过程中遇到异常，默认情况下整个事务会回滚，导致之前的所有插入操作都无效。这可能是由于以下原因：

唯一性约束冲突：尝试插入重复的唯一键值。
外键约束冲突：插入的数据违反了外键约束。
数据类型不匹配：插入的数据类型与数据库字段类型不匹配。

解决方案

为了在遇到异常时继续批量插入，可以采取以下策略：

捕获并处理异常：在代码中捕获异常，并对异常情况进行处理，例如跳过有问题的记录。

@Transactional
public void batchInsert(List<Entity> entities) {
    for (Entity entity : entities) {
        try {
            repository.save(entity);
        } catch (Exception e) {
            // 记录日志或进行其他处理
            System.err.println("Failed to insert entity: " + entity);
        }
    }
}

使用 EntityManager 手动控制事务：通过 EntityManager 手动控制事务边界，实现更细粒度的异常处理。

@Transactional
public void batchInsert(List<Entity> entities) {
    EntityManager em = entityManagerFactory.createEntityManager();
    EntityTransaction tx = em.getTransaction();
    try {
        tx.begin();
        for (Entity entity : entities) {
            em.persist(entity);
        }
        tx.commit();
    } catch (Exception e) {
        if (tx.isActive()) {
            tx.rollback();
        }
        // 记录日志或进行其他处理
        System.err.println("Transaction failed, rolling back");
    } finally {
        em.close();
    }
}

使用 @Transactional 的 rollbackFor 属性：指定哪些异常不触发回滚。

@Transactional(rollbackFor = {CustomException.class})
public void batchInsert(List<Entity> entities) {
    for (Entity entity : entities) {
        repository.save(entity);
    }
}