批量插入的时候,一般有两种思路:
insert into user(username,address) values('aa','bb'),('cc','dd')...
。主要从两个方面来考虑这个问题:
使用for循环:
当使用for循环一条条插入的时候,需要开启批处理模式(BATCH),这样前前后后就只用一个SqlSession,如果不采用批处理模式, 反反复复的获取Connection以及释放Connection会耗费大量时间,效率很低。
生成一条sql插入:
最终要考虑的就是在网络 IO 上花费的时间,是否超过了 SQL 插入的时间?这是我们要考虑的核心问题。
根据实际情况选择相应的批量插入手段。
其实 MyBatis Plus 里边也有一个批量插入的方法 saveBatch,我们来看看它的实现源码:
@Transactional(rollbackFor = Exception.class)
@Override
public boolean saveBatch(Collection<T> entityList, int batchSize) {
String sqlStatement = getSqlStatement(SqlMethod.INSERT_ONE);
return executeBatch(entityList, batchSize, (sqlSession, entity) -> sqlSession.insert(sqlStatement, entity));
}
这里拿到的 sqlStatement 就是一个 INSERT_ONE
,即一条一条插入。
executeBatch 方法:
public static <E> boolean executeBatch(Class<?> entityClass, Log log, Collection<E> list, int batchSize, BiConsumer<SqlSession, E> consumer) {
Assert.isFalse(batchSize < 1, "batchSize must not be less than one");
return !CollectionUtils.isEmpty(list) && executeBatch(entityClass, log, sqlSession -> {
int size = list.size();
int i = 1;
for (E element : list) {
consumer.accept(sqlSession, element);
if ((i % batchSize == 0) || i == size) {
sqlSession.flushStatements();
}
i++;
}
});
}
这里注意 return
中的第三个参数,是一个 lambda
表达式,这也是 MP 中批量插入的核心逻辑,可以看到,MP 先对数据进行分片(默认分片大小是 1000),分片完成之后,也是一条一条的插入。继续查看 executeBatch
方法,就会发现这里的 sqlSession
其实也是一个批处理的 sqlSession
,并非普通的 sqlSession
。
参考资料
分享计划
博客内容将同步至腾讯云+社区,邀请大家一同入驻:https://cloud.tencent.com/
许可协议
本文采用 署名-非商业性使用-相同方式共享 4.0 国际 许可协议,转载请注明出处。