mybatismysql批量insert数据_mysql数据库简介

全栈程序员站长

发布于 2022-11-10 16:26:36

1.7K0

发布于 2022-11-10 16:26:36

文章被收录于专栏：全栈程序员必看

大家好，又见面了，我是你们的朋友全栈君。

文章目录

前言

MySQL批量插入操作相较于单次循环插入有较大的优势，在特定场景下，有比较重要的应用价值。

一、MySQL批量插入的应用场景

我在做项目的时候遇到Excel导入基础数据的情况，在对Excel进行解析，并拿到Excel里面的数据之后，下一步是插入数据库。最简单的方式是使用单次循环插入，但是这种方法效率太慢，不具有事务特征，所以使用批量插入的方法。

二、实现过程

1、Controller层获得导入的Excel数据

代码如下（代码中的CourseInfoList就是一个List集合，存储着CourseInfo对象）：

    @PostMapping("/importCourse")
public AjaxResult importCourse(MultipartFile file) throws Exception{ 

GeneralListener<CourseInfo> generalListener = new GeneralListener<>();
EasyExcel.read(file.getInputStream(),CourseInfo.class,generalListener).sheet().doRead();
List<CourseInfo> courseInfoList = generalListener.getList();
courseService.insertCourseByBatch(courseInfoList);
return AjaxResult.success();
}

2、mapper.xml的SQL语句

service层和domain层就省略了。

mapper.java代码如下：

@Mapper
public interface CourseInfoMapper { 

void insertCourseByBatch(@Param("list") List<CourseInfo> list);
}

mapper.xml代码如下：

  <insert id="insertCourseByBatch" parameterType="java.util.List">
insert into course_info (id,courseNo,courseName, courseAttr, credit, totalHour, status, description)
values
<foreach collection="list" item="item" index="index" separator=",">
(#{ 
item.id,jdbcType=BIGINT},#{ 
item.courseno,jdbcType=VARCHAR},#{ 
item.coursename,jdbcType=VARCHAR},#{ 
item.courseattr,jdbcType=VARCHAR},#{ 
item.credit,jdbcType=INTEGER},#{ 
item.totalhour,jdbcType=INTEGER},#{ 
item.status,jdbcType=INTEGER},#{ 
item.description,jdbcType=VARCHAR})
</foreach>
</insert>

这里遇到一个坑，网上很多博客在写这块的时候，都没有加上jdbcType，我一开始也没加，但是一直报错，后来加上jdbcType之后，才解决问题。

3、批量插入优点

批量插入效率比单次插入要高很多，能节省大约2/3的时间，原因在于：（1）降低了日志（MySQL的binlog和innodb的事务日志）刷盘的数据量和频率。（2）减少了SQL语句的解析次数。（3）、减少了网络传输的IO等。
操作的事务性。单次插入时，每个insert会开启一个事务，当执行很多insert的时候，会影响插入的性能。使用批量插入，可以在执行完成之后commit，保证了整批数据要么同时插入，要么都不插入。
批量插入有数据量的限制，即max_allowed_packet值，超过最大值会报错，但是一般情况下不会超过最大值，如果需要插入几十万条甚至上百万条数据，就需要对这种情况进行处理。