Java Excel百万数据快速插入数据库思路

简介

对于这个问题，相信很多人应该在面试或者某些业务场景中都遇到过，本文章只提供一种思路，也算是小白常用的一种思路。

思路

• 假设数据有100万。
• 要将数据快速插入到数据库，首先得减少读取数据的时间开支。
• 减少插入数据时，时间上的开支。
• 数据量过大容易产生OOM
• 思路一：单线程逐行解析，单线程逐行插入。
• 思路二：单线程逐行解析，单线程批量插入。
• 思路三：多线程解析，单线程批量插入。
• 思路四：多线程解析，多线程批量插入。（推荐）

数据获取

对于百万级数据的获取，本人一般采用alibabat提供的easyexcel工具。

<dependency>
	<groupId>com.alibaba</groupId>
	<artifactId>easyexcel</artifactId>
	<version>${easyexcel-version}</version>
	<optional>true</optional>
</dependency>

1. 对于数据获取，最简单的方法就是直接读取，通过单线程的方式逐行解析，时间上的开销预计在10分钟左右（不推荐）
2. 第二种方法便是采用多线程的方式（推荐），即利用线程池的方式去获取。

数据插入

建议使用MyBatis-Plus框架，其提供了数据库多行数据插入的方法，可减少IO，同时开启JDBC批量插入&rewriteBatchedStatements=true

1. 对于数据插入比较简单的方法就是直接通过简单Sql逐条插入
2. 采用多线程的方式分批插入，如果每一批1w数据的话，大概1分钟左右就能处理完。（推荐）