教你88秒插入1000万条数据到mysql数据库表

我用到的数据库为,mysql数据库5.7版本的

  • 首先自己准备好数据库表

其实我在插入1000万条数据的时候遇到了一些问题,现在先来解决他们,一开始我插入100万条数据时候报错,控制台的信息如下:

com.mysql.jdbc.PacketTooBigException: Packet for query is too large (4232009 > 4194304). You can change this value on the server by setting the max_allowed_packet’ variable.

出现上面的错误是因为数据库表的 max_allowed_packet 这个配置没配置足够大,因为默认的为4M的,后来我调为100M就没报错了

set global max_allowed_packet = 100*1024*1024*

记住,设置好后重新登录数据库才能看的设置后的值

show VARIABLES like '%max_allowed_packet%'

  • 代码如下:
package insert; 
import java.sql.Connection;import java.sql.DriverManager;import java.sql.SQLException;import java.util.Date; 
import com.mysql.jdbc.PreparedStatement; 
public class InsertTest { 
     public static void main(String[] args) throws ClassNotFoundException, SQLException {         final String url = "jdbc:mysql://127.0.0.1/teacher" ; 
         final String name = "com.mysql.jdbc.Driver" ; 
         final String user = "root" ; 
         final String password = "123456" ; 
         Connection conn = null ; 
         Class.forName(name); //指定连接类型 
         conn = DriverManager.getConnection(url, user, password); //获取连接 
         if (conn!= null ) {
             System.out.println( "获取连接成功" );
             insert(conn);
         } else {
             System.out.println( "获取连接失败" );
         }
 
     }     public static void insert(Connection conn) {         // 开始时间
         Long begin = new Date().getTime();         // sql前缀
         String prefix = "INSERT INTO t_teacher (id,t_name,t_password,sex,description,pic_url,school_name,regist_date,remark) VALUES " ;         try {             // 保存sql后缀
             StringBuffer suffix = new StringBuffer();             // 设置事务为非自动提交
             conn.setAutoCommit( false );             // 比起st,pst会更好些
             PreparedStatement  pst = (PreparedStatement) conn.prepareStatement( "" ); //准备执行语句
             // 外层循环,总提交事务次数
             for ( int i = 1 ; i <= 100 ; i++) {
                 suffix = new StringBuffer();                 // 第j次提交步长
                 for ( int j = 1 ; j <= 100000 ; j++) {                     // 构建SQL后缀
                     suffix.append( "('" + uutil.UUIDUtil.getUUID()+ "','" +i*j+ "','123456'" + ",'男'" + ",'教师'" + ",'www.bbk.com'" + ",'XX大学'" + ",'" + "2016-08-12 14:43:26" + "','备注'" + ")," );
                 }                 // 构建完整SQL
                 String sql = prefix + suffix.substring( 0 , suffix.length() - 1 );                 // 添加执行SQL
                 pst.addBatch(sql);                 // 执行操作
                 pst.executeBatch();                 // 提交事务
                 conn.commit();                 // 清空上一次添加的数据
                 suffix = new StringBuffer();
             }             // 头等连接
             pst.close();
             conn.close();
         } catch (SQLException e) {
             e.printStackTrace();
         }         // 结束时间
         Long end = new Date().getTime();         // 耗时
         System.out.println( "1000万条数据插入花费时间 : " + (end - begin) / 1000 + " s" );
         System.out.println( "插入完成" );
     }
}

原文发布于微信公众号 - java思维导图(java-mindmap)

原文发表时间:2018-10-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ml

------------数据库的加锁操作(上)

       从事一个项目,需要考虑数据的安全性,之前对于数据库这部分的数据操作学习的比较零散,由于手头的项目,于是系统的 学习了下数据库操作加锁的知识: --...

48810
来自专栏程序员的SOD蜜

PDF.NET(PWMIS数据开发框架)之SQL-MAP目标和规范

SQL-MAP的目标: 集中管理SQL语句,所有SQL语句放在专门的配置文件中进行管理; 通过替换SQL配置文件,达到平滑切换数据库到另外一个数据库,比如从O...

2618
来自专栏java学习

java链接数据库简单教程(JDBC)

Java基础 | 数据库 | Android | 学习视频 | 学习资料下载 ★回复【数据库工具】获取数据库安装包以及安装视频教程链接 注:(本文以连接orac...

3696
来自专栏mathor

JDBC

 要想通过java连接数据库,首先通过Navicat工具连接MySQL,然后创建数据库jsp,再创建一个表单user,表单里的字段以及相应的属性见下图

1763
来自专栏技术小讲堂

Entity Framework4.3 Code-First基于代码的数据迁移讲解1.建立一个最初的模型和数据库   2.启动Migration(数据迁移)3.第一个数据迁移4.订制的数据迁移4.动态

前段时间一直在研究Entity Framework4,但是苦于没有找到我特别中意的教程,要么就是千篇一律的文章,而且写的特别简单,可以说,糟践了微软这么牛埃克斯...

3448
来自专栏Java学习网

Java开发之使用Java 8 Streams 对数据库进行 CRUD 操作

Speedment 是一个开放源代码的工具集,它可以被用来生成 Java 实体,并且能将我们同数据库的通信过程管理起来。你可以利用一个图形工具连接到数据库并生成...

1093
来自专栏好好学java的技术栈

jdbc就是这么简单

JDBC(Java DataBase Connectivity,java数据库连接)是一种用于执行SQL语句的Java API,可以为多种关系数据库提供统一访问...

802
来自专栏Java3y

JDBC面试题都在这里

以下我是归纳的JDBC知识点图: ? 图上的知识点都可以在我其他的文章内找到相应内容。 JDBC常见面试题 JDBC操作数据库的步骤 ? JDBC操作数据库的步...

5684
来自专栏Kevin-ZhangCG

[ SSH框架 ] Hibernate框架学习之二

1925
来自专栏好好学java的技术栈

jdbc就是这么简单

JDBC(Java DataBase Connectivity,java数据库连接)是一种用于执行SQL语句的Java API,可以为多种关系数据库提供统一访问...

923

扫码关注云+社区

领取腾讯云代金券