首页
学习
活动
专区
圈层
工具
发布

教你88秒插入1000万条数据到mysql数据库表

我用到的数据库为,mysql数据库5.7版本的 首先自己准备好数据库表 其实我在插入1000万条数据的时候遇到了一些问题,现在先来解决他们,一开始我插入100万条数据时候报错,控制台的信息如下: com.mysql.jdbc.PacketTooBigException...出现上面的错误是因为数据库表的 max_allowed_packet 这个配置没配置足够大,因为默认的为4M的,后来我调为100M就没报错了 set global max_allowed_packet...= 100*1024*1024* 记住,设置好后重新登录数据库才能看的设置后的值 show VARIABLES like '%max_allowed_packet%' 代码如下: package insert...://127.0.0.1/teacher" ; final String name = "com.mysql.jdbc.Driver" ; final String...// 结束时间 Long end = new Date().getTime(); // 耗时 System.out.println( "1000万条数据插入花费时间

2.4K40
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    MySQL 数据库表分区.

    MySQL 数据库在 5.1 版本时添加了对分区(partitioning)的支持。分区的过程是将一个表或索引分解成多个更小、更可管理的部分。...MySQL 数据库支持的分库类型为水平分区(指将同一表中不同行的记录分配到不同的物理文件中),并不支持垂直分区(指将同一表中不同列的记录分配到不同的物理文件中)。...MySQL 数据库的分区是局部分区索引,一个分区中既存放了数据又存放了索引。而全局分区是指,数据存放在各个分区中,但是所有数据的索引放在一个对象中。MySQL 数据库目前不支持全局分区。...MySQL 查看数据库分区。 SHOW VARIABLES LIKE '%partitions%'; MySQL 数据库支持以下几种类型的分区。...我们通过 Navicat 来操作下数据库分区,表 -> 右键点击'设计表' -> 选项 -> 分割区,可以看到如下内容。 ? 来看看分区后,磁盘中 MySQL 数据库是怎么存储的。 ?

    12.8K20

    MySQL 搭建数据库表

    创建MySQL数据表需要以下信息: 表名 表字段名 定义每个表字段 语法 以下为创建MySQL数据表的SQL通用语法: CREATE TABLE table_name (column_name column_type...); 以下例子中我们将在 RUNOOB 数据库中创建数据表runoob_tbl: CREATE TABLE IF NOT EXISTS `runoob_tbl`( `runoob_id` INT...---- 通过命令提示符创建表 通过 mysql> 命令窗口可以很简单的创建MySQL数据表。你可以使用 SQL 语句 CREATE TABLE 来创建数据表。...实例 以下为创建数据表 runoob_tbl 实例: root@host# mysql -u root -p Enter password:******* mysql> use RUNOOB; Database...使用PHP脚本创建数据表 你可以使用 PHP 的 mysqli_query() 函数来创建已存在数据库的数据表。 该函数有两个参数,在执行成功时返回 TRUE,否则返回 FALSE。

    14.1K10

    MySQL 数据库和表操作

    MySQL服务器中的 【数据库】 以文件夹的形式存放在data目录下,本章讲解如何优雅地使用SQL命令操作数据库和数据表。...一、数据库操作 1.连接MySQL服务器 mysql -uroot -p mysql数据库类型有四个库 (information_schema,mysql,performance_schema,sys)...2.创建数据库 CREATE DATABASE 库名; #查看数据库 show databases; 3.指定数据库 若要操作数据库中的表或数据则需要先指定使用哪个库; #指定使用mysql库 USE...mysql; 如果想连接上数据库就可以使用某个库,可以在登录的时候指定库 #例如登录MySQL服务器 指定使用mysql库 mysql -uroot -p mysql #查看当前使用的库 SELECT...DROP DATABASE 库名; #查看数据库 show databases; 5.重命名数据库 MySQL 5.7 没有重命名库的SQL命令! 但是可以通过其他方式达到目的,例如备份...

    7.9K30

    MySQL数据库:表的约束

    表的约束,实质上就是用数据类型去约束字段,但是数据类型的约束手法很单一,比如,我们在设置身份证号这个字段,数据类型唯一起的约束是它属于char类型或者varchar类型,不能是浮点型也不能是日期时间类型...数据库默认字段基本都是字段为空,但是实际开发时,尽可能保证字段不为空,因为数据为空没办法参与运算。...DEFAULT '男' COMMENT '性别' ) ENGINE=InnoDB DEFAULT CHARSET=utf8 1 row in set (0.00 sec) zerofill 刚开始学习数据库时...0000000001 | 1 | | 0000000002 | 2 | +------------+--------+ 2 rows in set (0.00 sec) 可以看出数据库内部存储的还是...,提前告诉mysql表之间的约束关系,那么当用户插入不符合业务逻辑的数据的时候,mysql不允许你插入。

    2.8K30

    MySQL数据库表的操作

    character set 字符集,如果没有指定字符集,则以所在数据库的字符集为准。 collate 校验规则,如果没有指定校验规则,则以所在数据库的校验规则为准。...users1 表存储引擎是 MyISAM ,在数据目中有三个不同的文件,分别是: users1.frm:表结构 users1.MYD:表数据 users1.MYI:表索引 查看表 可以使用命令...: seletc database();//查看当前使用的数据库 show tables;//查看当前数据库的表 desc user1;//查看user1表 show create table user1...\G //查看当时创建user1这张表时候的操作 查看当前使用的数据库:  查看当前数据库的表: 查看表: 查看建表时的操作: 修改表 修改表的操作有修改某个表的结构,比如字段名字,字段大小...,字段类型,表的字符集类型,表的存储引擎等等。

    1.9K20

    MySQL数据库表约束详解

    1.表的约束的概念 表中一定要有各种约束,通过约束,让我们未来插入数据库表中的数据是符合预期的。约束本质是通过技术手段,倒逼程序员,插入正确的数据。...2.空属性 两个值:null(默认的)和not null(不为空) 数据库默认字段基本都是字段为空,但是实际开发时,尽可能保证字段不为空,因为数据为空没办法参与运算。...站在正常的业务逻辑中: 如果班级没有名字,你不知道你在哪个班级 如果教室名字可以为空,就不知道在哪上课 所以我们在设计数据库表的时候,一定要在表中进行限制,满足上面条件的数据就不能插入到表中。...DEFAULT '男' COMMENT '性别' ) ENGINE=MyISAM DEFAULT CHARSET=gbk 1 row in set (0.00 sec) 5.zerofill 刚开始学习数据库时...建立外键的本质其实就是把相关性交给mysql去审核了,提前告诉mysql表之间的约束关系,那么当用户插入不符合业务逻辑的数据的时候,mysql不允许你插入 语法: foreign key (字段名)

    1.6K00

    MYSQL数据库-表的约束

    零、前言 本章主要讲解学习MYSQl数据库中的表的约束 表的约束 真正约束字段的是数据类型,但是数据类型约束很单一,需要有一些额外的约束,更好的保证数据的合法性,从业务逻辑角度保证数据的正确性...包含班级名和班级所在的教室 如果班级没有名字,你不知道你在哪个班级,如果教室名字可以为空,就不知道在哪上课 所以在设计数据库表的时候,一定要在表中进行限制,满足上面条件的数据就不能插入到表中,这就是...示例: 索引: 在关系数据库中,索引是一种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构,它是某个表中一列或若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑指针清单 索引的作用相当于图书的目录...这样可以使对应于表的SQL语句执行得更快,可快速访问数据库表中的特定信息 7、唯一键 一张表中有往往有很多字段需要唯一性,数据不能重复,但是一张表中只能有一个主键:唯一键就可以解决表中有多个字段需要唯一性约束的问题...建立外键的本质其实就是把相关性交给mysql去审核了,提前告诉mysql表之间的约束关系,那么当用户插入不符合业务逻辑的数据的时候,mysql不允许你插入

    9.6K30

    mysql数据库--表的操作

    1.创建表 按照上次的那个创建表的操作,我们创建完成之后首先就是去把这个use一下,即进入到这个表里面去; 然后我们就可以进行下面的创建表的操作; 上面这个就是进行创建表的指令: 首先还是使用这个mysql...-uroot -p进入到这个mysql里面,可以使用这个免密码的进入; create就是在创建表。...指令,这个里面就是我们的这个对应的库里面的表结构,我们所在的表就在这个打印结果里面; 因为我是在这个d3数据库的下面创建的表,因此我可以使用这个cd指令进入到对应的表的目录下面去,使用ls查看到了opt...,这个就是因为我们的这个InnoDB引擎对应的文件就是2个,如果我们使用的其他的引擎,这个对应的文件的数量也是不一样的; 2.查看表 我们可以先使用下面的select指令查看当前的数据库,我们是在那个库的下面...,字段的类型,是否为空,默认值以及这个扩充的情况,后面我们都会学到; 其实这个数据库的所有信息都可以显示出来,包括我们创建这个数据库的操作,我们可以使用下面的show create table user1

    4.9K00

    MySQL数据库表的约束

    约束是为了安全插入数据,保证数据的合法性,防止无效数据进入数据库。它类似编译器语法提示,减少防止程序员在不知情的情况下插入错误数据。其中数据类型本身就是一种约束。...表的约束:表中一定要有各种约束,通过约束让我们未来插入数据库表中的数据是否合法的预期。本质通过技术手段倒逼程序员插入正确的数据。而站在MySQL视角,插入进来是数据一定是合法的。...为什么要约束:数据库是维护数据的最后一道防线,必须保证数据的完整性和可预期性。 1.null属性 在建表过程中,我们为数据类型添加时可以指定null或not null属性。...在数据库操作中,增删查改通常需要依赖主键,以确保数据的唯一性和操作的准确性。 在插入数据时不允许主键重复。...> 建表后才想起来加主键时,要保证没有重复数据。

    43710

    MySQL ·查看数据库表详情

    MySQL 查看数据库表详情 查看所有数据库容量大小 select table_schema as '数据库', sum(table_rows) as '记录数', sum(truncate(data_length...where table_schema='liveservice-dev' order by data_length desc, index_length desc; 数据库 表名 记录数 数据容量(MB...在 mysql 中,使用 delete 命令删除数据后,会发现这张表的数据文件和索引文件却奇怪的没有变小。...这是因为 delete 操作并不会真的把数据删除,mysql 实际上只是给删除的数据打了个标记,标记为删除,因此你使用 delete 删除表中的数据,表文件在磁盘上所占空间不会变小,我们这里暂且称之为假删除...注意:在 optimize table 运行过程中,MySQL 会锁定表,所以要在空闲时段执行。

    19.6K30
    领券