首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

关于mysql导入大文本txt文件

前几天在偶然的情况下,获得了一个18G的txt文件,现在需要导入数据库中,那么该怎么导入才能保证高效并且稳定呢?...mysql插入效率 首先应该知道的就是mysql的插入效率跟下面几个点有关 1:mysql数据库引擎,myisam,innodb,甚至是memory的插入效率都是不一样 2:索引,索引也会导致插入效率变慢...3:唯一索引冲突,在插入mysql数据库时,如果有相同数据,将会报错,降低插入效率 4:mysql硬盘,机械硬盘跟固态硬盘的插入效率也是不一样的 5:导入方法,单线程多线程等 6:mysql配置项,各种缓存区大小配置...数据库引擎 我们先测试下myisam 和innodb的插入效率对比,至于memory就不测试了.没有必要....` bigint(20) DEFAULT NULL,   PRIMARY KEY (`id`) ) ENGINE=MyISAM DEFAULT CHARSET=utf8; 2者都通过 Navicat txt

3.8K30

Linux中将txt导入mysql的办法教程

前言 昨天写小项目的时候遇到了一个需求:把txt文档的数据导入mysql数据库中,开始本来想直接用Mysql Workbench导入TXT文件,但是最后发现不支持TXT导入,结果我吧嗒吧嗒的去把TXT...转了Excel,拿到Linux上导入的时候又发现了各种乱码问题。...抱着没有什么是程序员干不了的原则,我手写了一个Python代码直接操作文件进行导入了。结果大概一万多条的文件,导入时间大概两分钟。 下面是具体的代码: mysqlpython.py文件:?...自定义的连接mysql数据库的类 importtxt.py文件: 读TXT文件并进行插入操作 dict.txt文件: 要操作的TXT文件 mysqlpython.py文件 from pymysql import...全部代码都贴上去了,直接复制修改下数据库的配置就可以运行了。

2.1K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Linux中将txt导入mysql的方法教程

    前言 昨天写小项目的时候遇到了一个需求:把txt文档的数据导入mysql数据库中,开始本来想直接用Mysql Workbench导入TXT文件,但是最后发现不支持TXT导入,结果我吧嗒吧嗒的去把TXT...转了Excel,拿到Linux上导入的时候又发现了各种乱码问题。...抱着没有什么是程序员干不了的原则,我手写了一个Python代码直接操作文件进行导入了。结果大概一万多条的文件,导入时间大概两分钟。...下面是具体的代码: mysqlpython.py文件: 自定义的连接mysql数据库的类 importtxt.py文件: 读TXT文件并进行插入操作 dict.txt文件: 要操作的TXT文件 mysqlpython.py...全部代码都贴上去了,直接复制修改下数据库的配置就可以运行了。

    2.2K41

    MySQL数据库备份

    基础环境搭建 本文相关环境均基于docker实现,下面是启动一个最基本的mysql数据库: docker run --name mysql-dump-test -p 3306:3306 -e MYSQL_ROOT_PASSWORD...全量备份 全量备份基本模式: 进入到mysql容器中 创建备份目录 通过mysqldump命令,执行数据库逻辑备份操作,将结果输出到 sql文件中。...,包括mysql库 全量恢复 通过在上述库中,执行drop table t_user1,删除该表后,开展恢复: 通过mysql命令,即可将 dump sql文件执行到对应的数据库中。...mysql -h localhost -u root -p < /data/backups/dmp/dmp1.sql 其他备份 1、导出指定数据库的指定表: --databases 指定备份的数据库 -...:/etc/mysql # 重启mysql数据库 docker restart mysql-dump-test # 查看日志情况 docker logs mysql-dump-test 参考资料 欢迎关注我的公众号

    1K40

    MySQL LOAD DATA INFILE—从文件(csv、txt)批量导入数据

    可以在读的同时支持写入,不过速度会稍微下降一点,笔者测试环境影响不大 (4)IGNORE 1 LINES (跳过第一行) 笔者通过python pandas to_csv()导出的csv是带标题的,如下: 不需要标题导入数据库...,就跳过嘛 (5)@dummy ,通过占位符,跳过不需要的数据 导入到表的column顺序必须和文件保持一致,通过@dummy可以跳过不需要的column(示例跳过totoal_flow_size 和...") mysqlcur.execute("SET SESSION sql_log_bin = 1") “DISABLE KEYS” 然后 “ENABLE KEYS”,笔者实际测试没什么用,只是导入数据更快...区别在于:一个是插入一条,创建一个索引;一个是全部导入完了后,再一次创建所有索引。...引用:  如何导入5亿条数据到mysql — https://derwiki.tumblr.com/post/24490758395/loading-half-a-billion-rows-into-mysql

    7.6K10

    JSP连接mysql数据库的重点

    1:用mysql驱动把mysql与tomcat的连接起来。把mysql驱动包(不用解压)放到Tomcat安装目录中lib文件夹下即可。...2:然后在自己的新建的web应用程序上面就可以下下面的代码 3:JDBC连接mysql数据库三步走 第一首先加载数据库驱动,注册到驱动管理器Class.forName("com.mysql.jdbc.Driver..."); 第二构建数据库连接URL,String URL="jdbc:mysql://localhost:3306/test";//test为自己创建的数据库,url格式:"jdbc协议:ip地址或者域名...mysql的用户名,123456为自己mysql的密码 解释说明: String url="jdbc:mysql://localhost:3306/test";//test为自己创建的数据库 String...");//记载数据库驱动,注册到驱动管理器 15 String url="jdbc:mysql://localhost:3306/test"; 16 String username

    5.4K80

    mysql workbench如何导入数据库_sql数据库脚本导入

    首先,打开MySQL workbench,先新建数据库(我们会把.sql文件导入之这个数据库),新建数据库过程如下: 先点击1处,新建数据库,给数据库起个名字,点击appy,就创建成功了。...之后点击2处,就可以看到现有的数据库了。 这里圈出来的是我新建的数据库,双击选中这个数据库(双击选中很重要,因为选中之后才能将.sql文件导入这个数据库中)。...然后点击左上方的第二个图标(图中圈出来的那个),选择自己要导入的.sql文件,点击打开即可。...点击“闪电”形状的按钮,运行.sql文件,就开始导入了,导入完成之后刷新数据库,就可以看到已经导入啦。 刷新newsrec数据库,就可以看到导入的表格了。

    18K30

    mysql怎么加载数据库_如何导入mysql数据库

    展开全部 方法一: 1、首先我e68a84e8a2ad3231313335323631343130323136353331333363393134们使用MySQL提供的命令行界面来导入数据库,确保自己的电脑中安装了...MySQL数据库,我们可以通过命令行来确认是否安装了MySQL数据库,当然,第一步是打开Mysql数据库服务,我们使用命令行来打开, 2、启动MySQL后,我们找到需要用到的脚本文件,也就是数据库文件...;来导入数据库,先进入mysql, 4、首先要在数据库中建立好数据库,然后导入脚本,所以先建立一个数据库哦,不要脚本是不知道你要往哪个数据库导入脚本的,如下图所示: 5、然后就可以输入导入.sql文件命令...: mysql> USE 数据库名; mysql> SOURCE d:/test.sql; 6、看到上面的画面,说明mysql数据库已经导入成功了哦!...现在来介绍第二种方法,使用mysql图形工具导入数据库,我们还是使用test.sql脚本来说明:方法二: 使用Navicat for MySQL图形界面来导入数据库,使用图形界面导入数据库的步骤很简单,

    35.4K20

    MySQL 数据库导入导出

    目录 ---- 目录 导出数据库 导出数据和表结构 只导出表结构 导入数据库 首先建空数据库 导入数据库 ---- 导出数据库: 导出数据和表结构: 格式: mysqldump -u用户名 -...p密码 数据库名 > 数据库名.sql 举例: /usr/local/mysql/bin/ mysqldump -uroot -p abc > abc.sql 敲回车后会提示输入密码 只导出表结构...注:/usr/local/mysql/bin/ —> mysql的data目录 导入数据库 首先建空数据库 mysql>create database abc; 导入数据库 方法一: 选择数据库...mysql>use abc; 设置数据库编码 mysql>set names utf8; 导入数据(注意sql文件的路径) mysql>source /home/abc/abc.sql;...方法二: mysql -u用户名 -p密码 数据库名 < 数据库名.sql mysql -uabc_f -p abc < abc.sql

    16.7K20

    数据库隔离级别以及Mysql

    一致性 数据库总是从一个一致性的状态转移到另一个一致性的状态,事务只要没有提交那么其中的所做的所有修改都不会落地到数据库。...持久性 事务一旦提交,其所做所有修改都会落地到数据库 2. 隔离级别 SQL标准中定义了四种隔离级别,隔离级别定义了在一个事务中所做的修改,哪些在事务内和事务间是可见的。...Mysql默认的隔离级别即为该级别。 SERIALIZABLE可串行化 可串行化是最高的隔离级别,它通过强制事务串行化执行避免了幻读的问题,性能很差实际很少用。 3....MysqlMysql版本:Server version: 8.0.18 MySQL Community Server - GPL 3.1 查看mysql当前隔离级别 mysql> select...> begin; Query OK, 0 rows affected (0.00 sec) mysql> update t set name='o1' where id=1; Query OK, 1

    10610

    如何将excel表格导入mysql数据库_MySQL数据库

    如何将excel中的数据导入数据库 1)你的sql server,找到要导入数据的数据库,右键——〉——〉导入数据 2)图示选择要导入的excel 3)选择导入到哪个数据库 4)导入excel选择第一项即可...phpexcel导入excel数MYSQL数据库 第三步:向数据库插入数据的insertdb.php文件。 [php] view plain copy print?...$mysql=mysql_connect(“localhost”,”root”,””) or die(“数据库连接失败!”)...; mysql_select_db(“php_excel”,$mysql); mysql_query(“set names utf8”); 我的导入效果如下: 至此,从Excel文件读取数据批量导入Mysql...·把sql.txt放到数据库中运行即可,你可以用命令行导入,也可以用phpadmin运行 版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。

    55.8K40

    怎么将sql文件导入数据库_mysql导入sql文件命令

    进入本地数据库 打开命令提示符行输入以下命令进入本地数据库 mysql -u root -p 2....创建数据库 新建一个新数据库用来导入.sql数据 CREATE DATABASE 数据库名; // 创建数据库 show databases; // 显示目前有的数据库 3....导入.sql文件 在导入.sql文件之前,设置一下编码模式,防止出现中文乱码的情况(第一次导入就出现了中文乱码,所以中添加一步防止出现乱码情况)。...use 数据库名; // 选择数据库 set names utf8;// 设置编码模式为utf8 source 数据库名.sql; // 导入sql文件,需要使用文件所在的路径 以上就是将.sql文件导入数据库的全部操作...,这是打开新建的数据库就能看到导入进去的表内容。

    17.3K20

    将文件导入数据库中_将csv文件导入mysql数据库

    如何将 .sql 数据文件导入到SQL sever中? 我一开始是准备还原数据库的,结果出现了如下问题。因为它并不是备份文件,所以我们无法进行还原。...执行完成后我们可以在对象资源管理器中看到我们的数据库文件导入了!...3、与上述两种数据库DSN不同,文件DSN把具体的配置信息保存在硬盘上的某个具体文件中。文件DSN允许所有登录服务器的用户使用,而且即使在没有任何用户登录的情况下,也可以提供对数据库DSN的访问支持。...dsn和系统dsn中(万一嘛…),后果就是,Tomcat报”不能使用’未知的’数据库资源”。...如果Tomcat作为系统服务启动,则ODBC方式数据库应使用系统DSN方式;如果是用户方式启动(如启动项服务),则ODBC方式数据库也应使用用户DSN方式。

    14.3K10
    领券