前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >mysql 大数据量迁移

mysql 大数据量迁移

作者头像
兜兜毛毛
发布2019-10-23 15:48:21
2K0
发布2019-10-23 15:48:21
举报
文章被收录于专栏:兜兜毛毛兜兜毛毛

MySQL导出的SQL语句在导入时如果数据量较大时会非常非常慢,经历过导入仅3000万条,用了近30个小时。在导出时合理使用几个参数,可以大大加快导入的速度。

-e 使用多VALUES的INSERT语法; --max_allowed_packet=XXX 客户端/服务器之间通信的缓存区的最大大小; --net_buffer_length=XXX TCP/IP和套接字通信缓冲区大小,创建长度达net_buffer_length的行

注意:max_allowed_packet和net_buffer_length不能比目标数据库的配置数值大,否则可能出错。

首先确定目标库的参数值 mysql>show variables like 'max_allowed_packet'; mysql>show variables like 'net_buffer_length';

根据参数值书写mysqldump命令,如: mysql>mysqldump -uroot -p 数据库名-e --max_allowed_packet=1048576 --net_buffer_length=16384 > SQL文件

如:

mysql>mysqldump -uroot -p test_db -e --max_allowed_packet=1048576 --net_buffer_length=16384 > test_db.sql

不生成文件,直接导入到目标数据库

mysqldump --default-character-set=utf8mb4 --host=127.0.0.1 -uroot -p123 --opt databases | mysql --host=127.0.0.1 --port=3307 -uroot -p123 --default-character-set=utf8mb4 -C databases

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云数据库 SQL Server
腾讯云数据库 SQL Server (TencentDB for SQL Server)是业界最常用的商用数据库之一,对基于 Windows 架构的应用程序具有完美的支持。TencentDB for SQL Server 拥有微软正版授权,可持续为用户提供最新的功能,避免未授权使用软件的风险。具有即开即用、稳定可靠、安全运行、弹性扩缩等特点。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档