首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

mysqldump备份失败案例一则

mysqldump备份失败案例一则 日常运维过程中,经常会使用到mysqldump工具来对线上的库表进行备份。...今天下午在线上遇到了一个业务反馈mysqldump频繁失败,大概的错误日志如下: mysqldump --max_allowed_packet=1024M --single-transaction...根据已知的信息分析,通常情况下,这种问题是由下面几个原因造成的: 1、net_write_timeout参数 它代表的是服务器往客户端写数据的时候的超时时间。超过这个时间,将会主动断开连接。...如果你要备份的表的字段超出了这个参数限制,那么这个mysqldump的连接就会被中断 3、mysqldump备份的时候,在等待锁,最终由于等待超时,连接被kill掉了。...根据上面的思路,最终问题定位: 这个MySQL的端口上,历史上配置了过载保护机制,利用pt-kill工具,会定时杀掉那些查询时间较长的SQL。

1.7K10
您找到你想要的搜索结果了吗?
是的
没有找到

mysqldump备份表中有大字段失败的排错过程

几天前收到某个业务项目,MySQL数据库逻辑备份mysqldump备份失败的邮件,本是在休假,但本着工作认真负责,7*24小时不间断运维的高尚职业情操,开始了DBA的排错之路(一开始数据库的备份都是成功的...1、定位问题 登录到机器上,先查看了备份文件的逻辑,再查看备份的日志和备份文件大小,确认备份失败并定位到是备份命令mysqldump行执行一半失败(根据备份文件较之前的几天减少了一半且脚本运行日志来断定...,查看手动备份失败处的行信息是2017-02-05 04:03:18写入,之前都没有出现过这个备份失败问题。...于是开始怀疑是不是最近数据增长太大或者表的字段太宽的问题(其他数据库的表更大,有的甚至达到400G也没有出现过这个问题,表数据量太大的可能性不大,但单行备份失败,怀疑大字段的问题) 查看表结构如下: [...备份失败确实是解决,但是前辈们反映的问题是消耗更多的内存,到我这反而释放了更多的内存,这样修改参数终究是会存在安全隐患,且这个参数会影响所有的会话连接。

1K20

mysqldump 备份的后门

简介 mysqldump备份 MySQL 数据库的常用工具,其中会包含 创建表、删除表、插入数据 这些数据库操作的语句 而黑客可能会利用 mysqldump 来黑掉你的系统,在 dump 文件被导入时就会执行黑客设置好的...进行常规备份 4)黑客想要提升他们的权限,进而可以访问操作系统 过程 首先创建一个恶意表 CREATE TABLE `evil \!...id select user(),@@version/*` (test text); 之后使用 mysqldump 备份数据库 在正常情况下,dump 文件中应该是这样的结构 -- -- Table...弥补方法 使用 mysqldump 时设置 --skip-comments 撤回建表权限 尽量只 dump 表数据 这个问题比较普遍,需要注意,涉及的数据库包括: 数据库 版本 MySQL 所有版本 MariaDB...就没有设置忽略注释,需要补上,所以写出来供有同类问题的小伙伴们参考

1.5K80

mysqldump备份技巧分享

前言: mysqldump 是日常比较常用的一个工具了,在对数据库进行导出工作时,经常会用到 mysqldump 。本篇文章将介绍 mysqldump 工具的使用方法并分享几点备份技巧。...1.mysqldump使用简介 mysqldump 是 MySQL 系统自带的逻辑备份工具,主要用于转储数据库。...2.几点备份小技巧 虽然 mysqldump 不太适用于大数据量的备份,但因其具有灵活方便、可根据场景定制参数等优点,还是被广泛应用在数据导出领域。...笔者根据自己的使用经验,简单分享几点 mysqldump 备份小技巧: 建议使用 --single-transaction 参数来获得一致性备份,减少锁表。...db1 > /tmp/db1.sql 总结: 本篇文章主要介绍了 mysqldump 工具的使用方法及一些常见场景。

2K30

MySQLDump备份方法

mysqldump使用简介 mysqldump 是 MySQL 系统自带的逻辑备份工具,主要用于转储数据库。...几点备份小技巧 虽然 mysqldump 不太适用于大数据量的备份,但因其具有灵活方便、可根据场景定制参数等优点,还是被广泛应用在数据导出领域。...笔者根据自己的使用经验,简单分享几点 mysqldump 备份小技巧: 建议使用 --single-transaction 参数来获得一致性备份,减少锁表。...下面分享几个不同场景下的 mysqldump 使用方法: # 备份全部数据库(包含存储过程、自定义函数及事件) mysqldump -uroot -pxxxxxx --single-transaction...db1 > /tmp/db1.sql 总结 本篇文章主要介绍了 mysqldump 工具的使用方法及一些常见场景。

2.2K00

mysql逻辑备份mysqldump

mysqldump工具备份: 本质:导出的是SQL语句文件 优点:不论是什么存储引擎,都可以用mysqldump备成SQL语句 缺点:速度较慢,导入时可能会出现格式不兼容的突发情况,无法做增量备份和累计增量备份...提供三种级别的备份,表级,库级和全库级 备份数据库 备份单个数据库 mysqldump --databases we -uroot -pAa123456 > /we/sjk.sql 备份多个数据库 mysqldump...-pAa123456 -d > /we/sjk.sql 数据库恢复 mysql -uroot -pAa123456 we < /we/sjk.sql 全库备份/恢复 备份 mysqldump -uroot...表(包含数据) mysqldump -uroot -pAa123456 we userc > /we/sjkb.sql 备份we库中的userc数据表的表结构(不含数据) -d参数,只备份表结构 mysqldump...-uroot -pAa123456 -d we userc > /we/sjkb.sql 备份we库的userc表的数据 -t参数,只备份数据 mysqldump -uroot -pAa123456

2.1K90

MySQL备份工具——mysqldump

MySQL的安装包里面提供了“mysqldump”工具,它可以执行逻辑备份,如果执行备份的对象是InnoDB存储引擎,则可以执行热备份,默认情况下,它对所有的引擎执行温备份。...在大多数的运维场景中,用户利用Linux的“crontab”,或Windows的任务调度程序自动运行“mysqldump”。...“mysqldump”可以将表的内容转储为文件,具有如下特点: 备份全部的数据库、指定的数据库,或指定的表。 允许在本地或远程进行备份。 独立于存储引擎。 生成文本格式的转储文件。...适用于少量的数据导出,但不是一个完整的备份解决方案。...一个基本的使用例如下: mysqldump --username --password=password db_name > backup.file 保证数据一致性 "mysqldump"可以通过如下选项保证数据的一致性

12510

使用 mysqldump 备份 MySQL

基本用法 mysqldump是一个客户端应用程序,可用于进行逻辑备份。它将生成必要的 SQL 语句来重现原始数据库。...> database_name.sql 库表架构备份 如果您只需要备份没有数据的数据库架构,请使用以下选项运行 mysqldump --no-data: $ mysqldump -u username...指定条件备份 如果您需要创建包含符合条件的数据的备份,您可以使用WHERE带有 mysqldump 的子句。...mysql``mysqldump``MYSQLDUMP_OPTIONS 安全注意事项 一些常见问题是关于如何从完整备份进行部分恢复。...例如,当您使用 备份数据库时mysqldump,您将获得用于创建数据库架构和从备份中插入数据的语句。 如果您只需要架构,则可以使用 --no-data 选项运行 mysqldump

95120

MySQL逻辑备份mysqldump

MySQL 备份mysqldump mysqldump mysqldump工具备份: 本质:导出的是SQL语句文件 优点:不论是什么存储引擎,都可以用mysqldump备成SQL语句 缺点:速度较慢...,导入时可能会出现格式不兼容的突发情况,无法做增量备份和累计增量备份 提供三种级别的备份,表级,库级和全库级 Usage: mysqldump [OPTIONS] database [tables] OR.../db01.sql mysql> source /tmp/mysqlback/db01_02.sql 说明: 不要从操作层面删除任何一个库和任何一个表,如果真的这么做了,那么恢复的时候会恢复失败,因为mysql...mysqldump+binlog 完全备份mysqldump)+增量备份(binlog) 适用于中小型数据库;通过结合二进制日志文件,把数据库恢复到最新的状态 二进制日志默认会记录下所有对数据库变化的操作...mysqldump+binlog做增量备份——>通过binlog日志恢复到最新状态 •当前数据库必须开启二进制日志(修改配置文件) •使用mysqldump工具做全库备份 •更新数据 •直接恢复 •使用全库备份恢复

1.1K10

Mysql备份工具mysqldump--参数

参数 Mysqldump命令参数 #获得帮助 --help #备份所有库,这样设置的账号密码什么的也会备份了 --all-databases #不缓冲查询,直接导出到标准输出。...#所以该参数明显不能保证各个表之间的数据一致性(特别是外键约束的父表和子表之间) #一致性快照说的是如果4点开始备份,那对数据做一个快照,6点结束了,这期间只会保存4点前的,新的改变不进行同步保存,根据...比如user=root,在执行mysqldump备份命令时候可以不用加--user了 --print-defaults #已不从任何选项文件读取默认选项 --no-defaults #只有给指定的文件读取默认选项...可以使用选项 --compact #使用完成的insert语句(包含列名称),这么做能提高插入效率,但是可能会受到max_allowed_packer参数的影响而导致插入失败。...session级别的sql_mode为空,避免可能有些sql_mode值对备份产生影响' 2017-07-01T17:42:17.779564+08:00 6 Query /*!

1.4K30

MySQL 数据备份&恢复(mysqldump 工具)

数据无价,谨慎操作, 防止误删,学习备份......一、mysqldump 备份工具 MySQL自带的逻辑备份工具 它支持数据库全备或指定库备份备份的输出以文件形式保存 并且文件内容都是SQL语句 选项 含义 -A --all-databases导出...-databases导出一个或多个数据库 -d 只导出表结构 -t 只导出表内容 --tables 指定需要导出的表名 --single-transaction innodb热备启用一个大的事务完成的备份保证数据完整性...-uroot -p db_name > E:\dbname.sql #导出多个数据库 mysqldump -uroot -p -B db1 db2 > E:\dbname.sql #导出所有数据库...mysqldump -uroot -p -A > E:\dbname.sql 2.导出数据表(Table) #导出整张表,导出多张表需空格隔开 mysqldump -uroot -p123456 -B

2.7K20

mysqldump备份容灾脚本(下)

cd /ops/bak 解开最近时间点的全量备份包,最近时间是2016-04-06 tar -xf mybak-all-2016-04-06-00-00.tar.gz 解压后可以看到 mybak-all...解压增量备份的文件夹 ,因为这2个脚本是先后执行的,所以不需要解压6号前的,只解压6号及以后的。....000014 cat 2016-04-06-00-00-binlog.txt 将 mybak-section-2016-04-06-00-00 文件夹中的 mysql-bin.000014 恢复,因为操作有问题的...mysql -uroot -p'123456' 检查表的条目数是否是3000条,因为在写入3000条后,mysqldmp全备刷新了一下binlog,这个最新的是14,而还没有写入任何东西时便执行增量备份了...123456' -e "show binlog events in 'mysql-bin.000015'\G" | grep -n "drop database " 找出728前后几行的内容,可以看到出现问题

1.3K20

mysqldump备份容灾脚本(中)

再将备份中最新的binlog日志写入。 #恢复:先进行全量恢复,再根据全量备份附带的time-binlog.txt中的记录逐个恢复。当前最新的Binlog日志要去掉有问题的语句,例如drop等。...#提示:最多每分钟执行一次,否则会覆盖同分钟内的文件,可以修改脚本来改善 # 出现问题会退出,可以到指定的日志目录查看日志输出 # 同年的tar包超过指定天数的会删除掉 #[变量]...begin_time=`date +%F-%H-%M-%S` my_sql="/usr/local/mysql/bin/mysql" bak_sql="/usr/local/mysql/bin/mysqldump...mybak-section-${bak_time}/${i} ]];then /usr/bin/echo "time:$(date +%F-%H-%M-%S) error:binlog文件${i} 备份失败..." >> ${log_dir} /usr/bin/echo >> ${log_dir} 二.备份策略 周日晚3点进行全量备份 周一到周六每天进行增量备份, 全量保存4周 增量保存近一周的每天数据 crontab

1.1K00
领券