昨天测试了一下mysqlpump,今天来把剩下的补充完成,算是一个小的系列。 mysqlpump 在MySQL 5.7中做逻辑备份恢复有了一个新的工具mysqlpump,如果你掌握了mysqldump,那么使用mysqlpump就是分分钟的事情,因为很多参数都是很相似的,可以理解它是mysqldump的加强版,一个亮点就是有了并行的选项,使得数据备份的性能更加强大。 有一点值得说明的是,为了保证数据一致性,我们一般备份都会使用--single-transaction的选项,在5.7.11以前,my
在MySQL 5.7中做逻辑备份恢复有了一个新的工具mysqlpump,如果你掌握了mysqldump,那么使用mysqlpump就是分分钟的事情,因为很多参数都是很相似的,可以理解它是mysqldump的加强版,一个亮点就是有了并行的选项,使得数据备份的性能更加强大。 有一点值得说明的是,为了保证数据一致性,我们一般备份都会使用--single-transaction的选项,在5.7.11以前,mysqlpump和并行参数是有冲突的,在这个版本之后做了修复。 但是mysqlpump到底怎么样
备份恢复是 DBA 绕不开的核心话题,市面上也有很多开源的备份恢复方案,不过官方的 mysqldump 一直是处于鄙视链底端的那个。终于,官方在 MySQL5.7 之后新添加了一个备份工具:mysqlpump。
关于新的MySQL Shell Dump&Load实用程序的第二部分旨在演示性能,同时还将其与其他各种逻辑转储和加载工具进行比较:mysqldump,mysqlpump&mydumper。
从MySQL 8.0开始,采用独立表空间模式的每个InnoDB表只有一个 .ibd 表空间文件,而不再有 .frm 文件了。为了实现DDL的原子性,InnoDB直接把元数据存储在表空间文件中,需要的话,可是使用 ibd2sdi 工具从中读取,例如:
如今,MySQL已经是非常普及的数据库,开源社区的支持也是非常活跃。谈到官方运维工具,大家都会用到mysqldump,其实除了这个之外还有一些实用的工具,今天帮大家梳理一下。
MySQL Shell 8.0.21带有两个实用程序,可用于对实例(util.dumpInstance())或选定的模式(util.dumpSchemas())执行逻辑转储。这些工具相对于mysqldump实用程序提供了重大的性能改进,我们的一些基准测试显示吞吐量高达3GB / s!让我们看看如何实现这一目标。
MySQL 8.0 将数据库元信息都存放于InnoDB存储引擎表中,在之前版本的MySQL中,数据字典不仅仅存放于特定的存储引擎表中,还存放于元数据文件、非事务性存储引擎表中。本文将会介绍MySQL 8.0对数据字典的改进,以及改进带来的好处、影响以及局限性。
资深数据库专家,专研 MySQL 十余年。擅长 MySQL、PostgreSQL、MongoDB 等开源数据库相关的备份恢复、SQL 调优、监控运维、高可用架构设计等。目前任职于爱可生,为各大运营商及银行金融企业提供 MySQL 相关技术支持、MySQL 相关课程培训等工作。
最近遇到实例迁移的问题,数据迁完后还需要将数据库用户及权限迁移过去。进行逻辑备份时,我一般习惯将MySQL系统库排除掉,这样备份里面就不包含数据库用户相关信息了。这时候如果想迁移用户相关信息 可以采用以下三种方案,类似的 我们也可以采用以下三种方案来备份数据库账号相关信息。(本文方案针对MySQL5.7版本,其他版本稍有不同)
mysql 8.0.34和8.1发布了,好像有很大变化的样子,但是又没有,所以研究了一下Release Notes ,其中有一条非常有意思,
经常会有一些朋友咨询我一些数据库的问题,我注意到一个很有意思的现象,凡是数据导入的问题,基本上都是Oracle类的,MySQL类的问题脑子里想了下竟然一次都没有。
Percona在9月12日,终于宣布第一个测试用的XtraBackup for MySQL 8.0版本给大家试用:
数据备份不仅仅是开发、运维需要了解、熟练和掌握,一些架构设计或系统设计也需要熟练掌握,以备不时之需。最多的应用应该是编制文档上面的技术方案或者安全方案中涉及。
原文地址: https://dev.mysql.com/doc/relnotes/mysql/5.7/en/news-5-7-40.html
在做一些技术规划的时候,会发现有一些事情需要前置,比如说MySQL里面的工具,如果等到实际碰到了各色的问题再来统一,就比较难了。有沟通成本,人力成本,技术沉淀和持续交付等等的成本,这些最好提前和团队有一个基本的沟通,达成一个共识。内部统一了以后,和开发同学规范统一就有了一个基线。 大体来说,我考虑了以下几个方面,内容适当做了删减。 运维管理工具 数据备份恢复工具 数据库优化工具 客户端工具 性能测试工具 数据库版本管理工具 数据库审计工具 我来逐个说一下,有更好的工具也欢迎各位拍砖。 运维管
墨墨导读:备份恢复是DBA最后一道防线。最近项目碰到备份恢复的相关的事项,结合自己的经验,巩固一下知识。
前阵子,我们的"全方位认识performance_schema"系列为大家完整的介绍了performance_schema系统库。在我们的发布计划中为什么要把performance_schema放在最前面呢?其中一个原因就是因为它是sys 系统库的数据来源,今天开始,我们将为大家逐步推出“全方位认识 sys 系统库”系列文章,下面我们将为大家带来系列第一篇《初相识|全方位认识 sys 系统库》,请跟随我们一起开始 sys 系统库的系统学习之旅吧~
MySQL Shell转储和加载实用程序是MySQL Shell 8.0.21提供的新工具,其主要目标是尽量减少创建和恢复大型数据集的逻辑转储所需的时间。
数据是很重要的,没有备份,删库就只能跑路了,当然这只是玩笑话了。但当数据损坏或者误操作删除数据时,备份就显得尤为重要了,备份可以恢复误删除的数据,备份可以作为我们最后的“救命稻草”。MySQL 也是可以按照服务运行状态分为冷备和热备(即停机和非停机),热备份又可以分为逻辑备份和裸设备备份。按照备份后的内容量又可以分为全量备份和增量备份。
MySQL 的数据导出导入其实从MYSQL 5.5 到 5.7 大部分采用的方法有如下几种
作为一名合格的MySQL DBA,备份是重中之重。为了保证备份集的安全可靠,除了集中存储以外还有其他更好的方案吗? 当然是有的,可以存储在OSS或者分布式存储上。那么问题来了,如何能够实现自动备份,不需要人工干预即可上传到OSS上,节约大量的时间去悠哉悠哉地喝喝茶、看看报呢?且听下文
今天是公司夏游结束后的第一天,去了趟杭州回来,总体感觉很好,尝试了很多有意思的事情,觉得生活又重新变得有意思起来,总之,一切很好。
MySQL 8.0 brings a lot of new features. These features make MySQL database much more secure (like new authentication, secure password policies and management, …) and fault tolerant (new data dictionary), more powerful (new redo log design, less contention, extreme scale out of InnoDB, …), better operation management (SQL Roles, instant add columns), many (but really many!) replication enhancements and native group replication… and finally many cool stuff like the new Document Store, the new MySQL Shell and MySQL InnoDB Cluster that you should already know if you follow this blog (see these TOP 10 for features for developers and this TOP 10 for DBAs & OPS).
2023年7月18日晚,MySQL官方网站正式发布了MySQL8.1.0与8.0.34版本.
MySQL与其它的数据库一样,需要一个储存元数据的地方。在MySQL8之前,它们以各种文件的形式保存在不同的地方,例如 .FRM , .TRG ,.TRN等等。随着时间的推移,这些文件逐渐成为了各种环境中的瓶颈。MySQL8推出了支持事务的数据字典。
开头还是介绍一下群,如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, Oceanbase, Sql Server等有问题,有需求都可以加群。加群请联系 liuaustin3 ,(共1730人左右 1 + 2 + 3 + 4 +5) 4群(260+),另欢迎 OpenGauss GaussDB的技术人员加入。
复制:在这个版本中,sync_relay_log_info服务器系统变量已被弃用,并且获取或设置此变量或其等效的启动选项--sync-relay-log-info现在会引发警告。在将来的MySQL版本中,预计会删除此变量;在此之前,应用程序应该进行重写,不要依赖它。
添加了--master-data FLUSH /!40101 LOCAL / TABLES FLUSH TABLES WITH READ LOCK SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ START TRANSACTION /!40100 WITH CONSISTENT SNAPSHOT / SHOW MASTER STATUS UNLOCK TABLES
MySQL 8.0开始采用快速迭代开发模式,基本上是每隔3个月就发布一个新的小版本。去年1月18日(2022.1.18)发布MySQL 8.0.28,今年1月17日发布MySQL 8.0.32,再看看其他几个版本的时间,还真是贼守时啊。
千呼万唤始出来的新版本MySQL 8.1及MySQL 8.0.34于2023年7月18日正式发行。从此,MySQL将开启创新版和稳定版同时发行的阶段。MySQL 8.1是MySQL的首个创新版,该版本主要增加了如下功能 :
作为MySQL DBA,在日常运维过程中,经常需要对某张表进行备份恢复。单个表常用的数据备份方法有下面几种:
爱可生 DBA 团队成员,负责公司 DMP 产品的运维和客户 MySQL 问题的处理。擅长数据库故障处理。对数据库技术和 python 有着浓厚的兴趣。
MySQL为多线程架构后台有多个线程处理内部操作例如:刷脏、Undo purge、checkpoint等,整体上MySQL分为两层Server/存储引擎。存储引擎层可支持多种,Server层负责接收请求对于每个请求创建新的线程,同时SQL解析、查询优化、复制都是在Server处理。
sys的初衷 MySQL 5.7的sys自从推出以来,整体的反响似乎没有预期的那么高,而我看到这个sys库的时候,第一感觉是越发和Oracle像了,不是里面的内容像,而是很多设计的方式越来相似。所以按照这种方式,我感觉离AWR这样的工具推出也不远了。 对于实时全面的抓取性能信息,MySQL依旧还在不断进步的路上。因为开源,所以有很多非常不错的工具,产品推出。myawr算是其中的一个,现在看来当初的设计方式和现在sys库很有相似之处,感兴趣的可以自行搜索查看。 所以对于sys库的学习,
今晚有点事情耽搁了,昨天下午测试了几个MySQL8.0的新特性,写在这里,希望对大家有所帮助。
作为世界上最流行的开源数据库,MySQL各方面的功能都在不断完善,比如密码管理这一块,从一开始最简单的用户名密码、到5.7版本的validate_password插件、再到8.0版本丰富多彩的密码策略,已经完全可以媲美DB2、Oracle、SQL Server等大型商业数据库;今天就给大家带来 MySQL 8.0新特性 — 密码管理。
备份是数据安全的最后一道防线,对于任何数据丢失的场景,备份虽然不一定能恢复百分之百的数据(取决于备份周期),但至少能将损失降到最低。衡量备份恢复有两个重要的指标:恢复点目标(RPO)和恢复时间目标(RTO),前者重点关注能恢复到什么程度,而后者则重点关注恢复需要多长时间。这篇文章主要讨论MySQL的备份方案,重点介绍几种备份方式的原理,包括文件系统快照(LVM),逻辑备份工具Mysqldump,Mydumper,以及物理备份工具Xtrabackup,同时会详细讲解几种方案的优缺点,以及可能遇到的问题。
定期备份的重要性在数据库生命周期中已得到体现。有不同的风格:二进制的(Percona XtraBackup),二进制日志备份,磁盘快照(lvm,ebs等)和经典的:逻辑备份,可以使用mysqldump,mydumper或mysqlpump等工具进行的备份。它们每个都有特定的用途,MTTR,保留策略等。
数据库备份是DBA的典型任务,可以将数据从一个系统传输到另外一个系统,也可以基于生产系统的特定状态创建一个开发服务器。除此之外,备份还用于数据库恢复,可以将一个发生故障的系统恢复,也可以将系统恢复到发送用户错误之前的特定状态。利用备份的系统可以将其与生产系统分离,在不影响生产系统的性能的前提下,对数据进行审计和分析。
2018年某个周末,接到连续数据库的告警,看到too many connection的报错信息,基本上可以把问题定位在...
关于MySQL逻辑备份恢复,相信大家都不陌生,平时使用频率也是比较高;这里就简单介绍下:
【迪B课堂】为腾讯云数据库高级产品经理迪B哥开设的面向数据库开发者、数据库运维人员、云端运维人员的系列培训课程,旨在帮助大家从入门到精通学习和使用数据库。《我说》为迪B课堂的答疑系列,3分钟帮您解决数据库日常运维过程中的小难题。 本期为迪B课堂特刊【MySQL经典案例解析系列】第一期。搜索关注“腾讯云数据库”官方微信,回复“迪B课堂”,即可查看历史十期迪B课堂教程~ 一、故障情况 迪B哥在某个惬意的周末接到连续数据库的告警,告警信息如下: 二、艰难的探索过程 1、总体思路 看到to
对单个数据库设置只读状态,可以通过 ALTER DATABASE 语句中的 READ ONLY 选项来实现,该选项在 MySQL 8.0.22 版本[1] 中引入,用于控制是否允许对数据库及其对象(包括其定义、数据和元数据)进行写入操作。
最近撰写 MySQL 的文章出现错误,实在抱歉 1 是犯了常识性的错误,主要知识未更新完全,对于 MySQL 的老观念还存在,新的一些特性并未梳理 2 未做详实的实验并验证某些论断 以此作为一个教训,后续对于任何数据库的新的概念要及时更新,并尽力在有精力的情况下,做相关的严谨的测试。最近会分几期梳理 MySQL 8.01-8.038在数据库版本更新中的一些核心更新的信息汇总,方便大家进行查询。信息从官方文档 中获得 https://dev.mysql.com/doc/relnotes/mysql/8.0/en/news-8-0-0.html
目前MySQL 8.0最新版本为8.0.23版本,针对8.0的新特性,从春节前开始做了一些相关学习和测试,后续会不阶段的分享一些8.0的新特性,供大家一起参考和学习;
领取专属 10元无门槛券
手把手带您无忧上云