首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

MySQL 案例:“丢失数据”的谜题

前言 最近偶尔会收到用户反馈数据不见了,数据丢失了的问题。...登录到数据库之后,发现业务库是存在的,结合用户的反馈:“业务库不见了”,初步判断是业务账号没有权限,用show grants查看之后,发现业务账号的权限只有 USAGE,类似如下效果: mysql> show...> 拓展一下 对于“丢失数据”这个现象来看,如果是“丢失”了整个库级别的数据,但是数据库本身又一切正常的话,其实有蛮大的可能性和这个案例是一样的问题:权限错误。...另外一类属于“丢失部分数据”,比如某张表不见了,或者是表的某些数据不见了等等。...严格的来说,这一类问题也有可能是权限错误引起的,因为 MySQL 的权限控制确实可以做到表和列级别,只是现实中一般不会用到。

3.9K142

有趣的MySQL(三):更新“丢失”问题

taskService.updateFinish(subTask.getTaskId); } }   乍一看好像逻辑和代码没有什么问题,但是在实际运行过程中有时会出现查询语句查出来的结果集是更新前的结果集,就好像更新没有生效或者“丢失...谨慎推理   在本地复现失败之后,结合最初的问题现场排查,问题大致出在系统内ORM框架(这里即Mybatis)的SQL执行流程或是MySQL服务端的SQL执行流程上。...分析MyBatis执行过程无果,只能将目光投向MySQL服务器的内部执行过程。...MySQL的SQL执行过程   在MySQL服务内部,一条从客户端发起的SQL请求会经过连接器、查询缓存、分析器、优化器以及最终进行实际执行的执行器。...那么就会有一定可能出现更新的事务还没有提交完成,查询的事务开始执行了,此时根据当前MySQL服务的事务隔离级别读已提交来看,这里的查询只能查询更新事务提交之前的结果集。

1.8K30

MySQL是如何保证数据不丢失的?

但是,MySQL作为一个存储数据的产品,怎么确保数据的持久性和不丢失才是最重要的,感兴趣的可以跟随本文一探究竟。...这个时候就涉及到一个问题:如果MySQL服务宕机了,这些在内存中更新的数据会不会丢失?答案是一定会存在丢失现象的,只不过MySQL做到了尽量不让数据丢失。接下来来看一下MySQL是怎么做的。...数据持久化方案可以是可以,但是如果每次的DML操作都要将一个16KB的数据页刷到磁盘,其效率是极低的,估计也就没有人用MySQL了。但是如果不刷新到磁盘,就会发生MySQL服务宕机数据会丢失现象。...总结InnoDB通过以上的操作可以尽可能的保证MySQL丢失数据,最后再总结一下MySQL是如何保障数据不丢失的:为了避免频繁与磁盘交互,每次DML操作先在「Buffer Pool」中的缓存页中执行,...如果在「脏页」刷新到磁盘之前,MySQL宕机了,那么会在下次启动时通过 redo log 将脏页构建出来,做到数据恢复。通过以上步骤,MySQL做到了尽可能的不丢失数据。

63452

面试系列-mysql如何确保数据不丢失

预备知识 mysql内部是使⽤b+树的结构将数据存储在磁盘中,b+树中节点对应mysql中的页,mysql和磁盘交互的最⼩单位为页,页默认情况下为16kb,表中的数据记录存储在b+树的叶⼦节点中,当我们需要修改...mysql确保数据不丢失原理分析 我们来思考⼀下,下⾯这条语句的执⾏过程是什么样的: start transaction; update t_user set name = '路⼈甲Java' where...关于上⾯问题,我们看⼀下mysql是如何优化的,mysql内部引⼊了⼀个redo log,这是⼀个⽂件,对于上⾯2条更新操作,mysql实现如下: mysql内部有个redo log buffer,是内存中...完毕之后,数据是这样的: 内存中p1、p2页被修改了,还未同步到磁盘中,此时内存中数据页和磁盘中数据页是不⼀致的,此时内存中数据页我们称为脏页 对p1、p2页修改被持久到磁盘中的redolog⽂件中了,不会丢失...步读取到的trx_id对应的内容没有end,表⽰这个事务执⾏到⼀半失败了(可能是第9步骤写到⼀半宕机了),此时这个记录是⽆效的,可以直接跳过不⽤处理上⾯的过程做到了:数据最后⼀定会被持久化到磁盘中的页中,不会丢失

1.1K10

MySQL实战问题02 mysql是如何保证数据不丢失

fa只要保证redolog 和 binlog 持久化到磁盘, 就能保证mysql异常重启后, 数据可以恢复. binlog与redolog的写入机制 binlog的写入机制 binlog 的写入逻辑比较简单...的写入机制 事务在执行过程中, 生成redo log 时, 先要写到redo log buffer中 redo log 的三种状态 image.png 存在 redo log buffer 中,物理上是在 MySQL...两阶段提交细化 写binlog这个步骤实际上是分成两步的 先把binlog从 binlog cache 中写到磁盘上binlog文件; 调用fsync持久化 mysql为了让组提交的效果更好, 实际步骤如下...一些问题: 如果你的 MySQL 现在出现了性能瓶颈,而且瓶颈在 IO 上,可以通过哪些方法来提升性能呢?...这个方法是基于“额外的故意等待”来实现的,因此可能会增加语句的响应时间,但没有丢失数据的风险 将 sync_binlog 设置为大于 1 的值(比较常见是 100~1000)。

2.1K20

MySQL案例:一个数据丢失惨案

前言 最近,有一位朋友突然微信联系我,说MySQL出现了数据丢失的情况;毫无疑问,对于一个DBA而言,这无疑是最令人紧张的一件事情,没有之一;听到这个消息后,我也就立刻投入到问题排查中。...--经确认,业务侧是访问某些页面报错 (6)排查到这里,一方面是怀疑应用程序是否有异常,另一方面是怀疑是否出现部分记录丢失;开发侧和运维侧同时在排查,这边给运维侧排查的思路是 业务表是否有主键?...MySQL难道不会不会做数据校验吗?让我们接着往下看。...”;那么,MySQL是没有进行数据校验吗?...其实MySQL都有对数据进行校验的,只是在场景2中,因为sql_mode配置有问题,没有设置STRICT_TRANS_TABLES,导致MySQL没有阻止该操作执行,从而导致“数据丢失”惨案。

2K50

突然掉电,为啥MySQL也不会丢失数据?(收藏)

MySQL采用buffer机制,避免每次读写进行磁盘IO,提升效率: 《缓冲池(buffer pool)》 《写缓冲(change buffer)》 《日志缓冲(log buffer)》 MySQL的buffer...一页的大小是16K,文件系统一页的大小是4K,也就是说,MySQL将buffer中一页数据刷入磁盘,要写4个文件系统里的页。...如上图所示,MySQL里page=1的页,物理上对应磁盘上的1+2+3+4四个格。 那么,问题来了,这个操作并非原子,如果执行到一半断电,会不会出现问题呢? 会,这就是所谓的“页数据损坏”。...如上图所示,MySQL内page=1的页准备刷入磁盘,才刷了3个文件系统里的页,掉电了,则会出现:重启后,page=1的页,物理上对应磁盘上的1+2+3+4四个格,数据完整性被破坏。...自己实验了几十次,仍没能复现“页数据损坏”,在网上找了一个“页数据损坏”时,MySQL重启过程利用DWB修复页数据的图。

1.6K20

关于MYSQL数据库管理员密码丢失找回

一、MYSQL数据库密码找回: 密码错误: 关于MYSQL数据库管理员密码丢失找回 1.vim /etc/my.cnf 进入配置文件,写入 skip-grant-tables 关于MYSQL数据库管理员密码丢失找回...2.重启:systemctl restart mysqld 再进mysql都不要密码了 关于MYSQL数据库管理员密码丢失找回 3.设置密码:进入到mysql数据库中设置密码 关于MYSQL数据库管理员密码丢失找回...4.找到配置文件 ,vim /etc/my.cnf 把刚才的文件删掉或者注释掉 关于MYSQL数据库管理员密码丢失找回 5.重启mysql 然后再进mysql都需要密码了 6.验证,需要密码 关于MYSQL...' password 'QianFeng@123' 关于MYSQL数据库管理员密码丢失找回 2.登录mysql: 关于MYSQL数据库管理员密码丢失找回 登录成功 3.更加安全的修改密码加密方式: 1....3.更新权限:flush prinleges 关于MYSQL数据库管理员密码丢失找回 3.登录到mysql数据库: 关于MYSQL数据库管理员密码丢失找回 4.登录成功

2.1K42

MySQL 使用 order by limit 分页排序会导致数据丢失和重复!

问题 最近在项目中遇到一个很神奇的问题,MySQL 使用 order by 进行排序并进行分页的时候,会出现部分数据丢失和重复。具体看下面这三张图 ? 图一 ? 图二 ?...很明显的发现,当进行数据分页时,部分数据出现了丢失和重复。 分析原因 在 MySQL 关系型数据库中,往往会存在多种排序算法。...根据上面的总结,当 order by limit 分页出现数据丢失和重复。...但是,不是所有的 MySQL 版本都是这样。从 MySQL 5.6 版本开始,优化器在使用 order by limit 时,做了上面的优化,导致排序字段没有使用索引时,使用堆排序。...在图二、图三中,增加主键 category_id 字段排序后,就不会出现数据丢失和重复了。 ? ?

5.2K30

MySQL InnoDB数据恢复,丢失ibdata1时怎么安全恢复

1 检查数据库目录配置是否正确 数据库目录配置错误时,MySQL是不能正常启动的,报错可能与此无关。 比如说,找不到 user_table这样的报错,都可能是目录配置错误。...3 检查ibdata1的最后更新日期,以及是否可用 MySQL在运行以及关闭时会更新ibdata1文件,我们通过ibdata1的最后更新时间可以判断这个文件大概是什么时候的。...4 丢失ibdata1或 ibdata1文件损坏,与数据库数据文件不匹配时的数据恢复。...这里需要跳过MySQL输密码的步骤,所以需要在mysql设置里面 为root用户设置好密码,这样可以直接登录。.../traper/item_unit.ibd /mnt/mysql/traper/item_unit.ibd chown mysql /mnt/mysql/traper/item_unit.ibd mysql

3.4K30
领券