首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    MySQL 案例:“丢失数据”的谜题

    前言 最近偶尔会收到用户反馈数据不见了,数据丢失了的问题。...登录到数据库之后,发现业务库是存在的,结合用户的反馈:“业务库不见了”,初步判断是业务账号没有权限,用show grants查看之后,发现业务账号的权限只有 USAGE,类似如下效果: mysql> show...> 拓展一下 对于“丢失数据”这个现象来看,如果是“丢失”了整个库级别的数据,但是数据库本身又一切正常的话,其实有蛮大的可能性和这个案例是一样的问题:权限错误。...另外一类属于“丢失部分数据”,比如某张表不见了,或者是表的某些数据不见了等等。...严格的来说,这一类问题也有可能是权限错误引起的,因为 MySQL 的权限控制确实可以做到表和列级别,只是现实中一般不会用到。

    4K142

    有趣的MySQL(三):更新“丢失”问题

    taskService.updateFinish(subTask.getTaskId); } }   乍一看好像逻辑和代码没有什么问题,但是在实际运行过程中有时会出现查询语句查出来的结果集是更新前的结果集,就好像更新没有生效或者“丢失...谨慎推理   在本地复现失败之后,结合最初的问题现场排查,问题大致出在系统内ORM框架(这里即Mybatis)的SQL执行流程或是MySQL服务端的SQL执行流程上。...分析MyBatis执行过程无果,只能将目光投向MySQL服务器的内部执行过程。...MySQL的SQL执行过程   在MySQL服务内部,一条从客户端发起的SQL请求会经过连接器、查询缓存、分析器、优化器以及最终进行实际执行的执行器。...那么就会有一定可能出现更新的事务还没有提交完成,查询的事务开始执行了,此时根据当前MySQL服务的事务隔离级别读已提交来看,这里的查询只能查询更新事务提交之前的结果集。

    1.9K30

    MySQL是如何保证数据不丢失的?

    但是,MySQL作为一个存储数据的产品,怎么确保数据的持久性和不丢失才是最重要的,感兴趣的可以跟随本文一探究竟。...这个时候就涉及到一个问题:如果MySQL服务宕机了,这些在内存中更新的数据会不会丢失?答案是一定会存在丢失现象的,只不过MySQL做到了尽量不让数据丢失。接下来来看一下MySQL是怎么做的。...数据持久化方案可以是可以,但是如果每次的DML操作都要将一个16KB的数据页刷到磁盘,其效率是极低的,估计也就没有人用MySQL了。但是如果不刷新到磁盘,就会发生MySQL服务宕机数据会丢失现象。...总结InnoDB通过以上的操作可以尽可能的保证MySQL丢失数据,最后再总结一下MySQL是如何保障数据不丢失的:为了避免频繁与磁盘交互,每次DML操作先在「Buffer Pool」中的缓存页中执行,...如果在「脏页」刷新到磁盘之前,MySQL宕机了,那么会在下次启动时通过 redo log 将脏页构建出来,做到数据恢复。通过以上步骤,MySQL做到了尽可能的不丢失数据。

    95352

    面试系列-mysql如何确保数据不丢失

    预备知识 mysql内部是使⽤b+树的结构将数据存储在磁盘中,b+树中节点对应mysql中的页,mysql和磁盘交互的最⼩单位为页,页默认情况下为16kb,表中的数据记录存储在b+树的叶⼦节点中,当我们需要修改...mysql确保数据不丢失原理分析 我们来思考⼀下,下⾯这条语句的执⾏过程是什么样的: start transaction; update t_user set name = '路⼈甲Java' where...关于上⾯问题,我们看⼀下mysql是如何优化的,mysql内部引⼊了⼀个redo log,这是⼀个⽂件,对于上⾯2条更新操作,mysql实现如下: mysql内部有个redo log buffer,是内存中...完毕之后,数据是这样的: 内存中p1、p2页被修改了,还未同步到磁盘中,此时内存中数据页和磁盘中数据页是不⼀致的,此时内存中数据页我们称为脏页 对p1、p2页修改被持久到磁盘中的redolog⽂件中了,不会丢失...步读取到的trx_id对应的内容没有end,表⽰这个事务执⾏到⼀半失败了(可能是第9步骤写到⼀半宕机了),此时这个记录是⽆效的,可以直接跳过不⽤处理上⾯的过程做到了:数据最后⼀定会被持久化到磁盘中的页中,不会丢失

    1.1K10

    MySQL是如何保证数据不丢失的?

    这个时候就涉及到一个问题:如果MySQL服务宕机了,这些在内存中更新的数据会不会丢失? 答案是一定会存在丢失现象的,只不过MySQL做到了尽量不让数据丢失。接下来来看一下MySQL是怎么做的。...数据持久化方案 可以是可以,但是如果每次的DML操作都要将一个16KB的数据页刷到磁盘,其效率是极低的,估计也就没有人用MySQL了。但是如果不刷新到磁盘,就会发生MySQL服务宕机数据会丢失现象。...如果在MySQL服务宕机的时候,「Log Buffer」中的日志没有刷新到磁盘,这部分数据也是会丢失的,在重启后也不会恢复。...总结 InnoDB通过以上的操作可以尽可能的保证MySQL丢失数据,最后再总结一下MySQL是如何保障数据不丢失的: 为了避免频繁与磁盘交互,每次DML操作先在「Buffer Pool」中的缓存页中执行...如果在「脏页」刷新到磁盘之前,MySQL宕机了,那么会在下次启动时通过 redo log 将脏页构建出来,做到数据恢复。 通过以上步骤,MySQL做到了尽可能的不丢失数据。

    9310

    MySQL实战问题02 mysql是如何保证数据不丢失

    fa只要保证redolog 和 binlog 持久化到磁盘, 就能保证mysql异常重启后, 数据可以恢复. binlog与redolog的写入机制 binlog的写入机制 binlog 的写入逻辑比较简单...的写入机制 事务在执行过程中, 生成redo log 时, 先要写到redo log buffer中 redo log 的三种状态 image.png 存在 redo log buffer 中,物理上是在 MySQL...两阶段提交细化 写binlog这个步骤实际上是分成两步的 先把binlog从 binlog cache 中写到磁盘上binlog文件; 调用fsync持久化 mysql为了让组提交的效果更好, 实际步骤如下...一些问题: 如果你的 MySQL 现在出现了性能瓶颈,而且瓶颈在 IO 上,可以通过哪些方法来提升性能呢?...这个方法是基于“额外的故意等待”来实现的,因此可能会增加语句的响应时间,但没有丢失数据的风险 将 sync_binlog 设置为大于 1 的值(比较常见是 100~1000)。

    2.1K20

    MySQL案例:一个数据丢失惨案

    前言 最近,有一位朋友突然微信联系我,说MySQL出现了数据丢失的情况;毫无疑问,对于一个DBA而言,这无疑是最令人紧张的一件事情,没有之一;听到这个消息后,我也就立刻投入到问题排查中。...--经确认,业务侧是访问某些页面报错 (6)排查到这里,一方面是怀疑应用程序是否有异常,另一方面是怀疑是否出现部分记录丢失;开发侧和运维侧同时在排查,这边给运维侧排查的思路是 业务表是否有主键?...MySQL难道不会不会做数据校验吗?让我们接着往下看。...”;那么,MySQL是没有进行数据校验吗?...其实MySQL都有对数据进行校验的,只是在场景2中,因为sql_mode配置有问题,没有设置STRICT_TRANS_TABLES,导致MySQL没有阻止该操作执行,从而导致“数据丢失”惨案。

    2K50

    故障分析 | MySQL 5.7 连续 Crash 引发 GTID 丢失

    SET,表示数据库中执行了那些 GTID,会实时更新,但是一旦重启就会丢失。...3GDB 调试复现 基于 MySQL 5.7.26 版本,通过 GDB 调试模拟复现了上述问题现象,主库连续崩溃恢复后会丢失最后 1 个 binlog 中的 GTID,引发备库 GTID 大于主库。...binlog 作持久化,那么就会丢失第一次崩溃前最后 1 个 binlog 中的 GTID ; #mysql5.7.26 crash启动流程 |main |mysqld_main |ha_recover...连入 MySQL,创建 test库,生成 1 个GTID。当前 binlog 为 mysql-bin.000001,mysql.gtid_executed 表为空,GTID 还未持久化。...4总结 在 MySQL 5.7 版本下,因为 GTID 持久化机制的原因,当 MySQL 处于崩溃恢复阶段时,如果再次遇到 Crash,就可能会丢失最后 1 个 binlog 中的 GTID。

    9310

    突然掉电,为啥MySQL也不会丢失数据?(收藏)

    MySQL采用buffer机制,避免每次读写进行磁盘IO,提升效率: 《缓冲池(buffer pool)》 《写缓冲(change buffer)》 《日志缓冲(log buffer)》 MySQL的buffer...一页的大小是16K,文件系统一页的大小是4K,也就是说,MySQL将buffer中一页数据刷入磁盘,要写4个文件系统里的页。...如上图所示,MySQL里page=1的页,物理上对应磁盘上的1+2+3+4四个格。 那么,问题来了,这个操作并非原子,如果执行到一半断电,会不会出现问题呢? 会,这就是所谓的“页数据损坏”。...如上图所示,MySQL内page=1的页准备刷入磁盘,才刷了3个文件系统里的页,掉电了,则会出现:重启后,page=1的页,物理上对应磁盘上的1+2+3+4四个格,数据完整性被破坏。...自己实验了几十次,仍没能复现“页数据损坏”,在网上找了一个“页数据损坏”时,MySQL重启过程利用DWB修复页数据的图。

    1.7K20

    MySQLMySQL安装

    MySQL安装 配置内置环境 输入 ps axj | grep mysql 查看系统当中是否有已经安装好的MySQL ---- 输入 ps ajx | grep mariadb 查看系统是否有 mariadb...mysqld 采用yum的方式,获取到MySQL安装包 ,一般都是.rpm ---- 输入 rpm -qa 获取所有的安装包 ---- 输入 rpm -qa | grep mysql 获取到mysql...查看系统中默认支持的yum源 发现其中并没有MySQL的yum源,若直接安装,可能安装不上 yum源 的安装 输入 rpm -ivh mysql-community-release-el7.rpm...源 来选择比较适配系统的mysql ---- 输入 yum install -y mysql-community-server 指令 yum会按照yum源的配置自动安装mysql 注意事项 安装期间可能会存在红色框的问题...-y mysql-community-server 指令 ,进行重新安装 最终出现 Complete 即 安装成功 检测是否安装成功 输入 ls /etc/my.cnf 指令 若 存在 /etc

    52641

    Mysql安装多台mysql

    高级篇 下载Mysql最新版8.0.26 在当前mysql安装目录下面新建一个my.ini配置文件,进行初始化配置 初始化数据库,并注册MySql服务 以管理员的身份打开cmd命令工具 在系统上安装两个...Mysql 来到bin目录下面,执行初始化的命令 继续在bin目录下面执行安装MySql的命令 环境变量设置 启动mysql服务 如果一台机器上要安装多台mysql,一定要指定mysql的配置文件的路径...#设置mysql安装目录 basedir=D:/Mysql_8.0.26/mysql-8.0.26-winx64/ # 设置mysql数据库的数据的存放目录 # mysql 8+ 版本不需要手动配置...-- 在系统上安装两个Mysql 因为我这里之前安装了一个mysql 5.5的版本,因此我再次安装8.0.26版本的时候,就会有需要注意的地方 具体步骤,参考下面的文章: 一个系统上安装两个(或多个)...xxx\my.ini" 我已经安装好了,只是给大家演示一下 ---- 环境变量设置 ---- 启动mysql服务 net start 服务名 如果一台机器上要安装多台mysql,一定要指定mysql

    5.2K20

    MySQL安装-windows安装

    windows下安装MySQL 在windows下面安装MySQL 本文以5.7.17为示例 MySQL下载  官网:https://dev.mysql.com/downloads/mysql/  本次安装的...1D8qVrr7oKgx5-FXwezRZJA 提取码: 1bnh 可视化工具下载链接: https://pan.baidu.com/s/19u6awzxQxHdA2RIFu1IKJA 提取码: pnet 安装...双击安装包 不要着急,需要在该界面等待几分钟 选中  再点击 选择最下方的    再点击 依次点击启动mysql服务 启动黑屏终端,输入链接mysql服务 可视化工具安装使用 双击应用程序 选择即可 点击左上角的 连接名...:输入mysql实例名;密码:输入mysql示例密码 左侧显示数据库,可以鼠标右键点击 通过以上步骤,说明MySQL服务安装成功,并且可以通过可视化工具查看

    8K10

    扫码

    添加站长 进交流群

    领取专属 10元无门槛券

    手把手带您无忧上云

    扫码加入开发者社群

    相关资讯

    热门标签

    活动推荐

      运营活动

      活动名称
      广告关闭
      领券