警惕数据库假期综合症

很多客户和企业经常选择在节假日进行数据库维护,而工程师也经常很容易在假期前后产生“假期松懈症”,所以通常假期附近总是企业运维事故多发期。墨菲定律无处不在,不要以为哪些小概率事件不会发生,它们只是在积蓄力量。

在中秋节前,我们一共接手了3则数据恢复案例,我和大家分享一下案例概要,与大家共为警示。

  1. 磁盘故障导致数据库损毁 用户的磁盘组一共8块硬盘,做的RAID5,由于是制造企业,对于IT的了解和认识有限,可以一直侥幸的认为系统是足够安全的,每日进行逻辑导出备份,但是备份同样存储在一个存储设备上。忽然之间,整个RAID组中同时损坏了两块硬盘。一切数据荡然无存。 对于这种情况,只能从幸存的6块盘上进行数据扫描,抽取完好的数据,尽量以最大限度的恢复其中完好的数据内容,当然如果另外两块硬盘有任何一块还可以离线读取,那么事情就会变得简单。 无数事实给我们的警告是:备份重于一切。注意还需要是:分离存储的备份重于一切。
  2. 故障恢复时发现文件离线 客户通过备份去恢复和重构一个系统,恢复时发现有一个文件处于离线状态,无法Online,客户尝试了很多方式和方法,最后的结果是仍然被多个ORA-600错误所困扰,无法回复一个正常的数据库。 这也是备份时缺乏验证和检验导致的,这类问题给我们的警示是:确认备份的有效性和备份同样重要。
  3. 断电引起数据一致性问题 今天遇到的另外一个用户,由于断电导致了数据库无法启动,这个数据库是没有备份的,只能通过隐含参数牺牲一致性,最后启动数据库。这个数据库系统数据量不大,但是在线的应用相当重要。 这个问题给我们的警示是:再小的系统遇到灾难时也和大系统恢复同样复杂。
  4. ITPUB技术论坛全站闪回 中秋节最大的一个事故莫过于ITPUB技术论坛 - 国内最大的数据库论坛,因为意外导致数据故障,目前全站数据暂时恢复到6月10号的数据内容,其他数据正在紧张的恢复之中。回忆起几年前,CSDN用户账户和明文密码泄露,这两者可以共为警醒。

以开发为主的论坛泄露用户明文密码,以数据为主的论坛丢失论坛数据。 这不禁再次让我们警醒:如何强调备份的重要性都不为过。

多年以前我曾经在书中写到:唯一能够让DBA在深夜惊醒的事情就是 - 没有备份。想一想如果今晚你的硬盘损坏,数据丢失,你将如何应对明天?

国庆节马上来临,愿大家的系统平安稳健。

原文发布于微信公众号 - 数据和云(OraNews)

原文发表时间:2015-09-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据和云

关于炉石传说的Oracle数据库故障不要以为你也可以幸免

最近暴雪公司和网易的一则声明刷爆了朋友圈,大意就是由于『供电意外中断的原因而产生故障,导致数据损坏』,这样一则公告引发了一系列的猜想,我们在围观时仿佛人人都是诸...

3537
来自专栏PHP技术

PHP程序员的技术成长规划

原文出处: 黑夜路人 按照了解的很多PHP/LNMP程序员的发展轨迹,结合个人经验体会,抽象出很多程序员对未来的迷漫,特别对技术学习的盲目和慌乱,简单梳理了这...

2875
来自专栏杨建荣的学习笔记

MySQL高可用方案的一些思考

我在去年QCon和Gdevops广州站的时候,讲到MySQL和Oracle的现状和发展时,简单总结了下一个常见的使用误区:把MySQL当Oracle用,...

1282
来自专栏微信公众号:Java团长

Java软件工程师就业思维图(2016年版)

想要成为合格的Java程序员或工程师到底需要具备哪些专业技能,在面试之前到底需要准备哪些东西呢?面试时面试官想了解你的什么专业技能,以下都是一个合格JAVA软件...

492

敏捷微服务在几分钟内

通过将您的敏捷计划与低代码微服务相结合,在短短几分钟内构建出您的敏捷计划以部署微服务。以下是一个出色的例子。

1193
来自专栏数据的力量

【答疑解惑】做大数据过程中遇到的13个问题

1454
来自专栏数据和云

月之初 数之慎

上周日,也就是9月1日,收到了一则用户的故障请求,系统中一个存储过程出错,紧急安排工程师响应处理,解决了故障。 我们经历过很多类似的故障,在月初、月尾、年初、年...

3169
来自专栏PHP技术

PHP程序员的技术成长规划

第一阶段:基础阶段(基础PHP程序员) 重点:把LNMP搞熟练(核心是安装配置基本操作) 目标:能够完成基本的LNMP系统安装,简单配置维护;能够做基本的简单系...

4699
来自专栏刘君君

Rest Notes-设计Web架构:问题与领悟

1093
来自专栏安智客

CMSIS

为了解决不同芯片厂商生产的Cortex 微控制器软件的兼容性问题, Arm 与芯片厂商建立了CMSIS 标准(Cortex Microcontroller So...

982

扫描关注云+社区