警惕数据库假期综合症

很多客户和企业经常选择在节假日进行数据库维护,而工程师也经常很容易在假期前后产生“假期松懈症”,所以通常假期附近总是企业运维事故多发期。墨菲定律无处不在,不要以为哪些小概率事件不会发生,它们只是在积蓄力量。

在中秋节前,我们一共接手了3则数据恢复案例,我和大家分享一下案例概要,与大家共为警示。

  1. 磁盘故障导致数据库损毁 用户的磁盘组一共8块硬盘,做的RAID5,由于是制造企业,对于IT的了解和认识有限,可以一直侥幸的认为系统是足够安全的,每日进行逻辑导出备份,但是备份同样存储在一个存储设备上。忽然之间,整个RAID组中同时损坏了两块硬盘。一切数据荡然无存。 对于这种情况,只能从幸存的6块盘上进行数据扫描,抽取完好的数据,尽量以最大限度的恢复其中完好的数据内容,当然如果另外两块硬盘有任何一块还可以离线读取,那么事情就会变得简单。 无数事实给我们的警告是:备份重于一切。注意还需要是:分离存储的备份重于一切。
  2. 故障恢复时发现文件离线 客户通过备份去恢复和重构一个系统,恢复时发现有一个文件处于离线状态,无法Online,客户尝试了很多方式和方法,最后的结果是仍然被多个ORA-600错误所困扰,无法回复一个正常的数据库。 这也是备份时缺乏验证和检验导致的,这类问题给我们的警示是:确认备份的有效性和备份同样重要。
  3. 断电引起数据一致性问题 今天遇到的另外一个用户,由于断电导致了数据库无法启动,这个数据库是没有备份的,只能通过隐含参数牺牲一致性,最后启动数据库。这个数据库系统数据量不大,但是在线的应用相当重要。 这个问题给我们的警示是:再小的系统遇到灾难时也和大系统恢复同样复杂。
  4. ITPUB技术论坛全站闪回 中秋节最大的一个事故莫过于ITPUB技术论坛 - 国内最大的数据库论坛,因为意外导致数据故障,目前全站数据暂时恢复到6月10号的数据内容,其他数据正在紧张的恢复之中。回忆起几年前,CSDN用户账户和明文密码泄露,这两者可以共为警醒。

以开发为主的论坛泄露用户明文密码,以数据为主的论坛丢失论坛数据。 这不禁再次让我们警醒:如何强调备份的重要性都不为过。

多年以前我曾经在书中写到:唯一能够让DBA在深夜惊醒的事情就是 - 没有备份。想一想如果今晚你的硬盘损坏,数据丢失,你将如何应对明天?

国庆节马上来临,愿大家的系统平安稳健。

原文发布于微信公众号 - 数据和云(OraNews)

原文发表时间:2015-09-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏吉浦迅科技

【入门篇】让Jetson TX2火力全开的秘密原来在这里

Jetson Tegra系统的应用涵盖越来越广,相应用户对性能和功耗的要求也呈现多样化。为此NVIDIA提供一种新的命令行工具,可以方便地让用户配置CPU状...

8529
来自专栏JAVA高级架构

盘点电商大战背后的技术力量支撑

『目的』满足贯穿从商品展示、搜索、购买、支付等整个流程,电商对于精细化、精准化促销运营的需求,使多渠道(终端)、多区域化营销成为简单易行的配置操作,提升运营能力...

1133
来自专栏CSDN技术头条

京东商品详情页应对“双11”大流量的技术实践

【编者按】此文是根据京东资深Java工程师张开涛11月21日在msup主办的 into100沙龙第14期《京东商品详情页应对大流量的一些实践》演讲中的分享内容整...

22810
来自专栏PingCAP的专栏

雷神 Thor —— TiDB 自动化运维平台

随着互联网的飞速发展,业务量可能在短短的时间内爆发式地增长,对应的数据量可能快速地从几百 GB 涨到几百个 TB,传统的单机数据库提供的服务,在系统的可扩展性、...

960
来自专栏编程一生

战狼:业务高速增长下,如何保证系统的稳定性和高可用?

1874
来自专栏腾讯BBTeam团队的专栏

服务端频率控制的几种实现方式

对于某一个接口I,请求频率阈值T,假设请求均匀分散到N台服务器上,每台服务器上接口I的频率阈值就是T/N,这样每台机器通过检查接口I的本地请求频率就可以做频率控...

2280
来自专栏张善友的专栏

微软用于大数据管理、分析和挖掘的Hadoop发布版HDInsight

SQL Server 2012与SQL Server 2008最重要的区别之一就是与Hadoop的兼容性。Hadoop允许用户处理大量的结构化和非结构化数据并快...

1859
来自专栏ThoughtWorks

2015.5 技术雷达 | 平台篇

(点击图片可查看大图) Apache Spark(spark.apache.org)作为一种快速和通用的大规模数据处理引擎已取得稳步进展。该引擎基于Scala实...

3215
来自专栏梁本志的专栏

浅谈全区全服架构的SNS游戏后台

首所有游戏服务器都有玩家数据库,如果以数据库为单位划分Set,单Set如果能承载超过10万的同时在线,可以认为是全区全服的游戏,10W以下可以认为是分区分服的。...

1K2
来自专栏北京马哥教育

服务好“最后一公里”,高效CDN架构经验

国内,随着互联网的高速发展,因为各大通信公司的政策,造成了南电信北联通互通有局限性,再加上大小且质量参差不齐的运营商,在这特殊的氛围的互联互通下号称“八线合一”...

3155

扫码关注云+社区