DBA生存警示:系统存储级误删除案例及防范建议

编辑手记:对于资深的老DBA们,他们在漫长的职业生涯中养成了很多稀奇古怪的守则,以在复杂多变的环境中“幸存”,这源于无数血泪的教训,我曾经在《数据安全警示录》一书收录了大量现实案例,现在整理分享给大家,共为警示。

除了数据库层面,在主机、操作系统、存储层面也有很多典型案例,如果不够谨慎,主机网络层面的误操作也可能对系统产生致命的影响。

案例分享


1.误发出系统命令

HP UNIX Oracle10.2,我用root登陆后,建立了一个新主机用户,不知不觉敲了个hostname –a,大家知道后边发生什么了吗?

是和uname -a搞混了,hostname -a直接把主机名改成-a了......

listener是监听主机名的,现在找不到主机了,连续报错,还有后台trc文件也连续报错,这个主机上共有4个实例,同时连接不上......壮观啊......很快日志占满文件系统。

查不出原因,但是发现文件系统使用得很快,就想先停库,再查原因了。结果,启动的时候都ora600了。好在是测试环境的数据库,不是正式的。真是刻骨铭心啊。

2.误切换生产存储

一次冰凉透顶的操作,去年某天下午,本来是对灾备端的盘柜做HA切换,头脑一昏,随手一按,把生产端的盘柜进行了手动HA切换,20多套数据库系统在上面跑......后果不堪设想,还好一个急智,赶快又切换回来,装作什么事没有,手一直颤抖.....过后偷偷问一些在线服务系统有没有什么异常,MM只是说有几分钟很慢,数据库没反应,过后又正常了,汗....

从此对生产环境有一种“非诚勿扰”的感觉,敬而远之。

3.存储维护危险误操作

在cx700的存储navisphere管理界面,配置一个存储。同事接过去打开了生产环境另外一个存储的IE窗口,我又接手过来,一恍惚看这个存储的配置与我打开的一样,就开始做删除storage group的操作。还好我旁边另外一个同事看主机名不对,制止了我继续删除(我当时对他讲解了一下配置存储的步骤然后开始操作)。 删除了lun就丢生产环境的CRM数据了。 这个事情很可怕,那天人状态不怎么好。以后做事情越是知道状态不好,越要加倍谨慎。还有以前删除文件用相对路径来删除,../path 方式,误删除了测试环境的oracle程序,以后都用绝对路径了。

4.误删除操作系统文件

一次在IBM p570上安装RAC,由于客户网络有问题,结果失败,在删除RAC时rm -inittab*.crsd等几个RAC的启动文件,一不留神把AIX的一个文件删了,结果系统起不来了。后来多亏IBM的工程师恢复了系统。结果晚上3点才收工。

5.误操作执行系统命令

生产环境增加节点,熬了两天两夜,同事在生产机上执行了pvid=yes 导致数据丢失,最后奋战两天重新安装RAC。

防范建议


1.超级用户和数据库用户严格分离

在生产环境中,不应该给DBA以root权限,以防止不到操作给整个系统带来的影响,即便DBA可能也很了解系统,但是专业分工要求有系统管理员去执行系统层面的维护工作。

避免因为DBA的操作不当导致的系统故障。

2.事关存储无小事

存储最终容纳着用户的所有数据,所以针对存储的任何操作都不能草率,当增减硬盘,格式化分区时,都要严格进行磁盘确认、分区比较,避免因为误操作而“釜底抽薪”。

3.电源即Power

电源也就是Power,是所有动力的来源,所以当中断电源时,系统的所有环境都可能遭受影响。在处理面对电源问题时,应当慎之又慎,因为断电而导致数据库无法启动的案例比比皆是。不要让数据库因为电源问题而崩溃。

原文发布于微信公众号 - 数据和云(OraNews)

原文发表时间:2016-03-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏晨星先生的自留地

物理入侵之你真的敢用的我的U盘么?

3373
来自专栏数据和云

DBA生存警示:防范频发的数据误删除操作

编辑手记:对于资深的老DBA们,他们在漫长的职业生涯中养成了很多稀奇古怪的守则,以在复杂多变的环境中“幸存”,这源于无数血泪的教训,我曾经在《数据安全警示录》...

37114
来自专栏FreeBuf

伽利略远程监控系统完全安装指南

7月初,外媒用臭名昭著形容意大利的网络军火商公司hacking team及其被黑事件,黑吃黑的黑客将该公司rcs系统的安装程序、源代码和邮件打包供所有人下载,更...

32510
来自专栏Python中文社区

QQ空间爬虫最新分享,一天 400 万条数据

前言 本文为作者对其开源项目QQSpider的说明文档。主要替换了程序里一些不可用的链接,对登录时的验证码作了处理,对去重队列作了优化。并且可以非常简单地实现爬...

4107
来自专栏二次元

萌音影视 - 在线影视应用

虽然在线影视网上也是遍地都是,但这并不影响我自个写一个,这样以后自己看番也方便,毕竟自己动手才能丰衣足食,又能学习到新的知识,岂不美哉。

3812
来自专栏逻辑熊猫带你玩Python

Linux | “搭建verilog学习环境”

写这一篇文章的初衷一个是分享给各位想进入IC领域的读者以及感谢一位贵人。VerilogHDL是国内目前最流行的硬件描述语言。关于硬件描述语言的问题,这里并不多谈...

7043
来自专栏FreeBuf

一大波iCloud钓鱼网站来袭 果粉们会分辨吗?

国外的FireEye实验室有一套自动化系统,这套系统能够主动侦测最新注册的恶意域名。所谓的恶意域名,绝大部分都是伪装成很多人知道的常用域名,以此来达到“恶意”的...

3115
来自专栏后端技术探索

Nginx从听说到学会(1.简介和对比)

没有听过Nginx?那么一定听过它的“同行”Apache吧!Nginx同Apache一样都是一种WEB服务器。基于REST架构风格,以统一资源描述符(Unifo...

873
来自专栏美团技术团队

【沙龙干货】美团点评的Atlas实践

美团点评技术沙龙由美团点评技术团队主办,每月一期,每期沙龙邀请美团点评及其它互联网公司的技术专家分享来自一线的实践经验,覆盖各主要技术领域。 本次沙龙主要围绕数...

3205
来自专栏FreeBuf

APT攻击演练之捕鱼人的构想

两个环节:beef-xss钓鱼环节(建议使用服务器)、Nday钓鱼环节(很好用)、钓鱼框架环节(便携好用)

1074

扫码关注云+社区