岁末警示:当你手抖删了线上数据库..

作者简介:

一乐,aka 梁宇鹏 现任环信首席架构师兼IM技术总监,负责即时通讯云平台的整体研发和管理。曾任新浪微博通讯技术专家,负责微博通讯系统的设计与研发。

2016年1月18日,新年刚过,距离噩梦的圣诞节已经过去三周。已经好多天没有线上报警,群里一片安静,大家都在享受这份宁静与安逸。唯一不一样的是,有集群的迁移工作要做,相关人员干劲十足,已经连续三天通宵。按照惯例,为了保险起见,线上操作都在夜里进行。

如果说这几天最怀念的时光,也许就是这一天了,因为在第二天,我们的一个线上数据库出了问题。

19日上午10点,陆续有用户抱怨,一个接口的数据丢失,而之前删除的数据又出现了。这时候我们的运维同事贴出一个截图,发现有一个数据同步的进程,从凌晨五点开始运行,把线上数据库覆盖,数据一夜回到了解放前!

好在运气好,在这个覆盖发生之前,有一个备份。

修复工作马上展开,先把主从切断,主库利用备份数据重启,从库用来进行比对,恢复增量数据……(部分内容由于当地政策,未予显示)

然而事情并没有结束。这时候内部出现了一个声音高喊,我们一定要惩罚!惩罚这个人,让他知道服务稳定性的重要!

有没有觉得似曾相识?类似的情况其实经常发生。而很多事情就是这样,好像是日常中的一个插曲,却对团队和公司的发展产生着微妙又长远的影响。

是的,我说的是惩罚。

让我们看看惩罚是做什么的

以儆效尤?如果当事人玩忽职守,故意破坏,也许有一些作用。我这里用了也许,因为真出现这种情况的话,可能不是惩罚就够了的。但如果价值观没有问题,这点却未必有效。因为事故已经可以对当事人造成足够压力,增加罚款并没有什么必要。

解气么?公司变大必然出现分工,而各个团队之间的沟通也会变弱。每出现一个问题,其实都是整个公司的问题,用户需要安抚,市场需要维护。这时候就很容易发出一种声音,你看你总给我们添麻烦。这种指责和随后的处罚除了让发声的人心里痛快,该做的事情并没有减少。

它们并没有创造什么价值,却带来了很多你不想要的东西。

更差的工作表现。因为惩罚带来的畏首畏尾,以及随之而来的挫败感,都会让一个人的工作效率大打折扣。

错误的工作态度。谁都知道疲劳作战效率不高容易出错,既然多做多错,少做少错,为什么要去加班加点赶什么进度呢?多一事肯定不如少一事。

隔阂的团队。出了问题就开始指责,那出问题之前的加班加点为了谁呢?一个彼此间互相信任的团队与一个互相防备的团队,差距也是显而易见。

最重要的是,它让技术团队偏离了对技术的追求,而把目光收回到内部关系上,这自然会放慢前进的步伐,这对创业公司将是致命的。

速度是小公司取胜竞争对手直至打败大公司的关键。

不要惩罚不意味着拒绝进步

我们这么做,是因为我们也相信,促使个人和团队成长的,应该是团队的荣誉感和为之努力的心,而不是对惩罚的恐惧。

但我们也不能停在这个地方。如果连自己的教训都无法总结并长成经验,也注定是悲剧的。所以还是回归本初,看看真正想要的是什么。

我们想要的,不过是避免类似事情的发生。

先看一则旧闻。

2015年10月20日,德意志银行外汇部门的一名初级交易员将一订单中的「净值」错误处理为「总额」,令德意志银行向一家美国的对冲基金客户白白送出了60亿美元。 http://wallstreetcn.com/node/224923

这种输入上的低级错误,金融业里叫胖手指,而避免的最重要的方法就是两人法则,我也更喜欢它第二个名字,四眼原则(four eyes principle)。 https://en.wikipedia.org/wiki/Fat-finger_error

它提醒了我们,在关键业务上需要有人结对。鉴于现在工作的远程状态,我们使用了Tmux的会话共享模式,两个人可以通过相同的会话来共享控制台以及键盘输入。

技术可以做到更多

四眼原则用来做紧急措施是可以的,但毕竟有交互成本。而人在精确性上天生不如机器,因此要确保问题不再发生,还要用一些技术手段才行。

由于命令执行的是一个历史命令,而出错的运维人员进入了一个前人遗留的Tmux会话,或者是按了向上或者是进入时的回车直接执行了CTRL-R留下的命令。于是我们

修改了数据恢复的命令,强制进行二次确认; 对危险命令进行了别名处理; 禁止了Tmux的默认session,使用Tmux的人员强制使用别名。

所以你看,人的问题也可以用技术手段来解决。

技术驱动和技术导向

互联网发展仍是日新月异,挑战无处不在。要想变挑战为机遇,只有创新和技术才有可能。只有重视技术的公司,才能充分发挥技术人员的能动性,也将更容易在技术的竞争中胜出。

我们经常开玩笑,很多公司,做不到技术驱动,因为他的每一步都是领导提出领导拍板,它只能叫领导驱动。而如果一个公司在遇到事情之后就总是想到惩罚,不注意保护和发挥技术人员的能动性,技术导向也只能是一个口号。

说到底不过一句话。一个团队或公司,要变成什么样子,跟她迈出的每一步都有关系。

毕竟罗马不是一天建成的。

原文发布于微信公众号 - 数据和云(OraNews)

原文发表时间:2017-01-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏即时通讯技术

技术往事:微信估值已超5千亿,雷军曾有机会收编张小龙及其Foxmail

据汇丰银行(HSBC)发布的报告显示,腾讯公司旗下手机通讯app微信市场价值估计高达836亿美元(约合人民币5344亿元),几乎是腾讯市值的一半。由此可见腾讯高...

662
来自专栏MixLab科技+设计实验室

读《增长黑客》

这是《我精心挑选了18本给0岁运营的书单》中的《增长黑客》一书的读书笔记。上一次花了1周读了《引爆点》一书。这次花的时间有点多,主要是内容太多了。呵呵。 下面是...

2874
来自专栏北京马哥教育

Linux运维工程师的现在与未来

Linux运维工程师的现在与未来 目录: 1. IT行业发展 2. Linux运维行业现状 a> Linux哪些行业在运用? b> Linux运维学习起来难吗?...

3854
来自专栏VRPinea

Oculus公布最新Rift独占游戏《Defector》,可供玩家选择不同情节

1943
来自专栏FreeBuf

一条防火墙招标参数引发的讨论

某天深夜1点多,某业界知名安全大厂的“防火墙产品吐槽群”里突然活跃起来…… 首先,该公司一位销售在公司群里发问,求助各位大神,有一家企业客户要招标买一台防火墙,...

2335
来自专栏大数据挖掘DT机器学习

【思考】一篇文章让你理解产品、交互和运营

我们总是能听到创业者谈到重产品和重运营 这两个词,但是很少有人能真正理解和作出正确的判断。 我也遇到过求职者同时投产品和运营,用的却是同一份...

3094
来自专栏大神带我来搬砖

软件发展的新趋势——从人工智能到群智协同

家住北京市朝阳区的程序员诸葛建国来到了新的项目组,这次的项目组鼓吹的概念很特别,唤做"知识工作自动化",你想想这东西可怕不可怕?过去都是白领才能做知识工作,现在...

3457
来自专栏罗超频道

手Q微信:内部竞争与手足相残的微妙边界

罗超为虎嗅网撰稿,2013年5月10日发表于首页头条 手机QQ已开启腾讯经典模式——如同虎嗅之前预测,腾讯正在用生命山寨腾讯。用腾讯内网推荐的一篇生活电商团队...

3364
来自专栏web前端教室

微课文字版《一份不合格的WEB前端求职简历的修改》

同学们大家好,本来说上次的微课是讲如何修改简历,结果我家小主人出了点状况不得已推迟。语音的搞不了,就来个文字版的,反正把怎么写简历说明白就行呗。 简历这个事吧,...

19010
来自专栏haifeiWu与他朋友们的专栏

大学四年

2017年6月26日21时,此时此刻,漫步在学校的马路上,努力走遍学校的每一个角落,努力的回忆在这四年中发生的点点滴滴,在这最后的时刻,沉淀下大学四年的所有。 ...

714

扫描关注云+社区