【运维故事】记一次系统重大升级的经历

来源:运维人那些事儿

ID:jzjytd2016

记一次系统重大升级的经历

时光荏苒,一晃自己从事证券行业信息系统运维工作已逾十年!回顾以往运维经历,历历在目。

作为以利润为中心的证券公司,IT后台支持部门是不直接创造利润的,虽然小到日常业务处理、帐务核算,大到整个公司的经营管理、业务创新和决策支持,背后都由IT系统支撑,但是绝大多数人不了解我们的工作,也许某种程度上存在理解误区,认为系统运转正常是应该的,只有当系统出现故障时,才会意识到我们的存在。但是大家不知道的是系统正常运转的每一天,都离不开有“强迫症”运维人员的默默付出,正能量的说法是岁月静好,是有人为我们负重而行。

作为一个运维人,应该每个人都有些许不同的经历。对于我们集中交易运维小组来说,系统升级的体会却是一样的。在此我就以3.31号周六系统升级为例,来给大家展示系统重大升级的经历。对于承载着一千多万客户的集中交易系统来说,它的实时性很强,对稳定性要求很高,每一次系统重大升级,运维任务都很重,信息技术人员任何小的疏忽和拖拉,就可能造成系统的中断,影响客户群体的数量规模会逐渐放大,就可能给公司带来巨大的经济和声誉损失。所以在升级前期我们会做很多铺垫工作,保证升级万无一失。

01

升级前...

在升级前几周,我们就要开始研究升级包,并仔细检查合并升级包,了解升级变更的具体内容,分析升级后对我们现有系统业务的影响。我们还会和其他券商多做沟通交流,了解他们的升级进展情况,确定版本。同时还需要同开发商保持密切联系,看是否还有对应补充升级包,确保我们的升级补丁包是最佳版本。

考虑到我们历史库数据量庞大,升级时间很长,最长的一次历时将近40小时,因此在系统升级前的周五晚上,正常清算完成后,我们升级了一台历史库,备份另一台历史库数据,这样不仅可以充分利用时间,还能尽早验证历史脚本是否正常,便于在开市前正常完成历史库的升级。

02

升级时...

周六升级当天,我们组织营业部进行全业务的升级验证,因此我们要准备好测试环境。当清晨的天空微微泛白,我们提着家人提前准备好的早餐,坐上了新闻中早高峰拥挤不堪而现在能从头望到尾的空空地铁。7:10到达公司后,开启一天的紧张工作。

首先检查昨晚历史库升级的状态和进度,预估升级时间(其实是判断第二天才能回,还是当天能回J),发现历史库处于正常升级状态后,欣喜若狂,接下来就是升级测试环境的准备工作,譬如删除数据库复制,备份系统数据库、备份行情文件、加挂电话委托测试语音、重启并挂起交易系统数据库、提交测试环境脚本、升级包、设置相关参数等等。

测试验证期间,我们会尽可能多的验证系统的功能,争取覆盖全部业务,同时积极关注内部交流群营业部的测试信息反馈,并同网上交易中心等外围测试人员保持密切沟通,针对提出的问题进行分析,问题是否正常,还是会影响系统的正常运行,并将重要疑问及时反馈开发商,尽可能做到不带疑问升级。

03

升级后...

下午3:30测试完后,根据营业部以及网上交易等参测方测试反馈,没有特别的技术疑问,我们准备正式对生产环境当前交易数据库进行升级。首先我们关闭测试环境,恢复行情文件、恢复电话委托语音,重启所有应用服务器、重启数据库服务器、核对数据,开始升级过程,顺利完成!检查升级日志,一切正常!忍不住内心的欣喜(对于运维人来说,系统一切正常就是最开心的事情),我们继续将灾备系统的数据库升级,再通过生产库建数据库复制模式用于灾备当前库的数据同步,接下来我们将重建DTS数据导出,待所有数据库升级以及复制同步完成后,开启系统完成集中交易系统归档、系统初始化、参数检查等工作,待观察到客户委托正常进入后,已经是晚上11:00,一天的系统升级加班工作终于圆满完成。虽然回到家连眼皮都快睁不开了,心情却无比放松。

以上就是我们一天运维工作的缩影,运维不是每一天都轰轰烈烈,激情澎湃,更多的是一份耐心、一份责任感。运维工作既有万亿行情下高压超长时间“用生命在清算”,系统故障时争分夺秒的紧张处理,系统升级时的披星戴月,也有顺利完成升级后,一起坚守陪伴的兄弟们快乐归巢,品尝锅里温热的爱心加餐,还有休息期间欢乐斗地主、球技对决等等的愉快时光,这一切,是如此的饱满充实,我为我是运维人而自豪!

原文发布于微信公众号 - 马哥Linux运维(magedu-Linux)

原文发表时间:2018-05-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏安智客

关于eID你需要了解的是?

公安部第三研究所在2017年国家网络安全宣传周上,展示了网络电子身份标识(eID),今天我们来聊一聊eID。 ? 什么是eID? 类似于FIDO联盟的干掉密码...

37860
来自专栏安恒信息

Blackhat2013黑帽大会:五款值得一看的黑客工具

2013年的黑帽大会将于7月27日到8月1日期间在拉斯维加斯召开。在即将到来的2013黑帽安全大会上,安全研究者们将会介绍一些黑客工具。 这些工具可以解决的问题...

28450
来自专栏云计算D1net

揭短:国内云存储“毛病”不少

前段时间,云存储领域,由“1T空间”引发了一场“血案”,云存储服务商争相竞争,打得不可开交!360、百度、天翼云、金山云存储、微云等相继进行用户争夺,标志着一个...

70550
来自专栏FreeBuf

观点:从OpenSSL漏洞看各甲方响应质量

互联网上信息传播速度和影响力比以前增长了不啻数倍,甲方在响应漏洞的时候,咱得跟上节奏,否则就可能被曝光了,在大水军的推动下,安全行业已经升华为情报行业了,嗯,通...

23370
来自专栏FreeBuf

黑科技再现 | 黑客通过智能水壶窃取Wifi密码

The Pen Test Partners的研究员Ken Munro,在伦敦某场节目里他演示了如何连上目标的智能水壶,然后窃取你的Wifi密码。 轻松黑掉你的智...

24670
来自专栏FreeBuf

入侵监狱网站篡改记录帮朋友提前释放?结果自己也进去了

上周一名密西根人因入侵Washtenaw县监狱被捕,原因竟然是他想修改监狱记录,好让朋友提前释放。 这名男子名叫Konrads Voits,27岁,来自密西根...

25250
来自专栏FreeBuf

[专题]Blackhat2013黑帽大会:五款值得一看的黑客工具

2013年的黑帽大会将于7月27日到8月1日期间在拉斯维加斯召开。在即将到来的2013黑帽安全大会上,安全研究者们将会介绍一些黑客工具。 这些工具可以解决的...

20270
来自专栏知晓程序

本周最新 10 款小程序,快来选出你最爱的那个 | 晓榜 #21

如果感到无聊,不妨用「微博热门」小程序,看看最流行的微博,热门资讯、搞笑视频,总有一款是你爱的。

6910
来自专栏CIT极客

【极客趣闻】一个用代码拯救了自己的程序猿!

38890
来自专栏python开发者

Android和Linux应用综合对比分析

原文地址:http://www.cnblogs.com/beer/p/3325242.html 免责声明:     当时写完这篇调查报告,给同事看了后,他觉得...

70860

扫码关注云+社区

领取腾讯云代金券