为啥总在凌晨上线,如何无损发布

为什么很多公司升级系统,选择在晚上上线?

:美名其曰,晚上上线,对用户影响最小。

为什么会对用户产生影响?

:系统升级往往需要重启,重启的过程中,正在访问的用户会访问失败。

如果升级的是web-server:

如上图,重启ip1上的tomcat时,tomcat上或许有1000个http请求正在处理,这些请求就会失败。

如果升级的是service:

如上图,重启ip1的service时,service上或许有2000个请求正在处理,这些请求就会失败。

web-server升级能否不影响正在处理的请求?

:可以,需要nginx和web-server配合。

(1)给nginx发指令,将ip1上的流量切走

(2)nginx不会将新流量放给ip1,旧流量会很快处理完成

(3)旧流量完成后,升级web-server

此时,ip1上的web-server处于没有流量的状况,可以随便玩:

  • 停服务备份
  • 升级(粉色代表升级后的节点)
  • 服务重启
  • 测试工程师直连ip1进行验证
  • 验证完毕

(4)给nginx发指令,将流量切回ip1

(5)流量切回ip1,单节点上线成功

一个节点升级完成之后,其他节点可以依次逐台升级。

service升级能否不影响正在处理的请求?

:可以,需要RPC-client和RPC-server配合。

(1)向准备升级的service节点ip1发送切流量指令

这里和web-service不同:

  • web-service是向上游nginx发指令切流量
  • service是通过下游server发指令切流量

(2)RPC-server通过tcp长连接将切流量的指令通知RPC-client

执行切流量指令的组件最终是RPC-client上的tcp连接池。

(3)RPC-client不再将新流量放给ip1,旧流量逐步处理完成

为啥不能像web-server一样,直接给上游nginx发指令呢,因为service有太多的上游。

(4)旧流量逐步迁移完成,RPC-client会间歇性重连

此时,ip1上的service处于没有流量的状况,可以随便玩:

  • 停服务备份
  • 升级(粉色代表升级后的节点)
  • 服务重启

这个过程中,RPC-client会间歇性尝试重连(例如每分钟重试一次),直至ip1节点恢复

(5)流量切回ip1,单节点上线成功

一个节点升级完成之后,其他节点可以依次逐台升级

是否还有其他注意事项?

  • 如果没有实现服务自动发现,服务治理,早期可以这么玩
  • web-server无损升级,强烈建议脚本化
  • service无损升级,需要服务框架支持

希望大家有收获。帮转哈。

调研:贵司是否是凌晨上线?你怎么看?

原文发布于微信公众号 - 架构师之路(road5858)

原文发表时间:2018-04-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏自由而无用的灵魂的碎碎念

老电脑如果从windows7升级到windows10不断重启进不了系统,还是想用windows10,怎么办?

先说一下我的配置:08年的acer aspire 5520g,很老的电脑,除了内存加到4g,其他都不变。官方只支持到windows7,并且官方说明该型号不在官方...

831
来自专栏Puppeteer学习

基于puppeteer模拟登录抓取页面

在网站分析行业中,网站热图能够很好的反应用户在网站的操作行为,具体分析用户的喜好,对网站进行针对性的优化,一个热图的例子(来源于ptengine)

73710
来自专栏信安之路

记一次有趣的渗透测试

最近在做渗透测试的练习中遇到一个比较有意思的站点,在此记录下来,希望能给向我一样刚入安全圈不久的萌新提供一些基本思路吧。

1530
来自专栏JadePeng的技术博客

统一配置中心选型对比

引入配置中心,需要考虑和现有项目的兼容性,以及是否引入额外的第三方组件。我们的java项目以SpringBoot为主,需要重点关注springboot支持性。

7692
来自专栏张戈的专栏

BaiduSubmit:度娘WordPress结构化数据插件(改进版)

张戈博客曾多次提到一个会造成百度不收录问题的原因:如果网站存在实时推送机制(比如安装了百度官方推出的 BaiduSubmit 插件),那么发布文章后,在百度收录...

3405
来自专栏即时通讯技术

IM消息送达保证机制实现(二):保证离线消息的可靠投递1、前言 2、学习交流3、IM消息送达保证系列文章4、消息接收方不在线时的典型消息发送流程5、典型离线消息表的设计以及拉取离线消息的过程6、上述流

本文的上篇《IM消息送达保证机制实现(一):保证在线实时消息的可靠投递》中,我们讨论了在线实时消息的投递可以通过应用层的确认、发送方的超时重传、接收方的去重等手...

1142
来自专栏玄魂工作室

CTF实战2 Web应用构成

https://www.bilibili.com/video/av22207039/

952
来自专栏快乐八哥

Ubuntu12.04安装QQ for Linux

最近把自己的笔记本安装了一个Ubuntu,现在的笔记本有2个系统。一个是Window XP,一个是Ubuntu 12.04。其实就是安装的双系统,因为自己工作是...

3155
来自专栏杨建荣的学习笔记

关于几个MySQL环境问题的对比 (r7笔记第66天)

有时候出现了环境问题,对比是一种很好的方式,如果对比得当,可以避免反复的出现问题,可以根据对比的情况推理出一些可能出现的情况或者问题。 如果对比不当,很可能得出...

3586
来自专栏知晓程序

[好文回顾] 如何引导公众号粉丝进入小程序?

也许你已经知道,微信提供了「小程序关联公众号」的功能,而且小程序还能关联 50 个公众号。

942

扫码关注云+社区