为啥总在凌晨上线,如何无损发布

为什么很多公司升级系统,选择在晚上上线?

:美名其曰,晚上上线,对用户影响最小。

为什么会对用户产生影响?

:系统升级往往需要重启,重启的过程中,正在访问的用户会访问失败。

如果升级的是web-server:

如上图,重启ip1上的tomcat时,tomcat上或许有1000个http请求正在处理,这些请求就会失败。

如果升级的是service:

如上图,重启ip1的service时,service上或许有2000个请求正在处理,这些请求就会失败。

web-server升级能否不影响正在处理的请求?

:可以,需要nginx和web-server配合。

(1)给nginx发指令,将ip1上的流量切走

(2)nginx不会将新流量放给ip1,旧流量会很快处理完成

(3)旧流量完成后,升级web-server

此时,ip1上的web-server处于没有流量的状况,可以随便玩:

  • 停服务备份
  • 升级(粉色代表升级后的节点)
  • 服务重启
  • 测试工程师直连ip1进行验证
  • 验证完毕

(4)给nginx发指令,将流量切回ip1

(5)流量切回ip1,单节点上线成功

一个节点升级完成之后,其他节点可以依次逐台升级。

service升级能否不影响正在处理的请求?

:可以,需要RPC-client和RPC-server配合。

(1)向准备升级的service节点ip1发送切流量指令

这里和web-service不同:

  • web-service是向上游nginx发指令切流量
  • service是通过下游server发指令切流量

(2)RPC-server通过tcp长连接将切流量的指令通知RPC-client

执行切流量指令的组件最终是RPC-client上的tcp连接池。

(3)RPC-client不再将新流量放给ip1,旧流量逐步处理完成

为啥不能像web-server一样,直接给上游nginx发指令呢,因为service有太多的上游。

(4)旧流量逐步迁移完成,RPC-client会间歇性重连

此时,ip1上的service处于没有流量的状况,可以随便玩:

  • 停服务备份
  • 升级(粉色代表升级后的节点)
  • 服务重启

这个过程中,RPC-client会间歇性尝试重连(例如每分钟重试一次),直至ip1节点恢复

(5)流量切回ip1,单节点上线成功

一个节点升级完成之后,其他节点可以依次逐台升级

是否还有其他注意事项?

  • 如果没有实现服务自动发现,服务治理,早期可以这么玩
  • web-server无损升级,强烈建议脚本化
  • service无损升级,需要服务框架支持

希望大家有收获。帮转哈。

调研:贵司是否是凌晨上线?你怎么看?

原文发布于微信公众号 - 架构师之路(road5858)

原文发表时间:2018-04-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

1 条评论
登录 后参与评论

相关文章

来自专栏aCloudDeveloper

Rolling Hash about the Rsync

      今天看文献看到一个有趣的算法—Rolling Hash,这个算法可以更新在不同的machine上的两个“similar”的文件,也叫做rsync a...

18910
来自专栏LIN_ZONE

CDN(Content Delivery Network)技术原理概要

注:在这里只是简单介绍了一下这几种技术,并不是特别详细,先对这些有个大概了解,方便以后的学习,如果感觉本文的内容说的不具体的话可以看一下这篇文章:CDN技术详...

552
来自专栏散尽浮华

Netdata---Linux系统性能实时监控平台部署记录

通常来说,作为一个Linux的SA,很有必要掌握一个专门的系统监控工具,以便能随时了解系统资源的占用情况。下面就介绍下一款Linux性能实时监测工具-Netda...

3328
来自专栏数据库新发现

Oracle数据恢复、数据库恢复、灾难恢复专题

原文链接:http://www.eygle.com/blog/special/oracle_recovery.html

993
来自专栏令仔很忙

软件文档总结(二)

   软件需求主要是从从现实中分离功能,描述软件要“做什么”,在软件需求说明书中,主要的功能和联系如下:

652
来自专栏Java技术栈

Zookeeper面试题锦集

1、zookeeper是什么框架? 2、有哪些应用场景? 3、使用什么协议? 4、说说分布式一致性算法Paxos 5、说一说选举算法及流程 6、zookeepe...

3908
来自专栏刘明的小酒馆

使用Docker三剑客部署集群

DOCKER技术在推出后掀起了一阵容器化技术的热潮,容器化使得服务的部署变得极其简易,这为微服务和分布式计算提供了很大的便利。

5736
来自专栏架构师之路

小小的IP,大大的耦合,你痛过吗?

什么是耦合? 耦合,是架构中,本来不相干的代码、模块、服务、系统因为某些原因联系在一起,各自独立性差,影响则相互影响,变动则相互变动的一种架构状态。 感官上,...

4156
来自专栏听Allen瞎扯淡

解决 Windows10 笔记本关上后仍会掉电的问题

一开始我只是想在谷歌上搜索一下,为啥我的 Win10 笔记本在盖上盖子以后放入背包中,每次拿出来之后电量都会有所下降,结果就一下子看到了很多很神奇的东西,包括 ...

2512
来自专栏杨建荣的学习笔记

一次数据库响应缓慢的问题排查(r2第9天)

今天客户说有一个job跑的特别慢。想看看到底是不是数据库这边有什么问题了。 使用top来查看,io wait奖金30%,已经算是负载比较重的了。 image.p...

2854

扫码关注云+社区