这是一个有状态的扩缩容场景：对于游戏服务，尤其是对战服务来说，不能是简单添加一个clb(负载均衡)就能搞定。在游戏服务里需要断线重连，能找到之前连接的服务器；另外游戏过程不能因为缩容中断游戏。...那么有方案让游戏服务0成本跨地容灾吗？ 3.png 3....（2）GSE能实现有状态的缩容 GSE 不会缩减有进程运行的实例，低负载触发缩容时通知游戏进程正在缩容该台服务器，并屏蔽新的游戏服务器会话分配到该台服务器上，但不强制缩减实例导致游戏无法进行，等待游戏进程上没有玩家在对局时...不需要提前在多个区域部署相同数量的服务器，从而达到0成本容灾的效果。 9.png 4. GSE和普通弹性伸缩的区别——GSE专注于有状态扩缩容场景 游戏中有两个特殊需求：断线重连、游戏中不能退出。...一般游戏服务器都是有状态的，如何进行缩容呢？
TDSQL-C Serverless 的技术实现 传统云数据库并没有实现自动扩缩容、按使用量计费、无使用无费用。...在现实里，如果游戏厅就在你房间旁边，你房租的价格也会比其他地方的更贵。 计算跟存储分离，就是让房子和客厅解耦。只要解决传送问题（自动扩缩容）就可以让这个房间的成本回归到它本身的价值。...常见的自动扩缩容业务场景 慢查询。...当然你也可以选择在活动前扩容，活动后缩容。但这总的也不方便，而且并不是所有的活动都有足够的时间去规划。所以这时候就需要一个自动扩缩容的能力。 定时任务。很多业务都会有定时任务的需求。...虽然你也可以根据计划去手动扩缩容。但有些计划使用的计算资源不可控，时间也不可控。少了速度慢，可能还会影响到线上业务，多了又会浪费。
在现实里，如果游戏厅就在你房间旁边，你房租的价格也会比其他地方的更贵。 计算跟存储分离，就是让房子和客厅解耦。只要解决传送问题（自动扩缩容）就可以让这个房间的成本回归到它本身的价值。...TDSQL-C Serverless 数据库特点 自动扩缩容 按使用量计费 无使用无费用 我们希望你想要请求的时候，这个水资源能像瀑布一样倾泻而下，不需要业务提前感知。...当然你也可以选择在活动前扩容，活动后缩容。但这总的也不方便，而且并不是所有的活动都有足够的时间去规划。所以这时候就需要一个自动扩缩容的能力。 定时任务 很多业务都会有定时任务的需求。...虽然你也可以根据计划去手动扩缩容。但有些计划使用的计算资源不可控，时间也不可控。少了速度慢，可能还会影响到线上业务，多了话又是浪费。...用户数激增：自动扩缩容。 小微项目：小规格实例 …… 目前我们做到了很多，未来我们还有很多可以去做。
访问量大，王者荣耀、和平精英等全部游戏运营活动日 PV 超百亿级 活动逻辑复杂，模块多，上下游依赖多，并且对依赖服务有N倍放大，容量评估工作量大，涉及的开发和运维人员多，紧急突发可能性大 大量重复开发工作...，活动之间相互割裂，缺乏沉淀复用和共享 运营活动快上快下的特点非常适合跑在 TKE 环境，利用其弹性伸缩、快速扩缩容特性应对活动突发流量。...自动扩缩容，极大的提升了周期性游戏活动资源准备效率。...网关运营监控指标 业务容器性能监控指标 官网营销活动 官网营销活动HPA实践 业务需求场景：营销活动有定点开启特性，开启时流量会突增，且生命周期内流量波动较大，对资源有弹性扩缩容需求。...需求 最终效果 分钟级扩容 优化后的 HPA 直接从 Metrics Server 取负载数据，扩容可以做到1分钟左右 原生 HPA 仅支持 Pod 粒度的 metric 计算,需要针对业务容器进行扩缩容
自动化扩缩容的目的主要有三个部分，首先是用户体验的保障，我们必须以最快的响应速度去应对用户增长的需求，否则必然会出现大规模的掉线或者拥挤排队，影响游戏基本体验；其次是资源的最有效利用，英雄联盟业务的单位运营成本...关于自动化扩缩容利器的用户交互，主要用的是类似汽车的仪表盘的形式来展示相关扩缩容时实施人员比较关心的数据。如图（2） ?...自动采集数据、分析出决策、实施扩缩容操作的整体流程架构图如下： ?...“缩容”是二期项目中的一个新增的功能模块，缩容的逻辑是这样: 在自定义的时间周期内，判断是否需要缩容，然后实施缩容步骤 同样缩容也是有一套自己的判断逻辑的。...才将云中的服务器扩到游戏大区中；如红色的箭头所示，通过自动化的缩容，我们做到了自动化的将游戏大区中，尚且富余的服务器资源返还给业务云，然后由云在分配给需要使用的游戏大区，这样通过自动化的扩、缩容服务，我们做到了服务器资源自动化的动态调用
3.现网变更频繁，前端版本、后端版本发布，系统配置调整、营销活动规则调整等各种变更每天加起来平均300+次，大家都知道，变更带来的故障通常占到了现网故障的75%以上，所以在这么变更频发的平台上进行营销活动资源扩缩容...在这里的自动化扩缩容设计里，现网大盘由服务组成，服务由系统实例组成，而实例承载的基础是腾讯计费自研的TDF程序框架；扩缩容的核心大脑就是TSM自动化管理平台，压测平台周期性压测现网容量，现网内存、负载、...这里采用KVM虚拟机构建用于自动扩缩容的资源池，共享资源池会在日常扩容中出库消耗，在缩容中退库，这样持续的循环。...一开始有提到，在日常频繁变更的现网大盘上进行扩缩容操作，故障风险是非常高的，那么怎么确保这里的变更准确性呢？也就是怎么确保扩容上去的资源服务没有问题。...以上介绍了自动化决策和自动化扩缩容的机制，那么是不是有了这些自动化机制就万无一失了呢？
3.现网变更频繁，前端版本、后端版本发布，系统配置调整、营销活动规则调整等各种变更每天加起来平均350+次，大家都知道，变更带来的故障通常占到了现网故障的75%以上，所以在这么变更频发的平台上进行营销活动资源扩缩容...在这里的自动化扩缩容设计里，现网大盘由服务组成，服务由系统实例组成，而实例承载的基础是腾讯计费自研的TDF程序框架；扩缩容的核心大脑就是TSM自动化管理平台，压测平台周期性压测现网容量，现网内存、负载、...这里采用KVM虚拟机构建用于自动扩缩容的资源池，共享资源池会在日常扩容中出库消耗，在缩容中退库，这样持续的循环。...如何确保扩缩容变更精准无误 一开始有提到，在日常频繁变更的现网大盘上进行扩缩容操作，故障风险是非常高的，那么怎么确保这里的变更准确性呢？也就是怎么确保扩容上去的资源服务没有问题。...如何防止大盘雪崩风险 以上介绍了自动化决策和自动化扩缩容的机制，那么是不是有了这些自动化机制就万无一失了呢？
其中，zone server 为大厅服务器，dscenter 负责 ds 的管理和分配，dsagent 管理 ds 进程。一般来说，DS 都有以下些特点： 使用共享内存缓存玩家数据，有一定状态。...比如很多游戏业务都希望实现定时扩缩容，甚至应用自己控制 Workload 副本数量。 业界已经有一些开源项目去尝试解决这类游戏服务的 DS 管理问题，比如 Google 的Agones[8]。 ?...Squad 和 GeneralPodAutoscaler 提供了一些扩展和交互机制，变更，或者扩缩容时，GameServer 可以更加优雅的退出，避免对游戏玩家的影响。...应用定义缩容顺序 缩容时，可由应用指定缩容的顺序。例如，缩容时，应用可以选择玩家数量的 DS 副本删除。这不仅可以降低缩容开销，还可以提高底层的资源利用效率。...更好的与集群扩缩容（CA）工作 基于应用确认机制，缩容时，CA 可以选择任意的副本进行删除，不用担心对用户的影响。 基于 OCGI 的游戏后台架构 ?
并具备以下特性： 省钱：云托管没有流量可缩容到 0；存储按实际存储容量计费。无需为闲时资源买单。按量付费，无需预先支出。...省心：Serverless 无服务器化，架构弹性可自动扩缩容，无需担心网站崩溃。 更快：用户发帖上传的图片与附件，享受 CDN 节点就近加速分发。...各项资源都将按使用量计费，如果站点一直无流量访问，云托管将于半小时内缩容到0，若数据库使用的是 Serverless 模式，随后数据库用量也会降为0。...但这种计费模式以及云开发自动扩缩容的特性，无论对访问量低的个人尝鲜还是流量波动大的业务活动推广，都带来更低成本、更省心的体验。 注：因为 Discuz!...产品介绍 云开发（Tencent CloudBase，TCB）是腾讯云提供的云原生一体化开发环境和工具平台，为开发者提供高可用、自动弹性扩缩的后端云服务，包含计算、存储、托管等serverless化能力
OTO 服务通过基于 Kubernetes 的 GDP（游戏微服务开发平台），可以快速部署、自动扩缩容和资源回收复用。...再配合 K8s 的 HPA 即可自动根据后端性能指标扩缩容，极大提升资源利用率。 Pulsar 还支持对单个消息独立 Ack，可以很好地防止重复消费。...这样所有服务都在云端通过 K8s 调度，有高可用保障，只需调整副本数即可轻松扩缩容。 基于事件总线的事件分发 事件总线用于规范事件管理，事件按业务和类型维度管理。...K8s 支持 HPA，通过监控容器 CPU 和其他内存指标，当达到一定阈值时，触发服务扩缩容。这对一些队列消费服务不适用。...我们计划扩展 K8s 的 HPA，在监控 CPU 和内存等指标基础上再监控 msgBacklog，增强扩缩容灵活性，防止消息堆积。
通过云上的容器化部署、自动扩缩容、健康检查、可观测性等手段，提高了知几项目的持续交付能力和稳定性，形成了一套适合游戏知几自身的上云实践方案。...在 docker 部署的架构下，很难做到快速地自动扩缩容，主要问题有以下几个方面： 扩容前的机器申请、环境准备很耗时，突发流量的情况下这个准备时间难以接受，提前准备好机器平时又会造成资源的浪费； 运维制作的基准镜像通常不是最新的版本...，需要发布最新版本才能扩容； 依赖的权限（mysql 等）需要申请； 平台操作繁琐，容易出错； 需要人工完成运营活动后机器的缩容操作。...基于上述的部署方案，利用云原生的自动扩缩容能力可以方便地解决上述问题： STKE 提供的定时 HPA 和动态扩缩容能力，可以很好的解决节假日、运营活动的流量突增带来的服务稳定性问题，且流量平稳后的自动缩容可以有效的节约资源...特别是定时 HPA，可以很方便的满足知几在未成年人保护方面对扩缩容的要求，系统可以在特定时间段完成系统容量的扩容和缩容，在保证系统平稳应对流量的同时也不会造成对资源的浪费。
自动驾驶（Autopilot）：数据库根据业务负载自动启动停止，无感扩缩容，扩缩容过程不会断开连接。...以双11高负载的场景为例，提前发起扩缩容的操作会导致运维效益随之大打折扣。不仅如此，固定规格对传统云数据库的计算进程常驻，无请求时仍然收费。...金融和游戏行业相关应用场景对备份的时效性和速度有较高的要求。(2)....随着业务的增长，能够进行水平扩容，扩缩容的整体响应好。...这里有一个冷启动的时间，当第一次访问，到真正能把数据给到用户，目前是在2s内。自动扩缩容：不需要开发者提前去预测扩容的实例规格，通过系统的负载来进行自动的扩容。
应用于腾讯IEG 80%的营销活动以及多个内部平台。经历各种秒杀活动、游戏周年庆以及节假日，取得很好实践效果,保障了系统安全运营。现将ModernFlux对外开源，为微服务开源社区贡献力量。...数据传输具有容错机制，流控服务具有健壮性并有容灾机制。 ...2.业务扩缩容对负载保护系统无感知，即系统对业务扩缩容透明。 3.在保证流控精度前提下，对业务流量(剧烈)变化不敏感，无需频繁扩缩容。...应用场景有营销活动(如秒杀/周年庆)，电商大促，多业务混布虚拟隔离。 大型游戏秒杀营销活动入口流量难以预估，由于流量瞬间暴增和营销资源有限，单纯堆砌资源成本高，也无必要，自动扩容往往也来不及。...ModernFlux应用效果 下图是部分ModernFlux应用于营销活动效果图，黄色线表示实际通过流量，黑色线表示被拒绝的流量，蓝色线表示上游的真实流量绿色表示整个Set流量控制(未触发)： ?
使用场景 有 TKE 重点客户反馈：由于业务增长，客户每天都需要扩百余台机器，通过节点池只需一键调整数量即可完成扩容，体验比单节点模式好太多（需要填很多参数，并且创建后不好管理）。...自动化 节点池自动扩缩容依赖 Cluster Autoscaler 实现, 可与 HPA 无缝联动，实现从应用扩缩容到集群扩缩容的平滑过渡。...节点池能够在容器不够资源分配的情况下按需扩容 能够监控节点的 CPU、内存，自动缩容闲置节点 节点池提供两种扩缩容模式供您按需选择。...您可追踪节点池关联的扩缩容活动 （活动相关的触发条件、时间、涉及实例、成功/失败原因），同时您还可以通过事件持久化能力查看 Cluster Autoscaler 相关的集群级别扩缩容记录。...支持灵活的扩缩容参数配置 您可以配置灵活的扩缩容参数，本文将在下一节-扩缩容原理中详细展开。 集群扩缩容原理 弹性扩容原理 ?
扩缩容方面，我们主要通过垂直扩缩容的方式解决Redis集群容量的问题，但随着集群规模扩大，这种方式逐渐遇到了瓶颈。...二、Redis水平扩分拆 在携程开始使用Redis很长一段时间里，一直只有垂直扩缩容，原因有两点： 第一，一开始业务规模比较小，垂直扩缩容可以满足需求。...但一致性hash是无法支持直接水平扩缩容的。因为无论增加一个节点或者删除一个节点，都会导致整个hash环的调整。 ? 图1 如图所示，假设原始有4个分片（图1）。...那么是否有更好的解决方案呢？答案是有的。 三、Redis水平扩缩容 3.1 设计思路 ?...借鉴业务双写集群的思路和云原生的不可变基础设施的理念，我们首先想到的是通过新集群替换老集群而不是原地修改集群；另外，为了在公有云上节省Redis成本，我们积累了kvrocks的实践经验，两者相结合，设计了一种高效的水平扩缩容的方案
按量计费，自动扩缩 那么，为什么使用云开发的成本能降到这么低呢？团队一致认为应该归功于云开发的自动扩缩容。 在接触云开发之前，服务器费用对于一家初创企业来说一直是一项大支出。...，而云开发的按量付费和自动扩缩容机制就完美地解决了初创企业的服务器成本问题”。...这时，小程序云开发的云函数自动扩容机制就发挥作用了，快速反应扩容来应对大流量，让这次推广活动顺利完成，活动结束后，访问量也逐步恢复平日水平，这时候自动缩容机制又开始启动了，关闭闲置的云函数资源，减少服务器成本...另外，为了保证“11·11”活动的平稳运行，团队做了双重保障，一是提交工单，请云开发团队的工程师提前预热云函数，另一方面是将活动的时间拉长，尽可能把流量分摊开，不集中在某个时间点。...在此基础上，“11·11”活动中业务小程序运行得非常稳定，平台的商品也纷纷售罄。
简单认识 云原生有一个简单的理解：云指的就是云服务器，原生指的就是云服务器中自带的应用软件。...这些应用软件可以高效弹性扩缩容（指的就是增加或减少服务器的数量）后，自动适配新的服务器数量环境，而不需要运维或开发做什么。...应用场景 设想一种场景：有一个电商系统，其中包括商品浏览模块、商品购物车模块、商品支付模块，每个模块一共部署了10000台服务器，共计30000台服务器。...那么双11的到来了，这些服务器肯定不够用，那么怎么安排才能满足双11的需求呢？...那么可以把双11活动分解成： 活动前：双11前引导用户浏览商品，并把商品添加到购物车 活动中：双11开始，引导用户直接从购物车下单购买 按照上述分解之后，活动前的访问压力就集中到商品浏览、商品购物车模块
业务初期：手动扩容 业务初期，负载较低，根据业务特征，手动扩缩容基本可以满足需求。 由于手动扩缩容需要一定的时间窗口，因此需要放置一定数量的冗余资源应对突增流量，资源利用率较低，只有6%左右。...业务发展中：节点池 随着业务发展，周期性的高低峰流量特征愈发明显，面对高频的扩缩容需求时，手动扩缩容不仅人力成本较高，而且无法避免人为失误。...在突增流量速度较慢的场景下，节点池可以较好满足业务需求，不过需配置服务器，扩容速度较慢，冗余资源仍存在，资源利用率较低。另外，缩容时对节点进行封锁、驱逐等操作，不利于服务的稳定性。...相比节点池，虚拟节点的扩容、缩容流程简化了购买、初始化、退还服务器的流程，大大提升了弹性的速度，尽可能降低在扩容流程中可能出现的失败，使得弹性更快、更高效、更节省成本。...秒级扩缩容 通过虚拟节点+K8s HPA 能力，集群可在数十秒内启动数以百计的承载百万级流量的Pod，可以轻松应对快速扩缩容需求。再结合业务侧数据，自动化进行资源预热，提升集群抗突增流量能力。
嘉宾｜杨森 编辑｜李忠良 面对节假日常规促销、618/ 双 11 购物节等配送业务订单量的暴增，达达集团通过智能弹性伸缩架构和精细化的容量管理，有效地做到了业务系统对配送全链路履约和服务体验的保驾护航。...去年达达快送共有 11 亿的包裹量，每天有数十万的骑士来配送，配送范围覆盖全国 2700 个城市，单日峰值大概近千万。 1架构设计——故障驱动 达达决定做弹性扩缩容，是由故障引发的。...为大家展示一下弹性伸缩架构的实际运行情况，最左边这张图是扩缩容情况展示，这里有消息通知机制；中间这张图，线上扩缩容的每日报表会发到每一位研发 Leader；右下角这张图是真实的服务扩缩容，我们从最后一张图可以看出...第五，如果扩缩容规模很大的话，需要注意对其他组件的依赖。比如 DB 缓存是不是有流量的压力，因为在达达的业务场景里面，有很多缓存是多个业务资源共享。...最后展望未来，这个系统是在 2019 年开发的，目前已经稳定运行了 20 多个月，有将近 18000 次的扩缩容记录。整个系统也对接了多种云原生，包括全程全自动的，当然也做到了双云的支持。
导语： 敢于对过去的脚本说不 前言 QQ飞车作为一款竞速游戏，从08年至今十年光阴，依然坚挺，能运维一款这样的产品，非常的荣幸，压力和动力都是有的，有压力才有动力。...接手飞车运维以来，在扩缩容上耗费了比较多的精力，于是有了我们今天的主题，飞车扩容改造。 扩容之殇 QQ飞车一年有4次大的活动节点，春节，五一，暑假，国庆。...活动的量级都是百万级别的，而由于成本和资源的限制，我们的机器不能长期保有在扩容期间的量级，因此，扩容缩容便成为了飞车运维工作中一项重要的工作。运维在活动前准备的时间相对比较长。...核心脚本的工作示例如 经过改造之后，我们的扩容，缩容，变更都可以通过这一套脚本来实现，扩缩容模版就可以变得更简单。...扩缩容生态建设 有了基础的脚本支撑，我们就依托于标准运维对之前的扩缩容“生态”工具进行改造，得益于D+的日趋成熟，飞车的镜像扩容模版也已经完成建设，镜像扩容省去了业务传包和一些初始化的工作，可以节约大部分的时间
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
