自动化扩缩容的目的主要有三个部分，首先是用户体验的保障，我们必须以最快的响应速度去应对用户增长的需求，否则必然会出现大规模的掉线或者拥挤排队，影响游戏基本体验；其次是资源的最有效利用，英雄联盟业务的单位运营成本...关于自动化扩缩容利器的用户交互，主要用的是类似汽车的仪表盘的形式来展示相关扩缩容时实施人员比较关心的数据。如图（2） ?...所向披靡-无所不能的容量云： 二期功能加入了监控和自动触发、缩容等功能，真正实现采集性能数据、按照模型分析出结论、实施扩缩容、性能数据达标等一系列操作，流程上把容量管理这件事做成闭环。...自动采集数据、分析出决策、实施扩缩容操作的整体流程架构图如下： ?...才将云中的服务器扩到游戏大区中；如红色的箭头所示，通过自动化的缩容，我们做到了自动化的将游戏大区中，尚且富余的服务器资源返还给业务云，然后由云在分配给需要使用的游戏大区，这样通过自动化的扩、缩容服务，我们做到了服务器资源自动化的动态调用
在这里的自动化扩缩容设计里，现网大盘由服务组成，服务由系统实例组成，而实例承载的基础是腾讯计费自研的TDF程序框架；扩缩容的核心大脑就是TSM自动化管理平台，压测平台周期性压测现网容量，现网内存、负载、...这里采用KVM虚拟机构建用于自动扩缩容的资源池，共享资源池会在日常扩容中出库消耗，在缩容中退库，这样持续的循环。...一开始有提到，在日常频繁变更的现网大盘上进行扩缩容操作，故障风险是非常高的，那么怎么确保这里的变更准确性呢？也就是怎么确保扩容上去的资源服务没有问题。...以上介绍了自动化决策和自动化扩缩容的机制，那么是不是有了这些自动化机制就万无一失了呢？...一是大盘容量的压测机制，二是快速扩缩容机制，以及资源共享管理、变更扫描，和限频保护措施。 构建之后，自动化保障体系可以浓缩为如下示意图。
不久前，腾讯云发布了国内第一款无服务器数据库ServerlessDB，受到众多数据库开发者的关注，关于该数据库的自动扩缩容能力以及背后的设计原理展开了激烈的探讨。...PartⅠ 真正实现自动扩缩容的挑战 相比较于传统数据库，云数据库的弹性扩缩容和按量计费能够帮助用户按需使用云资源，避免资源浪费的同时大幅节省了成本。...当用户访问请求上涨时，数据库针对用户请求的特点使用不同的系统资源，而这些资源需要动态的响应，且不会受到服务器限制。不同资源的扩缩容粒度需要小到一个数据块——CPU核心。...腾讯云ServerlessDB采用租户隔离扩缩容以及连接池管理技术，从而实现了技术层面上真正的弹性扩缩容。 1....快速扩缩容能力 在租户隔离技术避免了不同租户之间的访问越界问题后，在扩缩容方面，ServerlessDB是如何保证对用户进行细粒度控制的呢？
腾讯游戏服务器引擎（Game Server Engine，缩写GSE），支持有状态的游戏服务部署和扩缩容，实现服务发现、高效灵活的服务器伸缩和就近调度的能力，帮助开发者快速构建稳定、低延时的多人游戏的部署环境...这是一个有状态的扩缩容场景：对于游戏服务，尤其是对战服务来说，不能是简单添加一个clb(负载均衡)就能搞定。在游戏服务里需要断线重连，能找到之前连接的服务器；另外游戏过程不能因为缩容中断游戏。...游戏服务器引擎（Game Server Engine，缩写GSE）提供专用游戏的服务器托管服务，支持有状态的游戏服务部署和扩缩容，实现服务发现、高效灵活的服务器伸缩和就近调度的能力，帮助开发者快速构建稳定...（2）GSE能实现有状态的缩容 GSE 不会缩减有进程运行的实例，低负载触发缩容时通知游戏进程正在缩容该台服务器，并屏蔽新的游戏服务器会话分配到该台服务器上，但不强制缩减实例导致游戏无法进行，等待游戏进程上没有玩家在对局时...不需要提前在多个区域部署相同数量的服务器，从而达到0成本容灾的效果。 9.png 4. GSE和普通弹性伸缩的区别——GSE专注于有状态扩缩容场景 游戏中有两个特殊需求：断线重连、游戏中不能退出。
比如很多游戏业务都希望实现定时扩缩容，甚至应用自己控制 Workload 副本数量。 业界已经有一些开源项目去尝试解决这类游戏服务的 DS 管理问题，比如 Google 的Agones[8]。 ?...Squad 和 GeneralPodAutoscaler 提供了一些扩展和交互机制，变更，或者扩缩容时，GameServer 可以更加优雅的退出，避免对游戏玩家的影响。...应用定义缩容顺序 缩容时，可由应用指定缩容的顺序。例如，缩容时，应用可以选择玩家数量的 DS 副本删除。这不仅可以降低缩容开销，还可以提高底层的资源利用效率。...更好的与集群扩缩容（CA）工作 基于应用确认机制，缩容时，CA 可以选择任意的副本进行删除，不用担心对用户的影响。 基于 OCGI 的游戏后台架构 ?...往期精选推荐 ?
在这里的自动化扩缩容设计里，现网大盘由服务组成，服务由系统实例组成，而实例承载的基础是腾讯计费自研的TDF程序框架；扩缩容的核心大脑就是TSM自动化管理平台，压测平台周期性压测现网容量，现网内存、负载、...这里采用KVM虚拟机构建用于自动扩缩容的资源池，共享资源池会在日常扩容中出库消耗，在缩容中退库，这样持续的循环。...如何确保扩缩容变更精准无误 一开始有提到，在日常频繁变更的现网大盘上进行扩缩容操作，故障风险是非常高的，那么怎么确保这里的变更准确性呢？也就是怎么确保扩容上去的资源服务没有问题。...如何防止大盘雪崩风险 以上介绍了自动化决策和自动化扩缩容的机制，那么是不是有了这些自动化机制就万无一失了呢？...二是快速扩缩容机制，以及资源共享管理、变更扫描，和限频保护措施。 构建之后，自动化保障体系可以浓缩为如下示意图。
另外，对于底层架构来说，相比较于其他类型业务，游戏业务除去常规的业务高峰时间预估之外，很难做到业务爆发的时间准确判断，作为国民手游的王者荣耀也存在因各类突发事件和特殊时期带来的巨大流量，这对底层数据库自动扩缩容能力提出了巨大挑战...我们都知道，面对随时会出现的业务高峰和低谷，人力运维存在明显弊端，这就对系统的智能化能力提出了高要求，而高频的业务忽高忽低，导致伸和缩同时出现，会使得数据库无法处理请求，严重的还会导致数据库宕机，所以要实现系统智能根据业务情况进行自动扩缩容是非常困难的...四、接入层扩缩容是无损的，业务无感知 TcaplusDB自研了SDK，SDK内维护了接入层一致性hash环，天然支持增加或者减少接入层节点。...1 PartⅢ 结语 TcaplusDB是一款腾讯自研的高性能内存式分布式数据库系统，具有高性能、无损扩缩容、高可用、易用性等特性，针对游戏业务的开发、运营需求，支持全区全服、分区分服的业务模式，提供不停服扩缩容...历经腾讯内部8年的游戏经验积累，广泛应用于王者荣耀、刺激战场、穿越火线、火影忍者等数百款流行游戏，现已通过腾讯云向全球游戏业务提供服务。 往期推荐 ? ↓↓点这儿了解更多TcaplusDB~
扩缩容方面，我们主要通过垂直扩缩容的方式解决Redis集群容量的问题，但随着集群规模扩大，这种方式逐渐遇到了瓶颈。...垂直扩缩容对于Redis来说只是Maxmemory的配置更改，对业务透明； 第二，水平拆分/扩缩容的实现难度和成本较高。...三、Redis水平扩缩容 3.1 设计思路 ? 图4 既然缩分片比较困难，我们首先想到的是业务双写集群的方法，也就是业务同时双写2个新老集群，新老集群的分片数是不一样的，并且大小配置也不一样。...借鉴业务双写集群的思路和云原生的不可变基础设施的理念，我们首先想到的是通过新集群替换老集群而不是原地修改集群；另外，为了在公有云上节省Redis成本，我们积累了kvrocks的实践经验，两者相结合，设计了一种高效的水平扩缩容的方案...根据实际的运维数据来看，集群单个实例为20G，集群扩缩容在10分钟之内完成，而低于10G的，5分钟即可完成，大大缩短了扩缩容的周期，并且业务在毫无感知的情况下即可完成扩缩容。
自从 2012 年阿里双十一由于访问量过高导致服务中断给阿里带来重大负面影响以来，不仅阿里每年双 11 前搞全链路压测进行全真模拟，其他如字节、美团、B 站等头部互联网公司也积极实践全链路压测，并公开分享其技术实现方案...同时，在本架构中，它还作为调节实例数量的主要依据以及进行自动扩缩容的指标数据来源。...自动扩缩容模块主要用来以压测的结果为基准来进行自动调节服务集群的机器数。...自动扩缩容 通过压测我们得到了单个实例的最大 MetricQPS 值，利用此值我们可以度量现有服务集群的容量，并且我们还可以结合自动扩缩容，提高资源利用率、节省成本。...我们还可以设置不同的自动扩缩容策略，来达到不同程度的资源节约情况。
全面托管服务：借助完整的后端解决方案，消除了大规模构建，管理和运行服务器的挑战。即时自动扩缩容的专用服务器，为实时游戏提供低延迟和高可靠性。...跨平台 SDK：提供开箱即用的 C ++ SDK 和 UE4 插件，方便开发者在其游戏客户端和专有服务器中使用 PGOS 服务。...腾讯云 Serverless 的技术优势 开箱即用：用户无需额外购买、搭建和配置服务器，可完全专注于业务代码。...动态扩缩容：Serverless 的另一大特点是自动扩缩，轻松应对流量洪峰。在访问量突增时，自动扩容保障业务的正常运行；在流量低谷，自动缩容以节约成本。...腾讯云 Serverless 为游戏上云提供算力支持的技术原理 Serverless 可以为国际业务 PGOS 提供底层运算支持，一个虚拟服务器（Virtual Server）对应一个或多个云函数，用户创建
OTO 服务通过基于 Kubernetes 的 GDP（游戏微服务开发平台），可以快速部署、自动扩缩容和资源回收复用。...再配合 K8s 的 HPA 即可自动根据后端性能指标扩缩容，极大提升资源利用率。 Pulsar 还支持对单个消息独立 Ack，可以很好地防止重复消费。...这样所有服务都在云端通过 K8s 调度，有高可用保障，只需调整副本数即可轻松扩缩容。 基于事件总线的事件分发 事件总线用于规范事件管理，事件按业务和类型维度管理。...K8s 支持 HPA，通过监控容器 CPU 和其他内存指标，当达到一定阈值时，触发服务扩缩容。这对一些队列消费服务不适用。...我们计划扩展 K8s 的 HPA，在监控 CPU 和内存等指标基础上再监控 msgBacklog，增强扩缩容灵活性，防止消息堆积。
结合前述的背景，不难得出，本次改进目标有两点： 允话用户（更精确）的控制扩缩容速度； 允话用户在 HPA 层面控制扩缩容速度（每个HPA可以有个性化的控制）； 新特性设计 ?...有个参数（--horizontal-pod-autoscaler-sync-period） 控制的是 HPA controller 处理周期，每个周期中处理所有的 HPA（为HPA生成扩缩容建议，并执行扩缩容...percent （扩缩容百分比） 顾名思义，这个是控制扩缩容的百分比，可以简单的理解成把硬编码的 scaleUpLimitFactor = 2.0 改成可配置项。...pods （扩缩容个数） 这个是控制每个扩缩容的绝对个数，可以简单的理解成把硬编码的 scaleUpLimitMinimum = 4.0 改成可配置项。...非常类似），配置如下： scaleDown： pods = 5 delaySeconds = 600 那么，每次缩容最多减少5个pod，同时每次缩容，至少看到之前600s的推荐值，从中选择最大的值。
自动驾驶（Autopilot）：数据库根据业务负载自动启动停止，无感扩缩容，扩缩容过程不会断开连接。...以双11高负载的场景为例，提前发起扩缩容的操作会导致运维效益随之大打折扣。不仅如此，固定规格对传统云数据库的计算进程常驻，无请求时仍然收费。...3.秒级扩缩容能力。(1). 通过计算与存储解耦，存储空间可以自动扩缩容，弹性能力显著。(2). 存储容量可以自动扩充，且容量足够大，足以支撑业务的发展。4.秒级快照备份回档能力。(1)....随着业务的增长，能够进行水平扩容，扩缩容的整体响应好。...自动扩缩容：不需要开发者提前去预测扩容的实例规格，通过系统的负载来进行自动的扩容。购买的时候，给用户提供一个区间，比如选择的是1核2G, 2核4G，就会只在这个固定的区间范围内进行扩缩容。
此外，针对例如基于业务单副本 QPS 大小来进行自动扩缩容等复杂场景，可通过安装 prometheus-adapter 来实现自动扩缩容，具体可参考文档[7]。 ?...2.1.2 通过 HPC 定时扩缩容 假设你的业务是电商平台，双十一要进行促销活动，这时可以考虑使用 HPA 自动扩缩容。...HPC（HorizontalPodCronscaler）是 TKE 自研组件，旨在定时控制副本数量，以达到提前扩缩容、和提前触发动态扩容时资源不足的影响，相较社区的 CronHPA，额外支持： 与 HPA...1、HPC使用场景 以游戏服务为例，从周五晚上到周日晚上，游戏玩家数量暴增。如果可以将游戏服务器在星期五晚上前扩大规模，并在星期日晚上后缩放为原始规模，则可以为玩家提供更好的体验。...HPA 一起使用：HPA 负责应用层的扩缩容，CA 负责资源层（节点层）的扩缩容，当 HPA 扩容造成集群整体资源不足时，会引发 Pod 的 Pending，Pod Pending 会触发 CA 扩充节点池以增加集群整体资源量
并且对依赖服务有N倍放大，容量评估工作量大，涉及的开发和运维人员多，紧急突发可能性大 大量重复开发工作，活动之间相互割裂，缺乏沉淀复用和共享 运营活动快上快下的特点非常适合跑在 TKE 环境，利用其弹性伸缩、快速扩缩容特性应对活动突发流量...自动扩缩容，极大的提升了周期性游戏活动资源准备效率。...网关运营监控指标 业务容器性能监控指标 官网营销活动 官网营销活动HPA实践 业务需求场景：营销活动有定点开启特性，开启时流量会突增，且生命周期内流量波动较大，对资源有弹性扩缩容需求。...需求 最终效果 分钟级扩容 优化后的 HPA 直接从 Metrics Server 取负载数据，扩容可以做到1分钟左右 原生 HPA 仅支持 Pod 粒度的 metric 计算,需要针对业务容器进行扩缩容...container 时业务容器负载高，但是 Pod 整体负载低情况下可以扩容 支持 request、limit 多种方式触发 HPA 支持按 request、limit 的方式 HPA，覆盖不同的业务场景 扩缩容事件
通过云上的容器化部署、自动扩缩容、健康检查、可观测性等手段，提高了知几项目的持续交付能力和稳定性，形成了一套适合游戏知几自身的上云实践方案。...基于上述的部署方案，利用云原生的自动扩缩容能力可以方便地解决上述问题： STKE 提供的定时 HPA 和动态扩缩容能力，可以很好的解决节假日、运营活动的流量突增带来的服务稳定性问题，且流量平稳后的自动缩容可以有效的节约资源...由于 HPA 会导致业务容器的扩缩容，如果流量在服务未完成启动时接入或者流量还在访问时接销毁 pod，会导致流量的损失，因此需要开启就绪检测和 prestop 配置。...HPA STKE 提供的 HPA 能力能够很好的满足知几对扩缩容的需求，知几同时使用了定时 HPA 和动态 HAP 满足不同的场景： 针对突发流量， 知几采用 CPU request 和内存 request...特别是定时 HPA，可以很方便的满足知几在未成年人保护方面对扩缩容的要求，系统可以在特定时间段完成系统容量的扩容和缩容，在保证系统平稳应对流量的同时也不会造成对资源的浪费。
TDSQL-C Serverless 的技术实现 传统云数据库并没有实现自动扩缩容、按使用量计费、无使用无费用。...在现实里，如果游戏厅就在你房间旁边，你房租的价格也会比其他地方的更贵。 计算跟存储分离，就是让房子和客厅解耦。只要解决传送问题（自动扩缩容）就可以让这个房间的成本回归到它本身的价值。...常见的自动扩缩容业务场景 慢查询。...当然你也可以选择在活动前扩容，活动后缩容。但这总的也不方便，而且并不是所有的活动都有足够的时间去规划。所以这时候就需要一个自动扩缩容的能力。 定时任务。很多业务都会有定时任务的需求。...虽然你也可以根据计划去手动扩缩容。但有些计划使用的计算资源不可控，时间也不可控。少了速度慢，可能还会影响到线上业务，多了又会浪费。
业务初期：手动扩容 业务初期，负载较低，根据业务特征，手动扩缩容基本可以满足需求。 由于手动扩缩容需要一定的时间窗口，因此需要放置一定数量的冗余资源应对突增流量，资源利用率较低，只有6%左右。...业务发展中：节点池 随着业务发展，周期性的高低峰流量特征愈发明显，面对高频的扩缩容需求时，手动扩缩容不仅人力成本较高，而且无法避免人为失误。...在突增流量速度较慢的场景下，节点池可以较好满足业务需求，不过需配置服务器，扩容速度较慢，冗余资源仍存在，资源利用率较低。另外，缩容时对节点进行封锁、驱逐等操作，不利于服务的稳定性。...相比节点池，虚拟节点的扩容、缩容流程简化了购买、初始化、退还服务器的流程，大大提升了弹性的速度，尽可能降低在扩容流程中可能出现的失败，使得弹性更快、更高效、更节省成本。...秒级扩缩容 通过虚拟节点+K8s HPA 能力，集群可在数十秒内启动数以百计的承载百万级流量的Pod，可以轻松应对快速扩缩容需求。再结合业务侧数据，自动化进行资源预热，提升集群抗突增流量能力。
该平台做了很多简单的整改，我们发现很多开发者其实对购买服务器搭建数据库、初始化、扩缩容等，并不熟悉，包括CDN他们也不太明白。...前面的轻量级游戏解决方案无法适用于重度游戏，所以我们总结了些重度小游戏在架构方面面临的一些挑战。 首先是弹性扩缩容，这也是目前最令运维最头痛的问题，因为我们无法预测到小程序何时会爆。...有时候某个大V不经意的在朋友圈或者群里发了这个游戏，可能就会引发几何式的增长。 而此时游戏又没有办法做弹性扩容，因为可能架构上就不满足弹性扩缩容的要求。...所以我们经常会看到，要么游戏一直不火，要么火了一段时间后停机维护，之后淡出视线。 第二个是高并发承载，这也是实现弹性扩缩容的先决条件，即如何应对突发的大流量涌入，在高压情况下保证游戏的流畅性。...弹性扩容主要是通过腾讯云的云监控获取服务器、CPU、内存、读写的承载情况，然后判断这些数据是否达到阈值，一旦超过阈值就自动进行扩缩容。
此外，在性能和成本效益方面，还缺乏与垂直自动扩缩容相关的分析，以及如何与水平自动扩缩容进行比较。...Pod的规模 Lower bound：推荐request资源的下限值，如果request低于此限制，考虑到置信因子，将会扩大Pod的规模 置信因子是一种使VPA 在自动扩缩容决策上更加保守的一种方法。...评估场景 考虑到垂直扩缩容至少需要一个监控的Pod，因此为了保持配置相似，需要为每个扩缩容策略配置2个初始Pods。...此外，即使在最后5个低强度的负载的阶段中，VPA也没有进行缩容，此时申请的资源要大于所需的资源。这种延迟背后的原因是出于该机制的置信因子，它需要更多的时间来提升推荐的可信度。...可以得出，在较长时间的实验中，可以生成更多的pod执行的历史数据，垂直自动扩缩容将更有效地执行自动扩缩容决策。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
