王孝威,腾讯云容器产品经理,热衷于为客户提供高效的 Kubernetes 使用方式,为客户极致降本增效服务。 弹性伸缩在云计算领域的简述 弹性伸缩又称自动伸缩,是云计算场景下一种常见的方法,弹性伸缩可以根据服务器上的负载,按一定的规则进行弹性的扩缩容服务器。 弹性伸缩在不同场景下的含义: 对于服务运行在自建机房的公司,弹性伸缩通常意味着允许一些服务器在低负载时进入睡眠状态,从而节省电费(以及用于冷却机器的水费和电费)。 对于使用在托管于云上的机房的公司而言,自动扩展可能意味着更低的费用,因为大多数云提供
在容器化的基础上,我们已经通过一些手段,比如监控分析、弹性伸缩等降低了 k8s 集群的成本,取得了一定的成效。
弹性是云原生、Serverless 的基础。AutoMQ 从软件设计之初即考虑将弹性作为产品的核心特质。对于 Apache Kafka 而言,由于其存储架构诞生于 IDC 时代,针对物理硬件设计,存储层强依赖本地存储,已不能很好地适应现在云的时代了。当然,这并不意味着我们要放弃 Kafka。Kafka 凭借极其优异的生态已经塑造了其在流处理领域不可撼动的地位,Kafka API 俨然已经成为流处理协议的事实标准。正是因为看到了这一点,AutoMQ 积极拥抱 Kafka 生态,在完全兼容其计算层的基础上,对底层存储做了云原生的改造,充分兑现云的规模化成本、技术红利。
刘如梦,腾竞体育研发工程师,擅长高并发、微服务治理、DevOps,主要负责电竞服务平台架构设计和基础设施建设。 詹雪娇,腾讯云弹性容器服务EKS产品经理,主要负责 EKS 虚拟节点、容器实例相关的产品策划。 业务介绍 自 2019 年,腾竞整个电竞赛事数据服务完全由腾讯云 TKE 容器服务承载。腾竞赛事数据开放平台目前主要提供职业赛事数据的授权与查询,随着斗鱼、虎牙、企鹅、掌盟、微信直播、微博等平台的相继接入,平台整体流量有了爆发式的增长。 此前 2021英雄联盟全球总决赛(以下简称 S11) 期间更是创
弹性伸缩这种功能,不是很多系统都已经实现了,我们直接用就行了吗,为什么还需要个指南呢。 因为。。。。我们先来看看都有哪些相关知识点吧。。。
最近西安一码通的故障引起了业界广泛的讨论,究其根本原因还是系统未充分考虑到扩展性,在面临超过日常访问数倍甚至十倍以上的突发流量时某个环节达到了瓶颈点,并且系统不能做到自动扩缩容,最终导致了故障。
王涛,腾讯云专家工程师,从事Kubernetes容器平台的研发近6年,目前主要负责腾讯海量自研业务容器化上云的平台研发。在利用云原生技术构建DevOps、ServiceMesh、AI、大数据平台等场景有丰富经验。
腾讯云TSF是整合外部开源框架和腾讯内部历经多年锤炼的PaaS平台打造而成的企业级分布式应用服务开发与托管平台,本文重点对TSF中负责服务托管的PaaS平台进行揭秘,从技术角度解析TSF 平台是如何每天应对万亿次调用的服务托管与治理。
企业A的论坛平台已经顺利上线。但是随着用户量的激增,原有的架构已经难以完全支撑论坛平台的正常运行。由于用户量的增加,前端负载压力也随之增大,而且难以解决单点故障的问题。每到周末论坛平台的访问量会比工作日的访问量大很大,在访问非高峰期闲置的资源造成浪费。因此需要结合腾讯云的负载均衡CLB和弹性伸缩AS升级原有架构。
软件系统是可以随着需求变化或者技术变化而不断扩展和迭代的,我们常见的各种软件系统比如操作系统、各种知名开源软件系统都是如此。而在这个过程中,我们如何通过较小的代价去扩展我们的系统,是我们要重点考虑的。
晏子怡,腾讯云产品经理,目前负责TKE集群、网络及调度模块。 从 K8s 的声明式设计理念谈起 Pod 模板 K8s 最优雅精妙的一个设计理念在于声明式 API 的运用,而 Deployment 又是其中的集大成者。 如果没有 Deployment ,我们需要管理上万的单独 Pod, 为每一个 Pod 设置合适的资源需求,容器镜像版本,Label,Taints 等属性。同时,我们还需要保证每一个业务对应的 Pod 数量在合适的值,来适应流量波动并达到负载均衡。而通过 Deployment 提供的 Po
时间倒回到10月08日,中午吃饭刷着刷着微博发现微博突然挂了。 我一开始以为是家里网不好,后来换了流量刷还是刷不出内容,并且报error,我就知道微博应该是挂了。 往朋友圈一看,原来是鹿晗和关晓彤微博互圈“宣布恋情”了。要不是以前看过《好先生》这部剧没准我还真不认识关晓彤。陆地cp前几天不是还在炒着吗?怎么这么突然?诶..贵圈贼乱啊。 这个时候不同的人就会有如下不同的反应: 老板心里想:哪些家伙在加班又得扣钱了,拿起电话赶快给CTO打了个电话; CTO心里想:这帮家伙叫放假别上线,又乱整,CTO立即联络
HPA(Horizontal Pod Autoscaler)是 Kubernetes 中的一种资源自动伸缩机制,用于根据某些指标动态调整 Pod 的副本数量。
随着时间的推移,降本增效成为了企业界和组织中的一个新口号。在2023年,这个口号进一步获得了广泛的认可和重要性,成为了许多组织在业务运营中的关键目标。在2023年,许多组织开始将降本增效作为战略性目标,并将其融入到整个组织的文化和运营流程中。这需要组织内部的各个部门和团队共同努力,从高层管理层到基层员工,都需要意识到降本增效的重要性,并为之努力。 降本增效的方法多种多样,其中一个关键领域是技术和数字化转型。组织通过采用新技术、数字化工具和自动化流程来改进业务流程和运营效率。例如,采用先进的数据分析和人工智能技术,组织可以更好地理解和优化成本结构,找到潜在的成本节约机会。同时,云计算和容器化技术如Kubernetes等的应用,也为降本增效提供了新的机会,通过资源优化和自动化管理来降低成本并提高效率。 那么今天就为大家介绍Crane
Serverless 数据库作为近几年云原生数据库领域的重要发展方向,自 2018 年 AWS 率先推出 Aurora Serverless MySQL 服务,打响 Serverless 数据库之战的第一枪以来,各大云平台厂商一直在该领域不断深耕探索。9 月 7 日,在 2023 腾讯全球数字生态大会云原生数据库技术演进与实践专场上,腾讯云数据库团队重磅发布了云原生数据库 TDSQL- C Serverless 2.0 版本。在这场分享中,腾讯云数据库产品经理陈昊老师介绍了腾讯云 TDSQL-C Serverless 独有的弹性伸缩方案,本文就以此为引,深度探索一下 TDSQL-C Serverless 的纵向弹性伸缩策略及稳定性。
本文介绍了腾讯弹性计算平台在提升资源利用率、减少能源浪费方面的实践和成果。通过多种虚拟化技术、资源调度算法、智能优化策略等,实现了弹性资源的精细化管理和调度,降低了资源浪费,提高了资源利用率,并降低了碳排放和能源成本。
常耀国,腾讯SRE专家,现就职于PCG-大数据平台部,负责千万级QPS业务的上云、监控和自动化工作。 背景 BeaconLogServer 是灯塔 SDK 上报数据的入口,接收众多业务的数据上报,包括微视、 QQ 、腾讯视频、 QQ 浏览器、应用宝等多个业务,呈现并发大、请求大、流量突增等问题,目前 BeaconLogServer 的 QPS 达到千万级别以上,为了应对这些问题,平时需要耗费大量的人力去维护服务的容量水位,如何利用上云实现 0 人力运维是本文着重分析的。 混合云弹性伸缩 弹性伸缩整体效果
PolarDB Serverless脱胎于 PolarDB 团队发表在SIGMOD 2021的论文,是选取其中成熟的技术最终产品化的结果。我们借助两大核心技术,高性能全局一致性SCC和热备无感秒切,无论在跨机扩展还是跨机切换,都达到了业界领先的能力。PolarDB MySQL Serverless于去年底正式上线,目前已经有1000+用户开始上手使用。本文期望从实践角度,演示如何测试PolarDB Serverless的弹性能力。
TDSQL-C 是腾讯云自研的新一代云原生关系型数据库。融合了传统数据库、云计算与新硬件技术的优势,100%兼容 MySQL,为用户提供极致弹性、高性能、高可用、高可靠、安全的数据库服务。实现超百万 QPS 的高吞吐、PB 级海量分布式智能存储、Serverless 秒级伸缩,助力企业加速完成数字化转型。
最新版 HPA:autoscaling/v2beta1,有四种类型的 metrics
腾讯云容器团队对IDC、上云非容器化、容器化的计算资源利用情况进行了调研,结果显示容器化改造后资源利用率提升最高可达60%~70%,并提出容器化资源利用率成熟度模型。
作者 | 王涛 仅用三年时间,基于腾讯云 TKE 底座,腾讯自研业务容器化规模已达到千万核级别的 CPU 资源规模。面对如此海量的异构资源和复杂多样的业务场景,腾讯是如何做到资源利用率 65% 的?在调度编排、弹性伸缩、应用管理、稳定性保障等方面,腾讯又有哪些秘籍?在 ArchSummit 2022 全球架构师峰会(深圳站)上,腾讯云自研上云容器平台负责人王涛发表了题为《如何管理超千万核资源的容器规模》的演讲,为大家逐一揭秘。 腾讯自研业务容器化上云历程 腾讯自研业务容器化上云的技术路线经历了多个阶段
数据库是企业核心业务运行的重要组成部分,数据是企业的生命线,如果数据库出现宕机、数据丢失或不可用等问题,将会对企业的生产、营销和决策产生难以预估的影响,因此,一套高可用的数据库架构对于企业来说至关重要,可以最大化保证业务稳定性和数据可靠性。腾讯云MySQL推出全场景高可用性架构(All-Scenario High Availability Architecture,AS-HAA),用户可根据实际业务需求、业务类型自行配置。
腾讯云 CVM 提供了在云中的可扩展的虚拟计算资源,允许您选择多种操作系统来启动 CVM 实例,并加载到您自定义的应用环境。后续随着业务量的变化,您还可以随时调整您的 CVM 规格。
第一个阶段为早期单体架构,一般服务端+数据库的方式进行开发,采用三层MVC架构进行开发。主要特点:企业处于早期,业务比较简单,产品功能比较单一,业务会随时根据运营数据进行调整,对开发人员来说,主要讲不同的功能模块进行划分,能够应对业务随时调整的不确定性。
王玉君,腾讯云后台工程师,拥有多年大规模Kubernetes集群的开发运维经验。目前负责腾讯云TKE大规模Kubernetes集群的大数据应用托管服务。 谭春强,腾讯云后台工程师,拥有两年大数据EMR集群管控运维经验,目前负责腾讯云大数据EMR组件的容器化方向。 1.引言 随着云原生概念的兴起,越来越多的企业投身于云原生转型的浪潮,以解决传统应用面临的弹性能力不足、资源利用率较低、迭代周期较长等问题。通过云原生技术(如容器,不可变基础设施和声明式API等),使得企业在公有云、私有云和混合云等云环境构建和运
Spring Cloud 官方文档说了,它是一个完整的微服务体系,用户可以通过使用 Spring Cloud 快速搭建一个自己的微服务系统。那么 Spring Cloud 究竟是如何使用的呢?他到底有哪些组件?
没有区别。创建整机镜像有三种方式:使用云服务器创建、使用云服务器备份创建,以及使用云备份创建。使用备份创建镜像与使用云服务器创建镜像原理一样。云服务器创建镜像时,先为云服务器创建备份,再通过备份创建镜像,中间过程为系统自动完成的。所以二者没有区别。
300+参评项目,100+入围项目,10000+开发者公开票选,20+专家评审,10+主编团打分,历经数月打磨,由 InfoQ 发起组织的【 2020 中国技术力量年度榜单评选】结果揭晓: 腾讯云大数据云原生技术脱颖而出,荣获 2020年度十大云原生创新技术 早前,在2020年7月可信云大会上 腾讯云大数据云原生已荣获评年度技术最佳实践 那么腾讯云大数据云原生究竟凭什么能连续拿走两座大奖呢? 大数据云原生作为当前行业内热门的钻研话题,未来发展前景及趋势均不可小觑。各大云厂商、大型互联网企业都在尝试
弹性能力,是云产品的核心能力之一,也是各大云厂商的竞争热点。AWS作为全球云厂商的领军企业,其发展方向具备一定的代表意义。下面就从其数据仓库产品-Redshift入手,分析其在弹性能力方面的演进过程,同时也谈谈自己对弹性问题的一些理解。
疫情期间,大部分企业开始尝试线上办公,学校也进行直播授课。2月,腾讯宣布疫情期间免费开放可支持300人在线会议的腾讯会议,满足用户需求。
唐聪,腾讯云容器技术专家,极客时间专栏《etcd实战课》作者,开源项目kstone和crane内部雏形版 founder,etcd活跃贡献者,主要负责腾讯云大规模k8s和etcd平台稳定性和性能优化、业务集群成本优化、有状态服务容器化等产品研发设计工作。 背景 2021年下半年以来,在新冠疫情和互联网政策的冲击之下,各大互联网公司都在进行降本增效。降本增效的一大核心手段就是优化计算资源成本,本文将以腾讯某内部 Kubernetes/TKE 业务为案例,详细阐述如何从 0到1(成本数据采集与分析、优化措施、行
在当前的IT市场中,组织正将其旧的基础设施迁移到云上,其基础设施的每个部分都在向云化的方向发展。因此,我们有必要来看一下为云级网络(cloud-grade network)而生的SDN控制器,其中一个就是Tungsten Fabric(TF)。
谢谆志,后台开发,目前负责腾讯云内部上云TKEx平台资源管理相关工作。在团队中负责集群搭建及资源规划、平台监控系统建设、产品配额管理等。
王孝威,FinOps 认证从业者,腾讯云技术产品经理,Crane 产品负责人。 云资源管理现状 设想你是一个应用开发人员,编写业务代码是你的主业,应用需要多少资源,往往通过压测决定,这导致非业务高峰期时段巨大的资源浪费。正好,社区和公司都在积极推动云原生,声称可以利用其强大的调度和弹性解决资源浪费问题。你兴致勃勃的拥抱云原生,但最终发现,云原生业务的资源配置,同样还是需要压测这种传统而手工的方式。 又比如你是一个平台侧运维人员,你背负着提升平台资源利用率的 KPI。集群内运行着众多负载规律波动的应用,你惊喜
王孝威,腾讯云容器产品经理,热衷于为客户提供高效的 Kubernetes 使用方式,为客户极致降本增效服务。 晏子怡,腾讯云容器产品经理,在Kubernetes 弹性伸缩、资源高效利用领域有丰富的实战经验。 背景 公有云的发展为业务的稳定性、可拓展性、便利性带来了极大帮助。这种用租代替买、并且提供完善的技术支持和保障的服务,理应为业务带来降本增效的效果。但实际上业务上云并不意味着成本一定减少,还需适配云上业务的应用开发、架构设计、管理运维、合理使用等多方面解决方案,才能真正助力业务的降本增效。在《Ku
唐聪,腾讯云容器技术专家,极客时间专栏《etcd实战课》作者,开源项目kstone和crane内部雏形版 founder,etcd活跃贡献者,主要负责腾讯云大规模k8s和etcd平台稳定性和性能优化、业务集群成本优化、有状态服务容器化等产品研发设计工作。 背景 2021年下半年以来,在新冠疫情和互联网政策的冲击之下,各大互联网公司都在进行降本增效。降本增效的一大核心手段就是优化计算资源成本,本文将以腾讯某内部 Kubernetes/TKE 业务为案例,详细阐述如何从 0到1(成本数据采集与分析、优化措施、
一 云资源管理现状 设想你是一个应用开发人员,编写业务代码是你的主业,应用需要多少资源,往往通过压测决定,这导致非业务高峰期时段巨大的资源浪费。正好,社区和公司都在积极推动云原生,声称可以利用其强大的调度和弹性解决资源浪费问题。你兴致勃勃的拥抱云原生,但最终发现,云原生业务的资源配置,同样还是需要压测这种传统而手工的方式。 又比如你是一个平台侧运维人员,你背负着提升平台资源利用率的 KPI。集群内运行着众多负载规律波动的应用,你惊喜的发现,Kubernetes 提供了自动扩容能力,你很想试试看。但真正使用
导语 ModernFlux为异构环境下微服务提供分布式多维负载保护。由腾讯互娱增值服务部IEG-AMS团队自研,并于2018年正式上线运营。应用于腾讯IEG 80%的营销活动以及多个内部平台。经历各种秒杀活动、游戏周年庆以及节假日,取得很好实践效果,保障了系统安全运营。现将ModernFlux对外开源,为微服务开源社区贡献力量。 主要设计目标 方便业务接入,易运营,支持业务系统异构部署, 对现有业务运营风险影响小。 支持全局流控和服务上下游联动,支持业务/资源等多维度流控,根据业务负载对外提供弹性服务。
近日,AutoMQ 团队发布了基于云的开源云原生 Kafka—— AutoMQ for Kafka,所有的代码采用 Apache 2.0 开源许可。AutoMQ 充分挖掘了云原生的技术红利和成本优势,再结合 Serverless 弹性技术,实现了 Apache Kafka 十倍的降本增效。本文从技术架构的角度,来揭秘 AutoMQ 为 Kafka 量身打造的云原生十倍降本方案。
疫情期间,大部分企业开始尝试线上办公,学校也进行直播授课。2月,腾讯宣布疫情期间免费开放可支持300人在线会议的腾讯会议,满足用户需求。 随着业务的几何级增长,为腾讯会议提供了解决方案的云数据库产品需要应对快速增长的存储容量和性能需求,让用户无感知的同时做到快速无损在线扩容,提供稳定可靠的服务。也要求运维人员时刻关注系统健康情况,快速应对各种系统问题,既能实现对业务的精细化运营,也能满足对大量数据库运维需求的快速支持。 如此“高标准严要求”的任务是在腾讯云Redis和自研国产金融级分布式数据库TDSQL配
某客户在中秋及国庆期间进行推广活动,业务访问量是平常的几倍,由于访问量的突增,无法及时进行扩容来规避,虽客户内部已提前进行容量评估和预留, 也采用自建的自动化扩容机制,其时效性在突发情况下未能达到预期,导致本次双节活动产生不小的业务损失。
弹性伸缩目标追踪伸缩规则是弹性伸缩服务与云监控深度结合的产物,定义了更加稳定,精准,快速的弹性伸缩策略,解决了当前伸缩组动态调整过程存在的一些难点和问题。
领取专属 10元无门槛券
手把手带您无忧上云