作者 | 百度云原生团队 根据 Gartner 的调查数据,到 2022 年底,全球企业在云计算基础设施方面的支出约为 3330 亿美元。麦肯锡在调查报告中指出,2020 年,由于缺乏成本优化手段,80% 企业的云资源成本大幅超出预算;同时,45% 的企业由于缺乏优化措施,在直接迁移上云的过程中会超买 55% 的资源,并且在上云的头 18 个月会多花 70% 的费用。 随着全球经济持续下行,企业应该如何做好精细化运营和降本增效,如何优化云资源的分配、使用和管理成为了当下必须要考虑的问题。 本文将会具体介绍百
林沐,腾讯云高级工程师,负责腾讯自研业务上云平台的建设和有状态服务容器化标准的制定,专注于大规模服务场景云原生实践的推广。 导读|基于 K8s 的云原生容器化已经在腾讯内部海量业务中大范围落地实践。业务从传统的虚拟机部署形态无缝切换到容器部署形态,运行在 K8s 上的应用从无状态服务扩展到有状态服务,这个过程经历了哪些改造?同时,K8s 如何经受住业务形态复杂多样、模块数量庞大的考验?遇到哪些新的挑战?如何优化?效果怎么样?腾讯云高级工程师林沐将为你解答。 在线业务资源容器化部署的问题与优化方案 腾讯平台
导读|基于 K8s 的云原生容器化已经在腾讯内部海量业务中大范围落地实践。业务从传统的虚拟机部署形态无缝切换到容器部署形态,运行在 K8s 上的应用从无状态服务扩展到有状态服务,这个过程经历了哪些改造?同时,K8s 如何经受住业务形态复杂多样、模块数量庞大的考验?遇到哪些新的挑战?如何优化?效果怎么样?腾讯云高级工程师林沐将为你解答。 在线业务资源容器化部署的问题与优化方案 腾讯平台的业务基本都属于在线业务。这些业务以前在虚拟机部署时,是通过物理机操办的方式生产出很多虚拟机,对于业务来说是不感知的。当业务
静态调度,是指根据容器请求的资源进行装箱调度,而不考虑节点的实际负载。静态调度最大的优点就是调度简单高效、集群资源管理方便,最大的缺点也很明显,就是不管节点实际负载,极容易导致集群负载不高。
谢谆志,后台开发,目前负责腾讯云内部上云TKEx平台资源管理相关工作。在团队中负责集群搭建及资源规划、平台监控系统建设、产品配额管理等。
王玉君,腾讯云后台工程师,拥有多年大规模Kubernetes集群的开发运维经验。目前负责腾讯云TKE大规模Kubernetes集群的大数据应用托管服务。 谭春强,腾讯云后台工程师,拥有两年大数据EMR集群管控运维经验,目前负责腾讯云大数据EMR组件的容器化方向。 1.引言 随着云原生概念的兴起,越来越多的企业投身于云原生转型的浪潮,以解决传统应用面临的弹性能力不足、资源利用率较低、迭代周期较长等问题。通过云原生技术(如容器,不可变基础设施和声明式API等),使得企业在公有云、私有云和混合云等云环境构建和运
汤英康,腾讯高级工程师、Kubernetes 开源协同 PMC,负责TEG信息安全部的容器化上云相关工作。 引言 截止到2021年5月,TEG 信安运维团队历时一年,完成了 TKE 容器从0到1的平台能力建设,集群总规模超过60万核,在资源成本、服务质量和运营效率上都取得了明显的收益。本文将介绍信安 TKE 容器的建设思路和历程,分享各阶段遇到的问题和方案,希望能给其他上云团队提供一些参考。 背景 信安致力于提供专业的内容安全解决方案,承接了公司内外大量的业务安全需求,随着业务量的迅速增长,信安内部的资源
根据 Gartner 预测数据显示:2024 年全球 IT 支出预计将达到 5.1 万亿美元,比 2023 年增长 8 %。然而,该机构的另一项调查数据显示:全球数据中心服务器平均 CPU 利用率普遍低于 20%,存在巨大的资源浪费。据测算,以数百万核 CPU 规模的数据中心为例,每提升 1 个百分点的整体资源利用率,每年将节省数千万元的成本。由此可见,提高资源利用率对于降低企业运营成本具有显著的效果。 早在 2015 年,谷歌就在其经典论文《Large-scale cluster management at Google with Borg》中披露了它在资源管理和调度方面的实践经验,是最早通过混部技术来提升资源利用率的公司之一。国内多家头部互联网企业也相继实施类似的技术方案,并取得可观的资源利用率提升效果。 随着小红书业务的高速发展,各类在线、离线业务对计算资源的需求日益增长。与此同时,我们观察到:部分在线集群天均利用率的水位却维持在较低的水平。造成这一现象的主要原因有以下几点:
作者 | 王涛 仅用三年时间,基于腾讯云 TKE 底座,腾讯自研业务容器化规模已达到千万核级别的 CPU 资源规模。面对如此海量的异构资源和复杂多样的业务场景,腾讯是如何做到资源利用率 65% 的?在调度编排、弹性伸缩、应用管理、稳定性保障等方面,腾讯又有哪些秘籍?在 ArchSummit 2022 全球架构师峰会(深圳站)上,腾讯云自研上云容器平台负责人王涛发表了题为《如何管理超千万核资源的容器规模》的演讲,为大家逐一揭秘。 腾讯自研业务容器化上云历程 腾讯自研业务容器化上云的技术路线经历了多个阶段
随着时间的推移,降本增效成为了企业界和组织中的一个新口号。在2023年,这个口号进一步获得了广泛的认可和重要性,成为了许多组织在业务运营中的关键目标。在2023年,许多组织开始将降本增效作为战略性目标,并将其融入到整个组织的文化和运营流程中。这需要组织内部的各个部门和团队共同努力,从高层管理层到基层员工,都需要意识到降本增效的重要性,并为之努力。 降本增效的方法多种多样,其中一个关键领域是技术和数字化转型。组织通过采用新技术、数字化工具和自动化流程来改进业务流程和运营效率。例如,采用先进的数据分析和人工智能技术,组织可以更好地理解和优化成本结构,找到潜在的成本节约机会。同时,云计算和容器化技术如Kubernetes等的应用,也为降本增效提供了新的机会,通过资源优化和自动化管理来降低成本并提高效率。 那么今天就为大家介绍Crane
根据 Gartner 预测数据显示:2024 年全球 IT 支出预计将达到 5.1 万亿美元,比 2023 年增长 8 %。然而,该机构的另一项调查数据显示:全球数据中心服务器平均 CPU 利用率普遍低于 20%,存在巨大的资源浪费。据测算,以数百万核 CPU 规模的数据中心为例,每提升 1 个百分点的整体资源利用率,每年将节省数千万元的成本。由此可见,提高资源利用率对于降低企业运营成本具有显著的效果。
林顺利,腾讯云原生产品经理,负责分布式云产品迭代和注册节点客户扩展,专注于云原生混合云新形态的推广实践。 背景 企业在业务的持续运维过程中,感受到腾讯云 TKE 带来的便捷性和极致的使用体验,将新业务的发布以及老业务的维护都迁移到云上 TKE 来实现。但很多企业数据中心建设较为早期,选型上采取了自建 IDC 机房的方案,长久以来的 IDC 运营维护和企业上云的诉求产生了冲突和矛盾: 1、资源难利旧/利用率低 业务大部分在云上运行,存量的 IDC 主机难以利旧; 云下资源业务利用率低(主要是 CPU 资源),
2021年5月29-31日Qcon软件大会在北京国家会议中心举行。自2007年3月份开始举办以来,已经有超万名有多年从业经验的技术人员参加过QCon大会。QCon 内容源于实践并面向社区,演讲嘉宾依据热点话题,面向5年以上工作经验的技术团队负责人、架构师、工程总监、开发人员分享技术创新和实践。 云计算平台带来 IT 基础设施巨大变革,每一次 IT 基础设施的变革都会激发开发人员去思考能够充分发挥新平台优势的软件设计和开发方法。“云原生”就是一种充分利用云计算模式的优点来构建和运行应用的方法。 无论是构建
唐聪,腾讯云容器技术专家,极客时间专栏《etcd实战课》作者,开源项目kstone和crane内部雏形版 founder,etcd活跃贡献者,主要负责腾讯云大规模k8s和etcd平台稳定性和性能优化、业务集群成本优化、有状态服务容器化等产品研发设计工作。 背景 2021年下半年以来,在新冠疫情和互联网政策的冲击之下,各大互联网公司都在进行降本增效。降本增效的一大核心手段就是优化计算资源成本,本文将以腾讯某内部 Kubernetes/TKE 业务为案例,详细阐述如何从 0到1(成本数据采集与分析、优化措施、行
唐聪,腾讯云容器技术专家,极客时间专栏《etcd实战课》作者,开源项目kstone和crane内部雏形版 founder,etcd活跃贡献者,主要负责腾讯云大规模k8s和etcd平台稳定性和性能优化、业务集群成本优化、有状态服务容器化等产品研发设计工作。 背景 2021年下半年以来,在新冠疫情和互联网政策的冲击之下,各大互联网公司都在进行降本增效。降本增效的一大核心手段就是优化计算资源成本,本文将以腾讯某内部 Kubernetes/TKE 业务为案例,详细阐述如何从 0到1(成本数据采集与分析、优化措施、
存储圈都在谈论闪存以及软件定义存储。一个是存储介质的更新换代;一个是存储架构的变化。
企业降本增效是越来越热门的话题,除去较为粗暴的“毕业”之外,企业还可以在许多地方下功夫,例如降低大数据成本、营销成本、运营成本等等。在 ArchSummit 全球架构师峰会深圳站上,我们邀请了货拉拉大数据架构负责人王海华,他为我们分享了《货拉拉基于混合云的大数据成本管控体系建设实践》,本文为其演讲整理,期待你可以有所收获。 大家好,我是王海华,货拉拉基础架构负责人,我将从以下几方面展开分享。首先是背景与挑战;其次是大数据成本管理体系;接着是存储成本优化和计算成本优化技术细节;最后是总结与展望。 背景与挑
面对节假日常规促销、618/ 双 11 购物节等配送业务订单量的暴增,达达集团通过智能弹性伸缩架构和精细化的容量管理,有效地做到了业务系统对配送全链路履约和服务体验的保驾护航。在 2021 年 4 月 25 日 ArchSummit 全球架构师峰会(上海站)上,达达集团云平台 DevOps & SRE 负责人杨森,发表了以《左手 VM ,右手 Container Serverless ,云原生智能弹性伸缩架构和实践》主题分享,希望对正在进行弹性扩缩容的你有所启发。本文为其演讲整理,enjoy~
腾讯云TKE,全称Tencent Kubernetes Engine,是一种完全托管式的容器服务。它可以帮助用户快速、高效地部署和管理Kubernetes集群,并提供一系列与之相关的云服务,如负载均衡、云硬盘、对象存储等。本文基于《2023腾讯云容器和函数计算技术实践精选集》所写,这本实践精选集是深入探索云原生领域技术实践的书籍,它涵盖了Docker容器、Serverless、微服务、云原生架构等多个关键领域,为读者提供了丰富的技术知识和实践经验。
云计算在出现16年后,已经成为IT领域的标配模式。它易操作、存储量惊人、对用户来说几乎无处不在。它不仅成就了世界上最大的公司,同时也给小公司提供支持。云改变了服务供给双方的经济模式,同时带来更多新的机遇。
招行ACS私有云上线投产后, MySQL作为云上主要服务的RDS数据库服务,规模急剧增长且部分承载着分行核心业务,对业务连续性要求也越来越高,因此迫切需要建立并完善云MySQL支持服务体系和提升MySQL服务能力。
业务容器化后,如何将其部署在 K8S 上?如果仅仅是将它跑起来,很简单,但如果是上生产,我们有许多地方是需要结合业务场景和部署环境进行方案选型和配置调优的。比如,如何设置容器的 Request 与 Limit、如何让部署的服务做到高可用、如何配置健康检查、如何进行弹性伸缩、如何更好的进行资源调度、如何选择持久化存储、如何对外暴露服务等。
引言 随着云计算的兴起,技术架构的关注点也从集群可用性治理,发展到云原生和 FinOps 成本管理。 该书涵盖了网络、容器、网关、微服务与分布式、云原生、质量监测和成本管理方面的内容,帮助读者快速理清云时代下的技术架构体系。 本笔记大多为个人理解后的知识点, 仅供参考 第一章:云原生技术概论 CNCF(Cloud Native Computing Foundation,云原生计算基金会) Service Mesh(服务网格) Serverless(无服务器架构)
“秒杀”系统的建设需要整个系统从前到后全栈的协同配合,其中包含了基础技术部维护的多个服务,比如CDN、高防IP、容器平台、缓存、数据库、中间件、全链路压测、监控系统等,我们围绕这些基础服务讨论秒杀系统的技术挑战与架构优化。
作者颜卫,腾讯高级后台开发工程师,专注于Kubernetes大规模集群管理和资源调度,有过万级集群的管理运维经验。目前负责腾讯云TKE大规模Kubernetes集群的大数据应用托管服务。
作者陈鹏(roc),腾讯工程师,负责腾讯云TKE的售中、售后的技术支持,根据客户需求输出合理技术方案与最佳实践,为客户业务保驾护航。
作者陈鹏(roc),腾讯工程师,负责腾讯云TKE的售中、售后的技术支持,根据客户需求输出合理技术方案与最佳实践,为客户业务保驾护航。 引言 业务容器化后,如何将其部署在 K8S 上? 图片来自网络 如果仅仅是将它跑起来,很简单,但如果是上生产,我们有许多地方是需要结合业务场景和部署环境进行方案选型和配置调优的。 比如,如何设置容器的 Request 与 Limit、如何让部署的服务做到高可用、如何配置健康检查、如何进行弹性伸缩、如何更好的进行资源调度、如何选择持久化存储、如何对外暴露服务等。 对于这一
长期专注于kubernetes, OpenStack、Hadoop、Docker、Lucene、Mesos等开源软件的企业级应用及产品化。曾出版《Lucene应用开发揭秘》。
TakinTalks社区专家团成员,2020年加入B站,先后负责主站/直播/OGV/推广搜相关的SRE工作。深度参与多活、活动保障、混沌工程、容量治理相关的建设,并主导容量管理平台、混沌平台的架构设计和落地。曾负责B站S赛、跨年晚会、拜年祭等相关活动的基础架构保障工作,目前主要负责推广搜业务的稳定性建设、PaaS治理。
1.服务器在数据中心硬件采购成本中占比最高, 其中 CPU、GPU 和 DRAM 是主要成本项;
近日,第四届中国云计算基础架构开发者大会(China Cloud Computing Infrastructure Developer Conference – 简称 CID),本着纯技术、非商业的原则,以「自由、协作、创新」为理念,在深圳与技术开发者们见面。本届 CID 大会聚焦业界最前沿的云计算基础架构技术成果,覆盖主论坛与三大技术主题分论坛,围绕基础架构技术领域的技术交流,展示先进技术在行业中的典型实践,赋能行业客户业务变革。
早在十年前,市场上就出现了很多和云计算相关的岗位,当时正是云计算技术最火热的时代,不管是BAT还是华为等企业都开始布局云计算,于是OpenStack研发、容器研发、底层开发等相关岗位相应地也越来越多,虽然这几年大数据和AI的风头已经完全压过了云计算,但是这一门技术仍然在现如今的技术体系中占有很重要的位置。那么,到底什么是云计算,就是我们每一个要学习云计算技术的朋友要了解的事情了,根据百度百科的介绍
作者颜卫,腾讯高级后台开发工程师,专注于Kubernetes大规模集群管理和资源调度,有过万级集群的管理运维经验。目前负责腾讯云TKE大规模Kubernetes集群的大数据应用托管服务。 大数据的发展历史 大数据技术起源于Google在2004年前后发表的三篇论文,分布式文件系统GFS、分布式计算框架MapReduce和NoSQL数据库系统BigTable,俗称"三驾马车"。在论文发表后,Lucene开源项目的创始人Doug Cutting根据论文原理初步实现了类似GFS和MapReduce的功能。并在20
作者:张增、邓良驹,分别为乐视云计算电商云团队负责人,乐视云计算高级开发工程师 来自:高效运维 1. 电商系统发展过程 电商网站在不同时期的架构复杂度有所不同: 初创期:商品类型少,业务复杂度低,系统
2021年7 月 27日 - 28日,由中国信息通信研究院指导,中国通信标准化协会主办,云计算开源产业联盟承办的 2021 可信云大会在北京召开。大会上,信通院公布了最新的可信云容器评估结果。 腾讯云弹性容器服务(EKS),云函数 (SCF),弹性微服务(TEM)联合其他相关产品,在2021年 Serverless 平台技术能力评估中,共同获得国内首批 Serverless 平台技术能力先进级认证。 EKS:原生 K8S Serverless 化 产品介绍 弹性容器服务 EKS(Elastic
这段时间有幸参与了一下腾讯Finops Crane集训营的Crane公开体验训练营。
Crane是一个开源的容器编排工具 ,Crane提供了一种简单而灵活的方式来管理容器应用程序的生命周期,包括构建、部署、运行和维护。它支持多个容器编排引擎,如Docker Compose、Kubernetes和Mesos等。
容器化已经成为一种趋势,它可以解决很多运维中的痛点,比如效率、成本、稳定性等问题,而接入容器的过程中往往也会碰到很多问题和不便。在有赞最开始做容器化是为了快速交付开发测试环境,在容器化的过程中,我们碰到过容器技术、运维体系适配、用户使用习惯改变等各种问题,本文主要介绍有赞容器化过程中碰到的问题以及采取的方案。
一说到无服务计算(Serverless computing),很多人脑海中马上浮现出几个熟悉且令人兴奋的词汇:“瞬间启动”、“弹性扩缩容”和“按量计费”等等。如今,随着公有云的普及,几乎每过一段时间我们都会听到有新的无服务计算产品问世。同时,许多知名的云服务产品,如 AWS Aurora、AWS Redshift、Databricks 等,都陆续推出了它们的无服务版本。一时间,无服务计算迅速成为了行业内的焦点,无论是创业公司还是大型厂商,都在探索推出无服务产品的可能性,甚至在近期备受瞩目的大模型领域,也涌现出了许多关于无服务机器学习平台的讨论。
使用tke集群部署服务的时候,经常会遇到一种情况,就是pod一种pending无法成功调度到节点上,查看事件提示报错
赵轩,高级运维工程师, 腾讯云监控业务运维负责人。 腾讯云监控的 Barad 产品,为云产品提供高效、低成本的海量指标监控服务。 Barad 业务经过云原生能力建设以及容灾能力建设,业务已经实现了自研上云全量级容器化部署及多可用区容灾能力。 Barad 业务上云面临的难点和挑战 在降本增效的大背景下,腾讯云 云监控团队继续提升云原生成熟度,提升系统承载能力和降低单位成本,包括对 Barad 业务在容器化占比提升,跨 az 容灾能力建设,资源利用率优化这些方面,因 Barad 业务量级庞大,如何保障大量级数
能够撑起多家企业的618之战 必定少不了容器之功 害怕大促变大考? 宝,别怕! 腾讯云容器 618 助你一臂之力 腾讯云容器服务首次发布【容器专场】 弹性容器服务(Elastic Kubernetes Service,EKS) 容器镜像服务(Tencent Container Registry,TCR) 携手助力企业轻松上云,折扣满满~ · 活动时间:2021年6月1日- 2021年7月8日 · 企业专区(针对新用户) 弹性容器服务 EKS: 首年只需197元(1.3折) 其他规格全场低至1
在容器化的基础上,我们已经通过一些手段,比如监控分析、弹性伸缩等降低了 k8s 集群的成本,取得了一定的成效。
导语 | Serverless 拥有运维和成本优势,但通常需要业务改造。腾讯云弹性容器服务可使容器化用户无需关心节点运维且无需业务改造的情况下,灵活地在 Serverful 与 Serverless 架构间迁移。本议题介绍了相关技术与实现。本文由腾讯云容器产品技术总监 于广游在Techo TVP 开发者峰会 ServerlessDays China 2021上的演讲《腾讯云弹性容器服务EKS:Serverless与Serverful的优雅平衡点》整理而成,向大家分享。 点击可观看精彩演讲视频 一
刘如梦,腾竞体育研发工程师,擅长高并发、微服务治理、DevOps,主要负责电竞服务平台架构设计和基础设施建设。 詹雪娇,腾讯云弹性容器服务EKS产品经理,主要负责 EKS 虚拟节点、容器实例相关的产品策划。 业务介绍 自 2019 年,腾竞整个电竞赛事数据服务完全由腾讯云 TKE 容器服务承载。腾竞赛事数据开放平台目前主要提供职业赛事数据的授权与查询,随着斗鱼、虎牙、企鹅、掌盟、微信直播、微博等平台的相继接入,平台整体流量有了爆发式的增长。 此前 2021英雄联盟全球总决赛(以下简称 S11) 期间更是创
物联网作为一个提出 20 多年的概念,在技术上已经获得了各项突破性进展,包括感知技术促进智能设备获取数据,通信技术负责传输数据,大数据技术使企业开始向往海量数据存储与处理的能力,以及近年引起广泛讨论的 AIoT,让人们对人工智能在物联网的应用充满期待。
2022年3月 VOL:23 腾小云告诉你最前线的产品新特性, 总有一款让你心动~ 云说新品 容器产品新特性3月上新 腾讯云弹性容器服务EKS 安全稳定的无服务器 Kubernetes 服务 弹性容器服务(Elastic Kubernetes Service,EKS)是腾讯云容器服务推出的无须用户购买节点即可部署工作负载的服务模式。 EKS 支持 HPC 组件 EKS 镜像缓存支持自定义延期销毁 CBS 盘 EKS 资源创建时若当前规格无资源,则支持资源自动升配重试 新增预留券资源概览,
300+参评项目,100+入围项目,10000+开发者公开票选,20+专家评审,10+主编团打分,历经数月打磨,由 InfoQ 发起组织的【 2020 中国技术力量年度榜单评选】结果揭晓: 腾讯云大数据云原生技术脱颖而出,荣获 2020年度十大云原生创新技术 早前,在2020年7月可信云大会上 腾讯云大数据云原生已荣获评年度技术最佳实践 那么腾讯云大数据云原生究竟凭什么能连续拿走两座大奖呢? 大数据云原生作为当前行业内热门的钻研话题,未来发展前景及趋势均不可小觑。各大云厂商、大型互联网企业都在尝试
韩沛,腾讯云高级工程师、专家产品经理,从事云计算行业 8 年,拥有丰富的研发和云产品策划经验。目前主要负责建设腾讯云云原生产品体系,主导 TKE、EKS 等产品及容器化监控、大数据、AI等解决方案的设计工作,并协助推动腾讯各BG 业务架构的云原生化。 本文整理自腾讯云云原生产品团队的专家产品经理韩沛在 Techo 开发者大会云原生专题的分享内容——Kubernetes 混部与弹性容器。本次分享主要分为三部分:基于 K8s 的应用混部、提升应用混部效果的关键、弹性容器对混部集群的价值。 讨论 K8s 的
领取专属 10元无门槛券
手把手带您无忧上云