王玉君,腾讯云后台工程师,拥有多年大规模Kubernetes集群的开发运维经验。目前负责腾讯云TKE大规模Kubernetes集群的大数据应用托管服务。 谭春强,腾讯云后台工程师,拥有两年大数据EMR集群管控运维经验,目前负责腾讯云大数据EMR组件的容器化方向。 1.引言 随着云原生概念的兴起,越来越多的企业投身于云原生转型的浪潮,以解决传统应用面临的弹性能力不足、资源利用率较低、迭代周期较长等问题。通过云原生技术(如容器,不可变基础设施和声明式API等),使得企业在公有云、私有云和混合云等云环境构建和运
背景 美团点评作为国内最大的O2O平台,业务热度的高峰低谷非常显著且规律,如果遇到节假日或促销活动,流量还会在短时间内出现成倍的增长。过去传统虚拟机的服务运行及部署机制在应对服务快速扩容、缩容需求中存在诸多不足: 资源实例创建慢,需要预先安装好运行所需的环境,比如JDK等。 扩容后的实例,需要经过代码部署流程,一些情况下还需要修改配置后才能承接流量。 资源申请容易回收困难,促销活动后做相关资源的回收下线会比较漫长。 由于业务存在典型的高峰低谷,为保障业务稳定,资源实例数要保障能抗高峰期容量峰值的1-2倍,从
云容器实例(Cloud Container Instance, CCI)服务提供 Serverless Container(无服务器容器)引擎,让您无需创建和管理服务器集群即可直接运行容器。
作者 | 孙晓飞 整理 | 马可薇 策划 | 孙瑞瑞、丁晓昀 本文由 InfoQ 整理自小红书基础技术部后端开发 孙晓飞 在 QCon 全球软件开发大会(北京站)2022 上的演讲《小红书的降本增效之路》。 大家好,我是孙晓飞,目前就职于小红书容器架构组,负责团队内调度系统整体工作,拥有 6 年云原生相关开发设计经验,是 Kubernetes 和 Volcano member。本文将分享过去一年中,容器架构团队为小红书和整体容器服务在降本增效方面所采用的方案措施。 小红书与云原生 小红书早
随着容器技术的发展成熟,越来越多的组件迁移到容器,在技术迁移过程中,数据库,游戏,AI 这些组件对容器网络性能(时延,吞吐,稳定性)提出了更高的要求。为了得到更优的时延和吞吐表现,各大云厂商都在致力于缩短节点内容器的网络访问链路,让数据包能尽可能快地转发到容器网卡。 腾讯云容器服务TKE 借助智能网卡推出新一代容器网络方案,实现了一个 Pod 独占一张弹性网卡,不再经过节点网络协议栈(default namespace),极大缩短容器访问链路和访问时延,并使 PPS 可以达到整机上限。基于新一代容器网络方
韩沛,腾讯云高级工程师、专家产品经理,从事云计算行业 8 年,拥有丰富的研发和云产品策划经验。目前主要负责建设腾讯云云原生产品体系,主导 TKE、EKS 等产品及容器化监控、大数据、AI等解决方案的设计工作,并协助推动腾讯各BG 业务架构的云原生化。 本文整理自腾讯云云原生产品团队的专家产品经理韩沛在 Techo 开发者大会云原生专题的分享内容——Kubernetes 混部与弹性容器。本次分享主要分为三部分:基于 K8s 的应用混部、提升应用混部效果的关键、弹性容器对混部集群的价值。 讨论 K8s 的
2022年3月 VOL:23 腾小云告诉你最前线的产品新特性, 总有一款让你心动~ 云说新品 容器产品新特性3月上新 腾讯云弹性容器服务EKS 安全稳定的无服务器 Kubernetes 服务 弹性容器服务(Elastic Kubernetes Service,EKS)是腾讯云容器服务推出的无须用户购买节点即可部署工作负载的服务模式。 EKS 支持 HPC 组件 EKS 镜像缓存支持自定义延期销毁 CBS 盘 EKS 资源创建时若当前规格无资源,则支持资源自动升配重试 新增预留券资源概览,
2021年8月 VOL:16 腾小云告诉你最前线的产品新特性 总有一款让你心动~ 云说新品 容器产品新特性 8月上新 腾讯云边缘服务TKE@Edge 从中心云管理边缘云资源的容器系统 边缘容器服务(Tencent Kubernetes Engine for Edge,简称 TKE Edge)是腾讯云容器服务推出的用于从中心云管理边缘云资源的容器系统。 ServiceGroup功能增强:DeploymentGrid 支持查看和管理实例,支持对分布在不同地域的应用
田奇,腾讯云高级工程师,专注大规模离在线混部,弹性伸缩,云原生成本优化,熟悉Kubernetes,关注云原生大数据、AI。 王孝威,腾讯云容器产品经理,热衷于为客户提供高效的 Kubernetes 使用方式,为客户极致降本增效服务。 前言 随着 Kubernetes 的普及,企业已经普遍接受了容器,正在向云原生演进。但是当前的 Kubernetes 只解决云原生的第一步(Day 1),就是利用容器编排调度和声明式API等,来解决资源获取、应用部署、高可用容灾、基础运维等难题。但是目前采纳 Kubernet
弹性容器服务(Elastic Kubernetes Service,EKS)是腾讯云容器服务推出的无须用户购买节点即可部署工作负载的服务模式。弹性容器服务 EKS 完全兼容原生 Kubernetes,支持使用原生方式购买及管理资源,按照容器真实使用的资源量计费。弹性容器服务 EKS 还扩展支持腾讯云的存储及网络等产品,同时确保用户容器的安全隔离,开箱即用。
导语 | Serverless 拥有运维和成本优势,但通常需要业务改造。腾讯云弹性容器服务可使容器化用户无需关心节点运维且无需业务改造的情况下,灵活地在 Serverful 与 Serverless 架构间迁移。本议题介绍了相关技术与实现。本文由腾讯云容器产品技术总监 于广游在Techo TVP 开发者峰会 ServerlessDays China 2021上的演讲《腾讯云弹性容器服务EKS:Serverless与Serverful的优雅平衡点》整理而成,向大家分享。 点击可观看精彩演讲视频 一
作者 | 王涛 仅用三年时间,基于腾讯云 TKE 底座,腾讯自研业务容器化规模已达到千万核级别的 CPU 资源规模。面对如此海量的异构资源和复杂多样的业务场景,腾讯是如何做到资源利用率 65% 的?在调度编排、弹性伸缩、应用管理、稳定性保障等方面,腾讯又有哪些秘籍?在 ArchSummit 2022 全球架构师峰会(深圳站)上,腾讯云自研上云容器平台负责人王涛发表了题为《如何管理超千万核资源的容器规模》的演讲,为大家逐一揭秘。 腾讯自研业务容器化上云历程 腾讯自研业务容器化上云的技术路线经历了多个阶段
导语 | 传统HADOOP生态系统使用YARN管理/调度计算资源,该系统⼀般具有明显的资源使⽤周期。实时计算集群资源消耗主要在⽩天,而数据报表型业务则安排在离线计算集群中。离在线业务分开部署的首要问题就是资源使用率低,消耗成本⾼。随着业务的增⻓和突发的报表计算需求,为了解决为离线集群预留资源,腾讯云EMR团队和容器团队联合推出Hadoop Yarn on Kubernetes Pod,以提⾼容器资源使用率,降低资源成本,将闲时容器集群CPU使⽤率提升数倍之多。本文主要介绍HADOOP资源调度器YARN在容
vivo 人工智能计算平台小组从 2018 年底开始建设 AI 计算平台至今,已经在 k8s 集群、以及离线的深度学习模型训练等方面,积累了众多宝贵的开发、运维经验,并逐步打造出稳定的基础容器平台 - AI 容器平台(VContainer)。为了支撑公司 AI 在线业务的发展,满足公司对算力资源的高效调度管控需求,需要将在线业务,主要包括 C 端、推理等业务,由原来的虚拟机或物理机迁移至 AI 容器平台。于是小组从 2020 年初开始,基于在线业务的需求对 AI 容器平台进行进一步建设,并将平台与公司的 CMDB、CICD 等基础模块进行打通,使在线业务能够顺利从虚拟机、物理机迁移至 AI 容器平台。
2021年11月 VOL:19 腾小云告诉你最前线的产品新特性, 总有一款让你心动~ 云说新品 容器产品新特性11月上新 腾讯云边缘服务TKE@Edge 从中心云管理边缘云资源的容器系统 边缘容器服务(Tencent Kubernetes Engine for Edge,简称 TKE Edge)是腾讯云容器服务推出的用于从中心云管理边缘云资源的容器系统。 公有云 TKE-Edge 支持边缘节点绑定 ENI 公有云 TKE-Edge 支持边缘节点 Pod 直通能
K8S 容器云平台(如: K8S, OpenShift, Rancher, 博云, 才云, DaoCloud...) 是基于K8S的容器即服务(CAAS)和平台即服务(PAAS)的平台. 提供完整的企业级PAAS平台能力:
值此佳节之际,美美为大家呈送一份技术干货作为中秋礼物。本文根据美团基础架构部/弹性策略团队负责人涂扬在2019 QCon(全球软件开发大会)上的演讲内容整理而成。本文涉及Kubernetes集群管理技术的部分,相关的技术实践可参考此前发布的《美团点评Kubernetes集群管理实践》。
作者 | 百度云原生团队 根据 Gartner 的调查数据,到 2022 年底,全球企业在云计算基础设施方面的支出约为 3330 亿美元。麦肯锡在调查报告中指出,2020 年,由于缺乏成本优化手段,80% 企业的云资源成本大幅超出预算;同时,45% 的企业由于缺乏优化措施,在直接迁移上云的过程中会超买 55% 的资源,并且在上云的头 18 个月会多花 70% 的费用。 随着全球经济持续下行,企业应该如何做好精细化运营和降本增效,如何优化云资源的分配、使用和管理成为了当下必须要考虑的问题。 本文将会具体介绍百
导语 | 传统HADOOP生态系统使用YARN管理/调度计算资源,该系统⼀般具有明显的资源使⽤周期。实时计算集群资源消耗主要在⽩天,而数据报表型业务则安排在离线计算集群中。离在线业务分开部署的首要问题就是资源使用率低,消耗成本⾼。随着业务的增⻓和突发的报表计算需求,为了解决为离线集群预留资源,腾讯云EMR团队和容器团队联合推出Hadoop Yarn on Kubernetes Pod,以提⾼容器资源使用率,降低资源成本,将闲时容器集群CPU使⽤率提升数倍之多。本文主要介绍HADOOP资源调度器YARN在容器环境中的优化与实践。
周昕毅,携程系统研发部云平台高级研发经理。现负责携程容器云平台运维,Cloud Storage及Cloud Network基础设施研发及运维。
导语 | 传统HADOOP生态系统使用YARN管理/调度计算资源,该系统⼀般具有明显的资源使⽤周期。实时计算集群资源消耗主要在⽩天,而数据报表型业务则安排在离线计算集群中。离在线业务分开部署的首要问题就是资源使用率低,消耗成本⾼。随着业务的增⻓和突发的报表计算需求,为了解决为离线集群预留资源,腾讯云EMR团队和容器团队联合推出Hadoop Yarn on Kubernetes Pod,以提⾼容器资源使用率,降低资源成本,将闲时容器集群CPU使⽤率提升数倍之多。本文主要介绍HADOOP资源调度器YARN
腾讯会议作为面向企业级的关键产品,对产品的可用性和稳定性要求是非常高的,任何服务不稳定都可能会导致用户无法接入会议、会议中断或音视频质量差,从而导致用户投诉,影响到产品口碑,降低用户信任度。
刘如梦,腾竞体育研发工程师,擅长高并发、微服务治理、DevOps,主要负责电竞服务平台架构设计和基础设施建设。 詹雪娇,腾讯云弹性容器服务EKS产品经理,主要负责 EKS 虚拟节点、容器实例相关的产品策划。 业务介绍 自 2019 年,腾竞整个电竞赛事数据服务完全由腾讯云 TKE 容器服务承载。腾竞赛事数据开放平台目前主要提供职业赛事数据的授权与查询,随着斗鱼、虎牙、企鹅、掌盟、微信直播、微博等平台的相继接入,平台整体流量有了爆发式的增长。 此前 2021英雄联盟全球总决赛(以下简称 S11) 期间更是创
今年的 618 前夕,何小锋显然没有以前那么紧张,人更放松,说话也更淡定。一方面,作为京东科技京东云云原生平台负责人,他已经参加过 19 次大促备战,积累了丰富的经验;另一方面,从 2014 年使用 Docker 到 2018 年建成全球最大规模 Kubernetes (以下简称 K8s)集群再到全面拥抱云原生,京东在容器和云原生领域有着多年的技术实践与经验积累。这些无疑给了他十足的信心! 根据最新消息,6 月 18 日凌晨,京东云发布 618 当天首份战报,在从容应对高并发数亿级流量洪峰的同时创下多项纪录
| 导语 腾讯太极机器学习平台由云架构平台部机智团队和数据平台部大数据团队共建 ,专注于资源的整合、高效利用、为算法工程师们提供统一的机器学习框架和加速方案,目前平台为多个公司级的业务提供训练平台与加速服务,涉及到NLP、计算机视觉、强化学习、语音、广告等不同AI技术。太极机器学习平台依托公司的星辰算力管理了近2万张GPU卡,对这些大规模GPU卡进行高低优先级调度,以任务化方式提供大规模、高效率、低成本的GPU算力服务。这篇文章我将重点介绍太极平台的高低优先级调度的设计。 一、高低优混合调度 太极机
“ 无服务器架构(Serverless)是一种将应用与基础设施彻底分离的架构理念,开发人员无需关心基础设施的运维工作,只需专注于应用逻辑的开发,真正实现了弹性伸缩与按需付费。当前各大云服务商和头部互联网企业的内部业务 Serverless 化升级改造已经开始小范围试水;中小企业基于 Serverless 的业务应用也初见端倪,已然可见初具规模的企业级应用,未来可期。Serverless 生态已初具规模,可以预见,Serverless 将成为下一代云计算服务形态的趋势。 ” 在此背景下,云函数(SCF)、弹
自建开源大数据平台会随着企业数据的增长遇到:性能慢、扩容周期长、平台稳定性差、运维难、投入成本高等问题。在这里我们将从 EMR 的简介、EMR与自建Hadoop对比优势、自建迁移上云的实践案例来介绍 EMR 是如何解决这些问题的。
今日头条丨一点资讯丨腾讯丨搜狐丨网易丨凤凰丨阿里UC大鱼丨新浪微博丨新浪看点丨百度百家丨博客中国丨趣头条丨腾讯云·云+社区
詹雪娇,腾讯云产品经理,主要负责 EKS 相关产品和运营工作,以及容器服务日志/审计/事件模块。 在容器化的应用场景中,大数据计算是其中很大并且业务应用在逐渐增加的一个热门领域,包括越来越多的人工智能企业,都在使用容器技术来支持业务中的大量计算任务。降低成本、提升资源利用率也是当前这部分用户非常期待而又迫切的需求。 那么,容器的 Serverless 化的出现,可以很大程度上帮助大数据计算需求的用户迅速解决这些问题。为此,腾讯云推出了弹性容器 EKS 的解决方案,甚至可以达成离线计算业务的成本降低 65%
作为国内领先的生活服务平台,美团点评很多业务都具有非常显著、规律的“高峰”和“低谷”特征。尤其遇到节假日或促销活动,流量还会在短时间内出现爆发式的增长。这对集群中心的资源弹性和可用性有非常高的要求,同时也会使系统在支撑业务流量时的复杂度和成本支出呈现指数级增长。而我们需要做的,就是利用有限的资源最大化地提升集群的吞吐能力,以保障用户体验。
事情是这样的, 今天一大早,我问临座的小王:“提起阿基米德,你最先能想到是什么?” “当然是说要撬动地球的人啊,古希腊人士,物理学家……!”跟我同一等级知识段位的小王回答道。 回答完,还满脸问号的看向
王孝威,腾讯云容器产品经理,热衷于为客户提供高效的 Kubernetes 使用方式,为客户极致降本增效服务。 晏子怡,腾讯云容器产品经理,在Kubernetes 弹性伸缩、资源高效利用领域有丰富的实战经验。 背景 公有云的发展为业务的稳定性、可拓展性、便利性带来了极大帮助。这种用租代替买、并且提供完善的技术支持和保障的服务,理应为业务带来降本增效的效果。但实际上业务上云并不意味着成本一定减少,还需适配云上业务的应用开发、架构设计、管理运维、合理使用等多方面解决方案,才能真正助力业务的降本增效。在《Ku
2021年3月 VOL:11 腾小云告诉你最前线的产品新特性, 总有一款让你心动~ 云说新品 容器产品新特性 3月上新 腾讯云边缘服务TKE@Edge 从中心云管理边缘云资源的容器系统 边缘容器服务(Tencent Kubernetes Engine for Edge,简称 TKE Edge)是腾讯云容器服务推出的用于从中心云管理边缘云资源的容器系统。 TKE Edge边缘容器服务开源版——SuperEdge 正式发放v0.2.0 版本,支持灰度发布、新增Sta
作者陈鹏,腾讯工程师,负责腾讯云 TKE 的售中、售后的技术支持,根据客户需求输出合理技术方案与最佳实践,为客户业务保驾护航。
tomdu,腾讯云高级工程师,主要负责宙斯盾安全防护系统管控中心架构设计和后台开发工作。 导语 宙斯盾 DDoS 防护系统作为公司级网络安全产品,为各类业务提供专业可靠的 DDoS/CC 攻击防护。在黑客攻防对抗日益激烈的环境下, DDoS 对抗不仅需要“降本”还需要“增效”。 随着云原生的普及,宙斯盾团队持续投入云原生架构改造和优化,以提升系统的处理能力及效率。本文主要介绍宙斯盾防护调度平台上云过程实践与思考。 为什么上云? 云原生作为近年来相当热门的概念,无论在公司内各部门,还是公司外各大同行友商,都
陈云,数数科技资深云原生研发工程师,专注于云原生在大数据场景下的应用探索。负责数数科技TE(新一代数据分析引擎)的云原生方向架构建设、优化和迭代。 背景 ThinkingEngine (简称“TE”)新一代数据分析引擎,由数数科技研发,提供一站式的数据应用服务。让数据分析能够覆盖全品类分析场景,帮助游戏公司专注在游戏本身的业务上,更好地挖掘数据价值。 我们常常会收到客户的反馈:在业务高峰时容易出现分析查询慢和卡顿的情况。造成这种现象的原因是查询引擎在业务高峰时资源瓶颈,查询只能排队等待。用户也采取过增加资源
在过去的一年里, 容器推动软件领域发生了翻天覆地的变化。随着Docker逐渐普及,作为运行和加速云应用的操作系统(OS)虚拟化技术,容器已经催生了一个包含开源容器网络、管理工具以及存储技术的新兴网络空间。 其他大型科技公司也在该领域得以立足。微软的Windows Server和Hyper--在 Windows Server 2016 Technical Preview 3部署并运行V容器,并且VMware的 Photon OS中间框架也包含了该公司的自主产品vSphere-基于Linux容器。容器及其市场目
众所周知,容器及容器云作为一项开源基础设施技术已经被企业关注很长时间了。伴随着“Docker + Kubernetes”逐步成为该领域的主流选型,其技术框架也逐步走向成熟。业内几乎所有的主流IT厂商都或多或少地参与其中,正在共同构建一个丰富的生态。
李昂,腾讯高级开发工程师,主要关注容器存储和镜像存储相关领域,目前主要负责腾讯容器镜像服务和镜像存储加速系统的研发和设计工作。 李志宇,腾讯云后台开发工程师。负责腾讯云 TKE 集群节点和运行时相关的工作,包括 containerd、docker 等容器运行时组件的定制开发和问题排查。 洪志国,腾讯云架构师,负责 TKE 产品容器运行时,K8s,容器网络,mesh 数据面等基础组件研发。 背景 在业务普遍已经完成容器化的大环境下,不同的业务场景对于容器启动需求也是不同的,在离线计算和一些需要快速增加计算资
孔令飞,腾讯云资深工程师,拥有大规模 Kubernetes 集群、微服务的研发和架构经验,目前专注于云原生混合云领域的基础架构开发。 朱翔,腾讯云容器服务高级产品经理,目前负责云原生混合云产品方案设计工作。 前言 企业数字化转型已经成为企业的核心战略。以云计算为核心的新一代 IT 技术,成为了企业数字化转型的重要支撑,上云成为企业数字化转型的必由之路。企业在上云过程中由于数据安全隐私、资源利旧、业务容灾等原因,在上云时通常会采用混合云的架构,混合云成为企业上云新常态。 近几年,随着云原生技术在云计算市场
在很多应用场景中,需要在云平台中搭建高可用集群,就这需要用到虚拟IP地址功能。今天就来谈一谈虚拟IP地址及它的应用场景。
作者 | Marian Puhl 译者 | 马可薇 策划 | 万佳 在过去十年中,微服务已经逐渐成为了一种常见的架构模式。 在这种方法中,许多小型、自动、松散耦合的服务通过分布式网络运行在一起。每一种微服务通常都限定在特定的功能与业务边界内,在各自的进程中运行,并且可以独立于其他服务进行管理与部署。 这种架构与传统的单体应用相比更加灵活,但同时也要求各自的微服务能够保证其弹性、可扩展性与持久性。 在这篇文章中,我想要专注介绍微服务架构的数据管理部分,以及 Couchbase 是如何为用户的数据层提供低延迟、
近些年随着云计算和云原生应用的兴起,容器技术可以很好地解决许多问题,所以将大数据平台容器化是一种理想的方案。本文将结合袋鼠云数栈在Flink on Kubernetes的实践让您对大数据平台容器化的操作和价值有初步的了解。
2021年2月 VOL:10 腾小云告诉你最前线的产品新特性, 总有一款让你心动~ 云说新品 容器产品新特性 2月上新 腾讯云容器服务公有版TKE 高可扩展和高性能容器管理服务 腾讯云容器服务(Tencent Kubernetes Engine,TKE)是高度可扩展的高性能容器管理服务,您可以在托管的云服务器实例集群上轻松运行应用程序。 添加已有节点进集群/节点池时,数据盘挂载选项支持设置想要的挂载分区/lvm名,提供更灵活的挂载设置。 节点池内已支持对节点进行
01. FaaS 产品与容器生态的结合 容器镜像已成为云原生时代标准的交付物,并且有其强大的生态来解决 CICD、存储、编排等实际需求。云函数 SCF 从设计之初即是基于云原生架构的 FaaS 产品,同时也是 Serverless 思想的最佳产品化体现之一。在 Runtime 层支持自定义容器镜像后,意味着产品形态整体向容器化生态迈出了第一步。 一方面,解决函数运行时的环境依赖问题,给予用户更大的自由发挥空间;另一方面,产品形态层面的呈现使得用户无需受困于 Kubernetes 集群管理、安全维护、
领取专属 10元无门槛券
手把手带您无忧上云