展开

关键词

kubernetes 降本增效标准指南| 资源利用率提升工具大全

在《Kubernetes 降本增效标准指南》系列的上一篇文章《容器化计算资源利用率现象剖析》中可看到,IDC 上云后资源利用率提高有限,即使已经容器化,节点的平均利用率依旧仅在 13% 左右,资源利用率的提升任重道远 资源浪费场景 为何资源利用率通常都如此之低? 如何更自动化的动态调整以提升资源利用率是用户更关心的问题,接下来从弹性伸缩、调度、在离线混部三大产品化的方向,详述如何提升资源利用率。 一方面,为了降低成本,资源利用率当然是越高越好,但是资源利用率达到一定水位后,负载过高极有可能导致业务 OOM 或 CPU 抖动等问题。 总结 资源利用率的提升道阻且长,如何在保障业务稳定性的前提下,有效提升资源利用率具有较大挑战。

93143

智能 Request 推荐,K8s 资源利用率提升 252%

虽然 Kubernetes 可以有效的提升业务编排能力和资源利用率,但如果没有额外的能力支撑,提升的能力十分有限,根据 TKE 团队之前统计的数据:Kubernetes 降本增效标准指南| 容器化计算资源利用率现象剖析 ,如下图所示:TKE 节点的资源平均利用率在 14% 左右。 为什么 Kubernetes 集群的资源利用率依旧不高? 另外,每个节点的资源很难被充分分配,如下图所示,节点普遍会存在一些资源的碎片(Leftover),这些都是导致集群整理资源利用率不高的原因。 资源实际利用率到底有多低? 提升资源利用率有很多种方法,详见 Kubernetes 降本增效标准指南| 资源利用率提升工具大全。本文主要探讨 Request 的设置。

62010
  • 广告
    关闭

    腾讯云精选爆品盛惠抢购

    腾讯云精选爆款云服务器限时体验20元起,还有更多热门云产品满足您的上云需求

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Pod优先级和抢占提高Kubernetes集群资源利用率

    解决此问题的一个显而易见的解决方案是过度配置群集资源,以便为扩展情况提供一些闲置资源。这种方法通常有效,但成本更高,因为你必须为大多数时间闲置的资源付费。 它还提供了一种方法来提高群集中的资源利用率,而不会牺牲基本工作负载的可靠性。 提高集群资源利用率 运行关键服务的集群运营商会随着时间,粗略估计他们在集群中需要的节点数量,以实现高服务可用性。估计通常是保守的。此类估计会考虑流量突发以查找所需节点的数量。 唯一的问题是这种估计通常是保守的,而且大多数时候集群资源可能仍未得到充分利用。Pod优先级和抢占允许你通过在群集中运行非关键工作负载来显着提高资源利用率。 当你的关键工作负载需要更多计算资源时,调度程序会抢占非关键容器并安排关键容器。 非关键pod填充了群集资源中的“空隙”,可在不增加成本的情况下提高资源利用率

    40910

    多媒体内容处理:成本降低40%、资源利用率提高20%

    这种架构也导致了忙时服务间抢占资源的情况频繁发生,影响服务成功率及耗时,导致我们没有办法很好的满足客户的需求;而闲时资源利用率非常低,容易造成资源浪费。 客户搞活动时提出高并发需求,如果当前物理机/vm资源池不满足,需要向资源同学紧急提物理机需求,资源同学协调到机器后,我们需要人工对机器环境/网络重新初始化,然后执行上述1操作。

    10020

    资源利用率报告中的LUT和LUTRAM有什么区别

    通过Report Utilization查看资源利用率报告时,会生成如下图所示的一个表格。在这个表格中Resource对应的列会有LUT和LUTRAM,那么两者到底有什么区别呢?是包含关系吗? 对每个模块采用OOC综合方式,可以验证上述对每个模块LUT利用率推断的正确性,如下图所示。 ? 打开布线后的DCP,执行report_utilization命令,结果如下图所示。 结论: -资源利用率中的LUT是指设计中消耗的所有LUT,包括用做逻辑函数发生器的LUT(SLICEL中的LUT),也包括用做存储单元的LUT(SLICEM中的LUT) -资源利用率报告中的LUTRAM

    2.6K20

    庄鹏锐:腾讯云Kubernetes集群提升资源利用率的实践

    下面是庄鹏锐老师关于腾讯云内部平台STKE是如何提升平台资源利用率的内容分享。 讲师介绍:庄鹏锐,腾讯云高级工程师。先后在唯品会,vivo,腾讯等公司从事Kubernetes云平台建设的工作。 首先我们可以看到,为什么我们的集群资源利用率不够高?其中大概会归纳为几个方向,第一个是Node节点资源的碎片。 比如当Node资源已分配非常多,但是使用率又相对比较低的时候,我们认为这个Node的实际利用率很低,可以进行超卖。 最后一点是动态调整的最小副本数,这个在我们的整个提到集群利用率是很明显的效果,比如说我们之前是有发现有一些用户它的最小副本数就是设置了1000个,但是他的资源利用率就只有0.1%,这是一个很浪费资源的情况 最后一点是适配我们自身的资源分配、资源管理的方案去做,比如某个业务有多少核资源可以申请,但是你要是超过这个业务的配额,我也会直接把它拒绝掉,另外一个也是不能超过Node本身的可分配资源

    2K53

    kubernetes 降本增效标准指南| 容器化计算资源利用率现象剖析

    IDC的计算资源冗余,平均利用率低至10% IDC 数据中心由于缺少弹性能力,为保证业务应对突发请求等情况,普遍资源会存在冗余,资源使用率低。 首先我们来看看全球数据中心的利用率。 而资源利用率高的企业,在业务容器化后,更多利用了业务混合部署,大大提高了容器部署密度,让单节点容器密度平均在1:10,进而提升资源利用率。 另外,基于K8s的调度编排能力,支持按照Pod真实负载进行动态调度,提升节点资源利用率;在线业务低负载运行时,同时部署“对延时不敏感”的离线业务,提高资源利用率。 提升资源利用率的关键点 腾讯内部容器化业务资源利用率也是权衡容器化深度的关键指标,根据腾讯云原生团队对容器弹性伸缩的实践经验,通过不同维度的弹性能力展开来看容器化后资源利用率提升的关键点, 首先看看 资源利用率成熟度模型 针对本次调研的数据分析,腾讯云原生团队提出了容器化资源利用率成熟度模型。

    2K176

    直播预约|TencentOS “如意”显威力,大力提升服务器资源利用率

    由于时间关系,讲师并未全部回答,但有部分关于”CPU资源利用“、”为什么要做服务器层面的资源QoS“等问题都涉及到我们接下来第六期直播分享内容! 下周6月22日周二晚19:30,聚焦腾讯 TencentOS 的服务器资源 QoS 产品:“如意”,向大家介绍我们如何在保障在线业务服务质量的前提下,提升服务器资源利用率。 · 主题简介 · 各互联网巨头 IDC 的规模增长迅速,CPU 等资源利用率却普遍处于一个较低的水平。要部署更多的离线业务提升利用率,又难免会对在线业务造成影响。 本次分享将聚焦腾讯 TencentOS 的服务器资源 QoS 产品:“如意”,向大家介绍我们如何在保障在线业务服务质量的前提下,提升服务器资源利用率。 了解TencentOS的服务器资源QoS产品“如意“及其主要功能。 了解”如意“在实际业务场景中的实践效果。

    26830

    理解 CPU 利用率

    从 top 命令说起 在 Linux shell 上执行 top 命令,可以看到这样一行 CPU 利用率的数据: %Cpu(s): 0.1 us, 0.0 sy, 0.0 ni, 99.9 id, 进程调度本质上是进程间对 CPU 这一有限资源的争抢,越 nice 的进程,越会“谦让”,所以它的获得 CPU 的机会就越低。 上面的 CPU 利用率里面,将用户态进程使用的 CPU 分成 niced 和 un-niced 两部分,没什么本质差别。平时很少遇到要使用 nice 命令的场景(我个人从来没遇到过)。 大部分情况下,物理服务器的资源有大量是闲置的。此时,“超卖”并不会造成明显影响。 当很多虚拟机的 CPU 压力变大,此时物理机的资源明显不足,就会造成各个虚拟机之间相互竞争、相互等待。 这个值越高,说明这台物理服务器的资源竞争越激烈。 (云厂商会不会把他们的内核给改了,把 st 改成 0 不让你发现这种情况?) 理解 id CPU 空闲,感觉这个从应用层的角度没什么难理解的。

    1.4K60

    资源利用率提高67%,腾讯实时风控平台云原生容器化之路

    对于业务快速上线和资源快速扩缩容的需求,且公司自研上云项目往全面容器化上云方向推进,水滴风控平台开始进行自研上云的改造。 容器服务采用 HPA 机制,业务接入时根据业务请求量预估所需的 CPU 和内存资源,由预估的 CPU 和内存资源设置 Pod 服务的 Request 值,通常保持 Request 值为 Limit 值的 机器转移等流程周期一周左右,上云后资源申请周期缩短为小时级别。 机器资源利用率提高67%,上云前 CPU 利用率约36%,上云后 CPU 利用率59.9%。 互动赢好礼 精读文章,回答问题赢好礼 Q1: 业务上云过程中,有什么可以提升资源使用率的经验? Q2: 业务上云过程中,有哪些服务无状态化改造经验?

    31761

    你找到的LUT个数为什么和资源利用率报告中的不匹配

    以Vivado自带的例子工程wavegen为例,打开布局布线后的DCP,通过执行report_utilization可获得资源利用率报告,如下图所示。其中被消耗的LUT个数为794。 ? 这时获得的数据是794,与资源利用率报告中的数据保持一致。 ? 这里解释一下为什么说Combined LUT被统计了两次。

    91930

    资源利用率提高67%,腾讯实时风控平台云原生容器化之路

    对于业务快速上线和资源快速扩缩容的需求,且公司自研上云项目往全面容器化上云方向推进,水滴风控平台开始进行自研上云的改造。 2.容器服务采用 HPA 机制,业务接入时根据业务请求量预估所需的 CPU 和内存资源,由预估的 CPU 和内存资源设置 Pod 服务的 Request 值,通常保持 Request 值为 Limit 上云后带来的效率提升主要有以下方面: 上云资源申请流程更加简单快速,上云前机器申领搬迁、虚拟 IP 申请、机器转移等流程周期一周左右,上云后资源申请周期缩短为小时级别 机器资源利用率提高67%,上云前 CPU 利用率约36%,上云后 CPU 利用率59.9%.

    10820

    查看服务器系统资源(cpu,内容)利用率前几位的进程的方法

    在日常运维工作中,我们经常需要了解服务器上的系统资源的使用情况,要清楚知道一些重要进程所占的资源比例。

    365110

    计算CPU利用率

    一般来说对于需要大量cpu计算的进程,当前端压力越大时,CPU利用率越高。但对于I/O网络密集型的进程,即使请求很多,服务器的CPU也不一定很到,这时的服务瓶颈一般是在磁盘的I/O上。 在Linux/Unix下,CPU利用率分为用户态,系统态和空闲态,分别表示CPU处于用户态执行的时间,系统内核执行的时间,和空闲系统进程执行的时间。 平时所说的CPU利用率是指: CPU执行非系统空闲进程的时间 / CPU总的执行时间。 在Linux的内核中,有一个全局变量:Jiffies。Jiffies代表时间。它的单位随硬件平台的不同而不同。 CPU的利用率就是用执行用户态+系统态的Jiffies除以总的Jifffies来表示。 在Linux系统中,可以用/proc/stat文件来计算cpu的利用率。 那么CPU利用率可以使用以下两个方法。

    2.9K100

    成本降低40%、资源利用率提高20%的 AI 应用产品云原生容器化之路

    导语 为了满足 AI 能力在公有云 SaaS 场景下,服务和模型需要快速迭代交付的需求,保障服务在不稳定高并发时的高成功率,以及进一步提升资源利用率,AI 应用产品中心进行了一系列的调研与实践,本篇将重点介绍团队在容器化方面的实践经验 这种架构也导致了忙时服务间抢占资源的情况频繁发生,影响服务成功率及耗时,导致我们没有办法很好的满足客户的需求;而闲时资源利用率非常低,容易造成资源浪费。 ,这是南京和广州的 LB 权重分别为130,100) 利用率提升 在进行过一轮稳定性提升之后,我们可以更加自信的利用弹性能力,利用率也有了显著提升。 不过依旧有两个问题阻碍着我们的利用率更进一步。一个是有些服务模型大,启动慢,流量突增时服务无法很及时的扩容出来,这时我们必须要提前占用一些资源导致利用率提不上去。 成果 优化前 优化后 资源占用 1500+CPU 物理机 ( 8w+ 核)800+GPU 物理机 (P4 1600 卡) CPU 6w 核 T4 1000 卡 资源利用率 10% 30% 成本 - -

    20230

    IDC机柜利用率最优

    每一个新领导上岗后,基本上都会到IDC视察一圈,然后发生以下对话: 领导:“怎么机柜这么空,没放满?浪费钱啊,一个柜子一年十来万呢”。PS:此时领导心中一堆不...

    67720

    谷歌每年节省上亿美金,资源利用率高达60%,用的技术有多厉害!

    在离线混部价值 资源利用率提升 据 Gartner 统计,全球数据中心平均使用率不足15%,每年会有巨大的资源浪费。 比如外卖业务,峰值期(吃饭时间)可能需要8 核 CPU,但是在低峰期(夜晚),可能就不消耗资源,导致大部分时间段资源利用率都很低,造成浪费。 通过在离线混部,可以充分利用节点的空闲资源,从而提高资源利用率。 虽然通过部署离线业务能够一定程度的提高资源利用率,但是复用不够充分,并且需要资源规格大的机器才能将资源进行静态划分。 在离线混部最重要的目标,就是在提高单机资源利用率的同时,保障在线和离线业务的服务 SLA。

    44620

    计算 Linux CPU 利用率

    SoftRQ) / totalCpuTime * 100% st: Steal time -> %st = (Steal) / totalCputTime * 100% 参考文献 LINUX CPU利用率计算 Linux_CPU_Usage_Analysis.pdf Linux CPU、内存、磁盘、使用率计算 --------------------- Author: Frytea Title: 计算 Linux CPU 利用率

    64920

    如何快速获取CPU利用率

    摘要 本篇笔记主要介绍,在freeRTOS环境下,以STM32为例介绍如何快速获取CPU利用率,配合CubeMonitor测试 2. 总运行时间的比值, osCPU_Usage = (100 - (osCPU_TotalIdleTime * 100) / CALCULATION_PERIOD); 其实就是计算出空闲任务的时间,就能获取CPU的利用率 获取CPU利用率 在ST提供的SDK里面会有一个公共的文件cpu_utils.c和cpu_utils.h两个文件,这两个文件提供了获取freeRTOS下获取CPU利用率的方案和方法,可以供参考,我们可以将两个文件加入工程 可以看到CPU的利用率。也可以利用ST推出的CubeMonitor进行测试,下次推送将给大家安排详细的CubeMonitor使用。 6.

    40930

    明日直播|如何在保障在线业务服务质量前提下,提升服务器资源利用率

    还没有收看的同学也不用着急,我们所有的分享都有直播回放,手指滑倒底部,就可以看到【云原生正发声】的全部直播回放哦~ 上次直播的交流过程中,很多同学提到关于”CPU资源利用“、”服务器层面的资源QoS“等技术内容 ,想了解更多,其实这些问题都会在我们明天6月22日直播分享得到解答哦~ 明晚6月22日19:30,腾讯云高级工程师李弘博,将与我们一起聚焦腾讯 TencentOS 的服务器资源 QoS ,向大家介绍我们如何在保障在线业务服务质量的前提下 ,提升服务器资源利用率

    23830

    相关产品

    • 资源编排 TIC

      资源编排 TIC

      资源编排 TIC为您提供易用、高效、安全的基础架构管理平台。平台使用声明型语言,兼容众多优秀的开源社区工具,同时提供代码编辑和视图编辑两种模式,有效降低学习成本和使用难度。TIC 使用代码版本管理的方式管理基础架构,保障基础设施的构建、管理和迁移的可靠性和安全性。

    相关资讯

    热门标签

    扫码关注腾讯云开发者

    领取腾讯云代金券