为此，Kubernetes 也为我们提供了这样的一个资源对象：Horizontal Pod Autoscaling（Pod 水平自动伸缩），简称HPA，HPA 通过监控分析一些控制器控制的所有 Pod...HPA，最小的 Pod 副本数为1，最大为10。...invalid metrics (1 invalid out of 1), first error is: failed to get cpu utilization: missing request...for cpu 我们可以看到上面的事件信息里面出现了 failed to get cpu utilization: missing request for cpu 这样的错误信息。...这是因为我们上面创建的 Pod 对象没有添加 request 资源声明，这样导致 HPA 读取不到 CPU 指标信息，所以如果要想让 HPA 生效，对应的 Pod 资源必须添加 requests 资源声明
为此，Kubernetes 也为我们提供了这样的一个资源对象：HorizontalPodAutoscaling（Pod水平自动伸缩），简称 HPA，HPA 通过监控分析一些控制器控制的所有 Pod 的负载变化情况来确定是否需要调整...was unable to compute the replica count: missing request for cpu"}]' creationTimestamp: "2019-11-19T09...was unable to compute the replica count: missing request for cpu Events: Type Reason...invalid metrics (1 invalid out of 1), first error is: failed to get cpu utilization: missing request...for cpu 我们可以看到上面的事件信息里面出现了 failed togetcpu utilization:missing requestforcpu 这样的错误信息。
图片来源: instagram.com/febin_raj Pod水平自动扩缩（Horizontal Pod Autoscaler, 简称HPA）可以基于 CPU/MEM 利用率自动扩缩Deployment...HPA Resource类型不足 默认HPA提供了Resource类型，通过CPU/MEM使用率指标（由metrics-server提供原始指标）来扩缩应用。...但对于多容器Pod，比如Pod包含多个容器con1、con2(request都为1cpu)，con1使用率10%，con2使用率100%，HPA目标使用率60%，按照目前方式得到使用率为55%不会进行扩容...性能问题 单线程架构 默认的hpa-controller是单个Goroutine执行的，随着集群规模的增多，势必会成为性能瓶颈，目前默认hpa资源同步周期会15s，假设每个metric请求延时为100ms...总结 Kubernetes提供原生的HPA只能满足一部分场景，如果要上生产环境，必须对其做一些优化，本文总结了当前HPA存在的不足，例如在性能、使用率计算方面，并提供了解决思路。
在上篇文章中我们提到过，Kubernetes附带了一些内置的监控工具，包括： Kubernetes dashboard：为集群上运行的资源提供一个概览。...timeoutSeconds：探针超时的时间，以秒为单位（默认值为1）。 successThreshold：探针成功的最小连续成功检查次数。 failureThreshold：放弃之前探针失败的次数。...但是，创建autoscaler的最简单方法是以现有部署为目标，如下所示： ? 这将为我们之前创建的hpa-demo部署创建一个autoscaler，而且预计CPU利用率为50％。...为了查看HPA的运行情况，我们需要运行一个在CPU上创建负载的命令。这里有很多种方法，但一个非常简单的例子如下： ? 首先，检查唯一pod上的负载。因为它目前处于空闲状态，所以没有太多负载： ?...现在，让我们在当前pod上生成一些负载。一旦负载增加，我们应该就能看到HPA开始自动创建一些额外的pod来处理所增加的负载。让以下命令运行几秒钟，然后停止命令： ? 检查当前pod上的当前负载： ?
如上图，当调度器在给 Pod 选择一个合适的 Node 时，Node 上 Pod 的 Request 总和越少，打分越高，越容易被选中。...因为默认的调度器是静态调度，只看 Request 和 Node 上的 Request 总量，而不考虑实际使量。...4.2 集群应用 Pod 相关告警 由于调试 HPA 会涉及 Pod 的创建，为了避免扩容失败，需要对 Pod 的相关指标进行监控。...上限最好设置得比平时多一些，同时设置为 5 的倍数为宜，方便识别扩容数量达到 HPA 上限之后，继续增加。 CPU 使用率 CPU 使用率设置得越低，扩容时就越灵敏；设置得越高，资源的利用率就越低。...HPA 及相关参数 给不同应用设置 Request、Limit、HPA 副本上限、HAP 副本下限、HPA CPU 使用率，是一件繁琐的事情，建议先绘制一个 Grafana 计算面板，可以实时计算调试。
这是 City Storage Systems 核心基础设施团队的核心设计原则。然而，多年来，我们了解到托管 Kubernetes 发行版的实际运营成本实际上并非为零。 即使是公有云也会偶尔出现故障。...托管 Kubernetes 仍然受益于为开发人员创造杠杆作用的特定于业务的定制。 抽象不会消除底层。...但是，AKS 上的 Spot 节点缺乏任何 SLA，这可能导致潜在的突然抢占。我们经历了一次事件，其中大量 Spot 节点抢占导致多个有状态工作负载失败，从而导致级联应用程序故障并导致停机。...当 AKS 上的 Spot 节点被抢占时，在底层 VM 突然被移除前 30 秒会发出一个计划抢占事件。该节点未被隔离，工作负载未正常关闭，并且该节点未从 Kubernetes API 服务器注销。...为了解决此问题，我们实施了一种自修复 Automation ，用于标记 CPU 核心少于一半被配置为处理来自网络接口的中断的节点。
项目介绍 Podinfo 是一个用 Go 制作的小型 web 应用程序，它展示了在 Kubernetes 中运行微服务的最佳实践。...upgrade -i my-release podinfo/podinfo Helm 卸载 Podinfo $ helm delete my-release 看配置，了解 PodInfo 是如何上云的...NodePort hpa.enabled false 启用 Kubernetes HPA（Pod 水平自动伸缩） hpa.maxReplicas 10 Pods 最大数量 hpa.cpu None 每个...Pod 的目标CPU使用率 hpa.memory None 每个 Pod 的目标内存使用量 hpa.requests None 每个 Pod 每秒目标 HTTP 请求 serviceAccount.enabled...false 是否应创建 service account serviceAccount.name None 要使用的 service account 的名称，如果未设置且 enabled 为true，则使用
②介绍 Horizontal Pod Autoscaling，简称HPA, Kubernetes通过HPA的设定，实现了容器的弹性伸缩功能。...当前的弹性伸缩的指标包括：CPU，内存，并发数，包传输大小。HPA控制器默认每隔30秒就会运行一次，一旦创建的HPA，我们就可以通过命令查看获取到的当前指标信息。...(如HPA)，和其他的Kubernetes APIs一样。...gcr.io 免费代理下载被墙的镜像；下面部署命令均在k8s-master01节点上执行。...一个pod自身的cpu利用率，该pod当前cpu的使用量/pod Request值。
/Extended Resource 资源使用率，也就是节点实际负载 节点 CPU/Memory/Extended Resource 的资源分配率，kubernetes Node 中的Request 分配率...，kubernetes 调度器是基于 Pod的Request 来调度的，只有当节点剩余足够的 Request 资源时，才能将 Pod 调度到节点上运行 业务 Pod 组件负载 业务 Pod 的 CPU/...通过扩展资源封装节点可超卖的 CPU 资源，新建的 Pod 声明的 CPU Request/Limit 改成对应的扩展资源，Pod Qos 策略必须为 Best Effort。...与一体的弹性伸缩组件，主要目标是减少申请资源和实际资源使用之间的差异，同时最大程度地降低因 Memory 不足（OOM）错误、CPU 高负载导致的其性能和可用性下降。...（比如扩容稳定窗口为180秒、缩容随机为12-24h、扩容 CPU/Memory 阈值为90、缩容为30%、HPA最小最大副本数等）。
例如，命令 kubectl autoscale rs foo --min=2 --max=5 --cpu-percent=80 将会为名 为 foo 的 ReplicationSet 创建一个 HPA...对象， 目标 CPU 使用率为 80%，副本数量配置为 2 到 5 之间。...，决策当前的副本数量，其中针对于超过设定的maxReplicas和小于minReplicas两种情况，只需要简单的修正为对应的值，直接更新对应的scale对象即可，而scale副本为0的对象，则hpa不会在进行任何操作...接下来调用calculatePodRequests方法统计pod中container request 设置的资源之和。...: targetUtilization} } } else { //如果是扩容，那么将missing pod使用率设置为0 for podName := range missingPods
/Extended Resource 资源使用率，也就是节点实际负载 节点 CPU/Memory/Extended Resource 的资源分配率，kubernetes Node 中的Request 分配率...，kubernetes 调度器是基于 Pod的Request 来调度的，只有当节点剩余足够的 Request 资源时，才能将 Pod 调度到节点上运行 3.业务 Pod 组件负载 业务 Pod 的 CPU...通过扩展资源封装节点可超卖的 CPU 资源，新建的 Pod 声明的 CPU Request/Limit 改成对应的扩展资源，Pod Qos 策略必须为 Best Effort。...与一体的弹性伸缩组件，主要目标是减少申请资源和实际资源使用之间的差异，同时最大程度地降低因 Memory 不足（OOM）错误、CPU 高负载导致的其性能和可用性下降。...（比如扩容稳定窗口为180秒、缩容随机为12-24h、扩容 CPU/Memory 阈值为90、缩容为30%、HPA最小最大副本数等）。
Metrics Server 从每个节点上的 Kubelet 公开的 Summary API 中采集指标信息。...在Kubernetes v1.1中首次引入了hpa特性，自那时起已经有了很大的发展。 hpa第一个版本基于观察到的CPU利用率，后续版本支持基于内存使用。...Kubernetes 1.7引入了聚合层，允许第三方应用程序通过注册为API附加组件来扩展Kubernetes API。...hpa 实现了一个控制环，可以周期性的从资源指标API查询特定应用的CPU/MEM信息。 ? 实战 以下是关于Kubernetes 1.9或更高版本的HPA v2配置的分步指南。...如果在v1版本的HPA中，您将需要Heapster提供CPU和内存指标，在HPA v2和Kubernetes 1.8中， 只有度量服务器是需要的，而水平-pod-autoscaler-use-rest
HPA说明 Kubernetes从1.1版本开始， 新增了名为Horizontal Pod Autoscaler（HPA） 的控制器， 用于实现基于CPU使用率进行自动Pod扩缩容的功能。...HPA控制器基于Master的kube-controller-manager服务启动参数–horizontal-pod-autoscaler-sync-period定义的探测周期（默认值为15s） ，...Kubernetes在早期版本中， 只能基于Pod的CPU使用率进行自动扩缩容操作， 关于CPU使用率的数据来源于Heapster组件。...HPA工作原理 Kubernetes中的某个Metrics Server（Heapster或自定义Metrics Server） 持续采集所有Pod副本的指标数据。...URL Kubernetes从1.11版本开始， 弃用基于Heapster组件完成Pod的CPU使用率采集的机制， 全面转向基于Metrics Server完成数据采集。
王孝威，FinOps 认证从业者，腾讯云容器服务产品经理，热衷于为客户提供高效的 Kubernetes 使用方式，为客户极致降本增效服务。...可以理解成用户在云上花了一百元，实际上 90多元都被浪费掉了。 如何设置 Request？ 提升资源利用率有很多种方法，详见 Kubernetes 降本增效标准指南| 资源利用率提升工具大全。...例如初始设置的 CPU 的 Request 数值为 1000m，Limit 为 2000m，Request 与 Limit 之比为 1:2。...若新推荐的 CPU 的 Request 数值为 500m，则会推荐 Limit 为 1000m。 更多关于 Request 智能推荐的使用请参考：Request 智能推荐产品文档[2]。...现阶段，HPA 是 Kubernetes 领域最常用的弹性工具，虽然 HPA 可以一定程度上解决周期性业务流量资源使用弹性的问题，但是 HPA 是有滞后性的。
其中： CPU是以millicores的单位进行分配，即一个CPU core 1/1000的运算能力。 内存分配以字节为单位，也可以设置成 以Gi, Mi, Ki为单位。...二、几个参数 CPU Request pod中的每个容器都可以指定它在节点上请求的CPU量；同时Scheduler使用CPU请求来查找适合容器的节点 CPU Request表示容器可能消耗的最小CPU量...如果节点上没有CPU争用，它可以使用所有可用的CPU 2.如果节点上存在CPU争用，则CPU Request会在系统上的所有容器中提供相对权重，以确定容器可以使用多少CPU时间 CPU Limits...，cpu：100表示request，则cpu的LimitRequestRatio 为5.此比率必须小于或等于maxLimitRequestRatio。...HPA基于CPU的利用率。 选定一个pod，对其设置CPU和HPA： ? ? 由于CPU较为空闲利用率低于20%，在设置的HPA生效以后，pod自动缩减： ? 接下来，通过Curl循环对pod加压。
在配置Kubernetes集群时，可以合理的配置资源的request和limits，开发人员通过设置配置文件中的request和limits来控制每个pod中容器的CPU和内存资源的数量。...为了帮助降低Kubernetes集群的成本，需要合理的设置资源request和limits并维持应用性能。...Kubernetes提供了Pod vpa工具，VPA 使用户无需为 pod 中的容器设置资源请求。配置后，它将根据资源（cpu 与内存）使用情况自动设置 requests。...在对 pod 的调度过程中，使得每个 pod 都可以使用适当的资源量从而分配到适合的节点上，从而提升集群资源的利用率，同时可以最大限度地降低容器内存或 CPU 不足的风险。...在 Azure Kubernetes Service（AKS）中，默认限制是每个节点 30 个 Pod，但可以增加到 250 个。
Author: xidianwangtao@gmail.com 摘要：Kubernetes的资源编排调度使用的是静态调度，将Pod Request Resource与Node Allocatable Resource...集群资源构成 以cpu资源为例，一个大规模Kubernetes集群的资源组成结构大致如下： [tbhqhxqnu2.jpeg] 由以下几部分组成： 每个节点的预留资源，对应kubelet的system-reserved...这些资源碎片分散在集群中的各个节点，以1c1g, 2c2g, 3cxg为主，平台提供用户选择的容器规格都很难match到这些碎片，经常存在这这种情况：要调度某个Pod时，发现某个节点上的cpu足够，但是...何时通过压缩比去调整Pod Spec中的Request Resource？Kubernetes发展到现阶段，直接改Kubernetes代码是最愚蠢的方式，我们要充分利用Kubernetes的扩展方式。...超卖比例从大往小调低时，存在节点上 Sum(pods' request resource) > node's allocatable情况出现，这里是否有风险，该如何处理？
王孝威，腾讯云容器产品经理，热衷于为客户提供高效的 Kubernetes 使用方式，为客户极致降本增效服务。...以 CPU 为例，下图是某个实际业务场景下容器的资源预留（Request）和实际使用量（CPU_Usage）关系图：资源预留远大于实际使用量，两者之间差值所对应的资源不能被其他负载使用，因此 Request...，不同的业务通常资源使用情况不同，为不同的命名空间设置不同的 Request/Limit 可以提升资源利用率 限制容器对资源使用的上下限，保证容器正常运行的情况下，限制其请求过多资源 TKE 上的 Limit...2.2.1 节点亲和性 倘若你的某个业务是 CPU 密集型，不小心被 Kubernetes 的调度器调度到内存密集型的节点上，导致内存密集型的 CPU 被占满，但内存几乎没怎么用，会造成较大的资源浪费。...如果你能为节点设置一个标记，表明这是一个 CPU 密集型的节点，然后在创建业务负载时也设置一个标记，表明这个负载是一个 CPU 密集型的负载，Kubernetes 的调度器会将这个负载调度到 CPU 密集型的节点上
- HPA Kubernetes 官方主要支持基于 Pod CPU 的伸缩，这是应用最为广泛的伸缩指标，需要部署 metrics-server 才可使用。...HPA 默认使用 Pod 的当前指标进行计算，以 CPU 使用率为例，其计算公式为： 「Pod 的 CPU 使用率」= 100% * 「所有 Container 的 CPU 用量之和」/「所有 Container...HPA 扩缩容过于敏感，导致 Pod 数量震荡 通常来讲，K8s 上绝大部分负载都应该选择使用 CPU 进行扩缩容。...中编码的某些参数，可能会产生意料之外的效果，甚至直接把控制面搞崩… 比如这个 issue: Nil pointer dereference in KCM after v1 HPA patch request...比如 HPA CPU 目标值为 60%，就可以考虑设置 PDB minAvailable=65%，保证至少有 65% 的 Pod 可用。
Controller 工作原理 K8s通过HPA，基于获取到的metrics(CPU utilization, custom metrics) value，对rc, deployment管理的pods...截止到Kubernetes 1.6，Release特性中仅支持CPU utilization这一resource metrics，对custom metrics的支持目前仍在alpha阶段，请知晓。...计算伸缩比例算法： 对于resource metrics，比如CPU，HPA Controller获取HPA中指定的metrics，如果HPA中设定了target utilization，则HPA...注意：如果HPA对应的某些pods中的容器没有定义对应的resource request，则HPA不会对这些pods进行scale。...flag为true。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
