开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

由于Pod的调度方式，我的Kubernetes集群有一半从未被使用过

由于Pod的调度方式，Kubernetes集群中有一半的Pod从未被使用过。Pod是Kubernetes中最小的调度和管理单位，它可以包含一个或多个容器。Pod的调度是由Kubernetes的调度器负责的，调度器根据集群中的资源和调度策略来决定将Pod调度到哪个节点上运行。

造成一半Pod从未被使用的原因可能有以下几点：

资源不足：如果集群中的节点资源（如CPU、内存）不足以容纳所有的Pod，调度器可能无法将所有的Pod都调度到节点上运行，导致一部分Pod从未被使用。
调度策略：Kubernetes的调度器可以根据不同的策略来进行Pod的调度，如负载均衡、亲和性、反亲和性等。如果调度策略设置不当，可能导致一部分Pod无法被调度到适合的节点上。
Pod优先级：Kubernetes支持为Pod设置优先级，优先级高的Pod会被优先调度。如果一些Pod的优先级较低，可能会导致它们无法被调度到节点上。

为解决这个问题，可以采取以下措施：

扩容集群：如果集群中的资源不足以容纳所有的Pod，可以考虑扩容集群，增加节点数量或者升级节点配置，以提供足够的资源供Pod调度使用。
调整调度策略：根据实际需求和资源情况，调整Pod的调度策略，如设置亲和性规则、反亲和性规则，以确保Pod能够被调度到适合的节点上。
设置Pod优先级：根据业务需求，为Pod设置合适的优先级，确保重要的Pod能够被优先调度。
监控和调优：定期监控集群资源使用情况，及时发现资源瓶颈和调度问题，并进行相应的调优和优化。

腾讯云相关产品和产品介绍链接地址：

腾讯云容器服务（Tencent Kubernetes Engine，TKE）：https://cloud.tencent.com/product/tke
腾讯云弹性容器实例（Elastic Container Instance，ECI）：https://cloud.tencent.com/product/eci
腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
腾讯云云数据库（TencentDB）：https://cloud.tencent.com/product/cdb
腾讯云云存储（Cloud Object Storage，COS）：https://cloud.tencent.com/product/cos
腾讯云人工智能（AI）：https://cloud.tencent.com/product/ai
腾讯云物联网（IoT）：https://cloud.tencent.com/product/iot
腾讯云移动开发（Mobile）：https://cloud.tencent.com/product/mobile

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

从脆弱到完美：Kubernetes自我修复实践

图 1：运行在 Kubernetes 集群中的自愈框架的架构图。这种概括使我们能够保持框架的简单性和适当隔离权限。这是在需要时快速添加新 Automation 功能的关键。...以下 Automation 是一些示例，它们保护我们的内部开发人员和应用程序免受潜在影响，并且还显着减少了我们团队的支持工作 - 从工程时间的 30% 减少了一半。...清理已成功和已驱逐的 Pod 在调查由于 etcd 磁盘大小增加而导致的集群运行状况下降时，我们发现了 Succeeded Pod 作为重要因素。...由于 kube-controller-manager 不会自动清理成功的 Pod，因此这是我们大型多租户集群中的一个问题。...相应的修复程序从 API 服务器中删除这些标记的 Pod。处理由于 IRQ 不平衡导致的网络数据包丢失我们注意到网络 IO 密集型工作负载中的数据包丢失率增加，最初认为是应用程序错误。

1431 0

OpenAI: Kubernetes集群近万节点的生产实践

二、优化工作在OpenAI在单集群千节点实践中，进行了以下几点的优化（译者：翻译一半，发现干货不是太多...） 2.1 工作负载首先需要说明的是，针对工作负载，我们在Kubernetes集群上运行的应用程序和硬件与其他公司中的场景完全不同...我们使用主机NAT来转换服务网络CIDR，以处理来自集群外部的流量。这种设置使我们的研究人员在选择实验方式和选择哪种网络配置上具有极大的灵活性。...我们从这些调度系统中获得了灵感，并以Kubernetes原生的方式构建了一些功能。污点我们在每个集群中都有一个服务，即team-resource-manager，它具有多种功能。...例如，如果两个实验作业各自请求集群容量的100％，但Kubernetes可能只调度每个实验Pod的一半，从而导致调度僵局，这两个实验作业都无法完成。...我们尝试了实现自定义调度程序，但是遇到了一些极端情况，这些情况导致与常规Pod的调度方式发生冲突。

9522 0

K8s调度框架引入PreEnqueue设计

文｜Wei Huang, Yuan Chen, Yibo Zhuang 编辑｜zouyee 提案阶段｜评审在Kubernetes调度器框架中提供一个PreEnqueue 钩子，使插件能够在将Pod添加到调度器的内部活动队列之前运行自定义逻辑...如果该插件返回false，则调度器不会将该Pod入队。需求说明当前Kubernetes调度器无条件地将待调度的Pod（即spec.nodeName为空）添加到调度队列中。...另外，如果一个 unready的Pod被过早的调度，并在事后被抢占，这将浪费集群资源。...注意：这里unready Pod是指没有准备好立即被调度的Pod 使用场景 Spot instance：只有在集群有富余的可用资源或集群当前利用率较低时，Spot instance pod才会被调度。...目标提出一个扩展方式，以针对即将入队的Pod执行自定义逻辑。非目标管理未被插件PreEnqueue处理的已调度Pod。用户画像作为一个集群容量规划者，想控制Pod的入队速度。

4041 0

将 Kubernetes 扩展至7500个节点

我们当前的集群有充分的带宽，因此我们也不用去考虑任何机架或网络拓扑结构问题。这些都意味着，虽然我们有很多节点，但对调度器的压力相对较小。...有一段时间，我们一直在努力解决一个问题，即 Prometheus 会消耗越来越多的内存，直到最终由于内存不足错误（OOM）使容器崩溃。即使在应用程序上投入了大量的内存容量之后，这种情况似乎仍会发生。...随着时间的推移，我们从那些作业调度系统中获得了灵感，并以 Kubernetes 原生的方式构建了一些功能。...例如，如果两个实验都请求集群100%的容量，那么 Kubernetes 可能只调度每个实验的一半 Pod，而不是调度一个或另一个实验的全部容量，从而导致死锁，最终导致两个实验都无法进行。...我们尝试了一些自定义调度程序的方式，但是遇到了一些极端情况，这些情况导致与普通 Pod 的调度方式发生冲突。

7033 0

在上K8s之前必须知道的Pod容器资源知识

但是迟早，我们希望将此应用程序与已经存在的其他应用程序一起部署到生产集群中。为了使我们的应用程序成为Kubernetes公民，我们必须分配适当数量的容器资源。...我们可以最大程度地降低云提供商的成本，但最重要的是，它可以通过使Kubernetes处于健康状态来帮助其管理集群。在此文章中，我们将介绍Pod的容器资源（CPU和MEM），请求和限制。...如果我不提供任何存储请求怎么办？ Kubernetes将采用限制值并将其设置为默认请求值。如果我不提供任何内存限制怎么办？由于容器没有任何限制，因此可以使用所需的内存量。...因此，您可以防止Kubernetes在节点上安排Pod的情况，该Pod有足够的内存来启动它，但运行起来却没有那么多。请记住，当Kubernetes调度Pod时，仅考虑request.memory。...在上图中，kube-scheduler必须安排新的（紫色）Pod。Kubernetes集群有两个节点A和B。

1.4K2 0

6个优化策略，助你降低K8s成本

CNCF 发布的调查报告《Kubernetes 的 FinOps》显示，68%的受访者表示 Kubernetes 开销正在上涨，并且一半的人所在的组织经历了每年超过20%的开销增长。...例如，假设一个Pod由于应用程序的错误而消耗了节点的所有可用内存，不必要地利用了资源，这会导致其他 Pod 完全没有资源可用。...自动伸缩会根据需求自动从 Kubernetes 集群中添加或删除节点，它有助于确保工作负载总是有足够的基础设施资源来完成它们的工作，但又不至于让用户最终为闲置的基础设施付费。...5、Kubernetes 调度调整 Pod 和节点的大小和规模后，需要确保 pod 被调度到了正确的节点上。K8s 调度流程将 Pod 与节点相匹配，并且调度器的默认行为可以自定义。...正确的解决方案可以使Kubernetes的成本管理变得及时、经济和毫不费力，使企业能够在成本和性能之间实现完美的平衡。

4701 0

K8s调度策略

1 调度在K8s中，调度是指将Pod放置到合适的节点上。调度器通过 K8s 的监测机制来发现集群中新创建且尚未被调度到节点上的Pod。...如果这个列表是空的，代表这个 Pod 不可调度。在打分阶段，调度器会为 Pod 从所有可调度节点中选取一个最合适的节点。根据当前启用的打分规则，调度器会给每一个可调度节点进行打分。...Constraints）来控制Pod在集群内故障域之间的分布，故障域的示例有区域（Region）、可用区（Zone）、节点和其他用户自定义的拓扑域。...余下未被过滤的污点的effect 值决定了 Pod 是否会被分配到该节点，特别是以下情况：如果未被过滤的污点中存在至少一个effect值为NoSchedule的污点，则 Kubernetes 不会将...如果未被过滤的污点中存在至少一个 effect 值为NoExecute 的污点，则 Kubernetes 不会将 Pod 分配到该节点（如果 Pod 还未在节点上运行），或者将 Pod 从该节点驱逐

9478 0

Kubernetes之调度篇

，减少访问延迟这边肯定会有其他场景也会有对pod的调度有特殊要求，这边只是列举了其中几个情况，对于上述遇到的情况我们需要怎么处理，其实k8s给我们提供了丰富的调度策略来满足我们的需求。...总分最高的节点是最优选 3. pod的亲和性和反亲和性 pod 间亲和与反亲和使你可以基于已经在节点上运行的 pod 的标签来约束 pod 可以调度到的节点，而不是基于节点上的标签。...由于我们这里只有一个集群，并没有区域或者机房的概念，所以我们这里直接使用主机名来作为拓扑域，把 pod 创建在同一个主机上面。...如果未被过滤的污点中存在至少一个 effect 值为 NoExecute 的污点，则 Kubernetes 不会将 Pod 分配到该节点（如果 Pod 还未在节点上运行），或者将 Pod 从该节点驱逐...TKE上的调度实践我们在tke集群中如果要配置调度策略，除了修改编写yaml实现，也可以在控制台进行操作，这样对于一些yaml不是很熟悉的同学可以提供更加简便的配置方式。

1.4K3 1

【K8S专栏】Kubernetes调度管理

---- 基本介绍在日常工作中，每个机场都有调度室，用来管理飞机应该从哪里降落，停在什么地方。在Kubernetes也有这样的调度器，主要作用就是将Pod安排到合适的节点上。...正是由于有Assume的原因，当一个Pod完成调度需要在某个Node节点运行之前，kubelet还会进行一步Admit操作来验证该Pod是否能够运行在该Node上，作为kubelet的二次验证。...而当一个高优先级的Pod调度失败后，其抢占机制就会被触发，这时候调度器就会试图从当前的集群中寻找一个节点，使得这个节点上的一个或多个低优先级的Pod被删除，然后这个高优先级的Pod就可以被调度到这个节点上...如果未被忽略的污点中存在至少一个 effect 值为 NoExecute 的污点，则 Kubernetes 不会将 Pod 调度到该节点（如果 Pod 还未在节点上运行），或者将 Pod 从该节点驱逐...，比如：一些节点利用率低下或过度使用添加删除标签或添加删除污点，pod或Node亲和性改变等造成原调度不再满足一些节点故障，其上运行的Pod调度到其他节点新节点加入集群由于以上种种原因，可能导致多个

5712 0

OpenAI 是怎么使用 Kubernetes 的？

虽然多少有点倔坟，但好在里面的东西并不算太落后，至少从OpenAI团队之前的文章来看，也确实记录了整个团队在Kubernetes集群规模的技术成长与经验分享，非常的值得学习。...新知识：full bisection bandwidth（全双工切分带宽）指一个集群中任何一半的节点都可以与另一半的节点进行最大带宽的通信，而不会受到带宽限制的影响。...解释：Gang scheduling在处理MPI作业时非常重要，原因在于MPI作业的同步通信特性。由于MPI是一种并行计算的编程模型，它允许进程间通过消息传递的方式进行通信，以完成一项共同的计算任务。...之前调度部分说过，很多时候一个Node上就调度一个Pod独占，我甚至一度怀疑有可能Pod直接使用了Host网络来最小化网络的影响。...随着AI行业的这波浪潮，我相信Kubernetes也会跟着机器学习、更大规模和精细化的调度迎来一波新的高点。

3461 0

K8S | 核心原理分析

；就以自己当下参与研发的系统来说；通过K8S进行管理的服务近百个，这中间有部分服务采用集群模式，即便是这个规模的系统，也几乎不可能依赖纯人工运维的形式，自动化流程必不可少；二、持续集成此前围绕该主题写过一个完整的实践案例...、containerd、CRI-O等多个容器运行环境，以及任何实现Kubernetes-CRI容器运行环境接口； 2、分层结构从整体的功能上来考虑，K8S集群可以分为：用户、控制平面、节点三个模块；...Pod上的网络应用程序公开为网络服务的方法，通常使用标签对资源对象进行筛选过滤； 3.2 调度调度器通过监测机制来发现集群中新创建且尚未被调度到节点上的Pod，由于Pod中的容器和Pod本身可能有不同的资源要求...命令行和脚本文件的方式，完成的部署动作，而在整个流程中涉及集群的多个组件协作，多次的通信和调度； kubectl create -f pod.yaml 2、交互流程【1】CLI命令行和UI界面，...（Watch）机制来发现集群中新创建且尚未被调度到节点上的Pod；【4】在集群中找到一个Pod的所有可调度节点，对这些可调度节点打分，选出其中得分最高的节点来运行Pod，然后调度器将这个调度决定通知给

2462 0

【重识云原生】第六章容器6.3.3节——Kube-Scheduler使用篇

scheduler通过 kubernetes 的监测（Watch）机制来发现集群中新创建且尚未被调度到 Node 上的 Pod。...一般来说有以下4种扩展方式： clone 官方 kube-schedule，然后对其进行代码级更改，这种方式有一定的局限性，比如你使用的是托管k8s集群，我们压根无法替换默认的调度器。...实现一个新的调度器，配置 pod.spec.schedulerName 来选择使用哪一个调度器。由于两个调度器并行运行，非常有可能出现资源冲突的问题。 Scheduler extender。...插件按其配置的顺序调用。如果任何后过滤器插件标记节点为“可调度”，则其余的插件不会调用。典型的后筛选实现是抢占，试图通过抢占其他 Pod 的资源使该 Pod 可以调度。...概念与工作流程 - Cylon - 博客园深度好文：我花了10个小时，写出了这篇K8S架构解析 Kubernetes K8S之调度器kube-scheduler详解 - 踏歌行666 - 博客园 Kubernetes

6704 0

K8S Pod调度策略

Kubernetes Scheduler K8S调度器，负责监听新创建、尚未分配到计算节点的Pod；K8S调度器最重要的职责就是为每一个Pod找到最适合其运行的计算节点。...参见《美团点评Kubernetes集群管理实践》对于新建的或是未被调度的Pod，kube-scheduler会选择最优节点运行Pod。...在集群中，符合Pod调度条件的节点被称为Feasible Node，如果没有节点符合条件，那么pod会一直停留在unscheduled状态，直到有节点符合条件。...raw=true] 我想去哪里：就是在定义Pod时，指明自己的期望，希望去哪些节点，最直白的方式就是NodeSelector，点名道姓的说我要去哪个节点；含蓄一点的方式就是亲和性（Affinity），谁能满足我的条件...raw=true] 默认情况下，集群内节点是共享的，但是由于应用等级、产线事业部的重要程度不同，有些应用需要被放置在孤立的资源中，并保证这些资源不被其他应用占用，就需要实现集群内的资源隔离。

3.6K6 0

大型Kubernetes集群的资源编排优化

越来越多的公司不论是大公司还是中小公司已经在他们的生产环境中开始使用Kubernetes, 原生Kubernetes虽然已经提供了一套非常完整的资源调度及管理方案，但是在实际使用过程中还是会碰到很多问题...集群节点负载不均衡的问题我们知道Kubernetes原生的调度器多是基于Pod Request的资源来进行调度的，没有根据Node当前和过去一段时间的真实负载情况进行相关调度的决策。...但是我可能会面临另一个比较头疼的问题，就是集群的整体负载比较低但是可调度资源已经没有了，从而导致Pod Pending。...于是我们通过Kubernetes的MutatingWebhook来截获并修改Node的可调度资源量的方式，来对Node资源进行超卖。...如下图所示产品在集群2中的配额已经快用完的时候，配额调整模块会动态的把配额从使用不多的集群1和集群3调到集群2。

2.5K55 46

揭秘 ChatGPT 背后的技术栈：OpenAI 如何将 Kubernetes 扩展到了 7500 个节点

配额和资源使用随着集群规模的扩大，研究人员开始发现他们难以获取分配给他们的全部容量。传统的作业调度系统有许多不同的功能，可以公平地在竞争团队之间运行工作，而 Kubernetes 没有这些功能。...随着时间的推移，我们从这些作业调度系统中汲取灵感，并以 Kubernetes 原生的方式构建了几个功能。...使用污点使我们能够灵活地限制 Kubernetes Pod 调度程序，例如允许较低优先级的 Pod 具有 "any" 容忍度，这样团队可以借用彼此的容量，而无需进行大量协调。...例如，如果两个实验都请求 100％的集群容量，那么 Kubernetes 可能只会调度给每个实验需要的一半 Pod，这会导致死锁，使两个实验都无法进行。...我们尝试了一些需要自定义调度程序的方法，但遇到了一些与正常 Pod 调度方式冲突的边缘情况。

8764 0

Kubernetes 设计与开发原则

Kubernetes 调度器根据可用资源来确定要运行的 Pod 的最佳节点，调度器通过监视 Kubernetes API Server 以获取新的 Pod 来完成调度工作。...如果由于某种原因，Kubernetes 的默认组件（例如，调度器）不满足你的需求，你可以将其替换为自己的使用相同 API 的组件。...Kubernetes 系统会将创建此 Pod 的请求与包含该 PersistentVolume 对象的存储池中的卷相匹配，或者自动配置新卷以满足创建请求，这两种方式都可以跨 Kubernetes 集群移植工作负载的定义文件...为什么需要工作负载的可移植性工作负载可移植性原则突出了 Kubernetes 的核心优势：就像操作系统使应用程序开发人员不必担心底层硬件的细节一样，Kubernetes 将分布式系统应用程序开发人员从底层集群的细节中解放出来...推广部分：关于声明式 API 这一部分内容，极客时间专栏《深入剖析 Kubernetes》讲解的更加详细，该专栏基于作者多年的从业经验，用深入浅出的方式帮助大家从看似凌乱复杂的 Kubernetes

1K2 0

k8s应该监控哪些指标及原因

在本文中，我将定义应该监控和创建警报的 16 个关键 Kubernetes 指标。...3Disk Pressure 根据 Kubernetes 配置中设置的阈值，磁盘压力是指示节点使用过多磁盘空间或使用磁盘空间过快的条件。...其次，应该使用上述延迟指标之一密切关注调度程序延迟。Pod 调度延迟的增加可能会导致其他问题，也可能表明集群中存在资源问题。...15Events 除了从 Kubernetes 集群收集数字指标之外，从集群收集和跟踪事件也很有用。...这就是 OpenMetrics 的工作方式，也是收集 Kubernetes 集群指标的方式。

1.9K4 0

彻底搞懂 K8S Pod Pending 故障原因及解决方案

大多数 pod 只需要几秒钟就可以从 Pending 到 Running 并在该状态下度过大部分时间。至此，Pod 已被 Kubernetes 集群接受。但是一个或多个容器尚未准备好对外提供服务。...排查 Kubernetes pod Pending 的常见原因有几个原因可以阻止 Pod 运行，但我们将描述三个主要问题：调度问题：无法在任何节点上调度 Pod。...调度问题导致 Kubernetes Pod Pending 创建 Pod 后，Kubernetes 集群做的第一件事就是尝试调度 Pod 在其中一个节点上运行。...任何节点中都没有足够的资源来分配 pod Kubernetes 使用调度请求来决定fits节点中是否有 pod。资源的真正使用无关紧要，只有其他 pod 已经请求的资源。...常见的原因有：尚未创建 ConfigMap 或者 Secret，或提供的名称不正确。无法在节点中挂载卷，因为它尚未被另一个节点释放。

3.4K5 0

备战CKA每日一题——第5天

分为预选、优选、pod优先级抢占、bind阶段；预选：从podQueue的待调度队列中弹出需要调度的pod，先进入预选阶段，预选函数来判断每个节点是否适合被该Pod调度。...优选：从预选筛选出的满足的节点中选择出最优的节点。 pod优先级抢占：如果预选和优选调度失败，则会尝试将优先级低的pod剔除，让优先级高的pod调度成功。...其中在构建pod资源对象新增、更新、删除的回调函数时，分已被调度的和未被调度的回调。...kubeadm安装的集群，master节点上的kube-apiserver、kube-scheduler、kube-controller-manager、etcd就是通过static Pod方式部署的：...需要集群中有2个节点；第1个deployment名称为cka-1122-01，使用nginx镜像，有2个pod，并配置该deployment自身的pod之间在节点级别反亲和；第2个deployment

8401 0

Descheduler 实现 K8S Pod 二次调度

调度程序的决定，无论是否可以或不能调度容器，都由其可配置策略指导，该策略包括一组规则，称为谓词和优先级。调度程序的决定受到其在第一次调度时出现新pod时的Kubernetes集群视图的影响。...由于Kubernetes集群非常动态且状态随时间而变化，因此可能需要将已经运行的pod重新调试到其它节点上，已达到节点使用资源平衡。...kube-scheduler 简介 kube-scheduler 是 Kubernetes 集群的默认调度器，并且是集群控制面的一部分。...对每一个新创建的 Pod 或者是未被调度的 Pod，kube-scheduler 会选择一个最优的 Node 去运行这个 Pod。...例如，有一个名为 podA 的 Pod，通过配置容忍 key=value:NoSchedule 允许被调度到有该污点配置的节点上，如果节点的污点随后被更新或者删除了，则污点将不再被 Pod 的容忍满足，

1.7K2 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭