解析Kubernetes 1.8中的

Author: xidianwangtao@gmail.com

Kubernetes 1.8中对scheduler的更新

  • 【Alpha】支持定义PriorityClass,并指定给Pod来定义Pod Priority;
  • 【Alpha】支持基于Pod Priority的抢占式调度;
  • 【Alpha】Node Controller支持自动根据Node Condition给Node打上对应的Taints;

什么是抢占式调度? 在Kubernetes 1.8版本之前,当集群资源不足时,用户提交新的Pod创建请求后,该Pod会处于Pending状态,直到集群中有某个Node有足够Available Resources时才会调度成功。 从Kubernetes 1.8版本开始,这种情况下scheduler会根据Pod's Priority进行调度,调度时会选择最合适的Node并把该Node上lower Priority的Pods进行Premmption(Eviction)以释放资源供该higher Priority Pod使用。这种调度时考虑Pod Priority的方式就是Kubernetes中的抢占式调度,简称为Preemption。

在后续的版本中,Pod Priority还会用于节点的out-of-resource Eviction,关于kubelet eviction的工作机制和源码分析,请参考我的对应博客:

  • Kubernetes Eviction Manager工作机制分析
  • Kubernetes Eviction Manager源码分析

如何开启或关闭该Feature

在Kubernetes 1.8中,Pod Priority和Preemption作为Alpha特性,默认是disable的,如果你要使用该特性,需要给apiserver和scheduler添加如下参数并重启:

  • kube-apiserver xxx --feature-gates=PodPriority=true --runtime-config=scheduling.k8s.io/v1alpha1=true
  • kube-scheduler xxx --feature-gates=PodPriority=true

反过来,把上面的参数删除并重启,即可disable。

有个问题:如果我开启了这个特性,并且创建了一些PriorityClass,然后还给某些Pod使用了,这个时候我再disable掉这个特性,会不会有问题?

答案是否定的!disable后,那些之前设置的Pod Priority field还会继续存在,但是并没什么用处了,Preemption是关闭的。当然,你也不能给新的Pods引用PriorityClass了。

创建PriorityClass

Enable后,接下来就是创建PriorityClass了:

apiVersion: scheduling.k8s.io/v1alpha1
kind: PriorityClass
metadata:
  name: high-priority
value: 1000000
globalDefault: false
description: "This priority class should be used for XYZ service pods only."

注意:PriorityClass是非namespace隔离的,是global的。因此metadata下面是不能设置namespace field的。

  • apiVersion: scheduling.k8s.io/v1alpha1 # enable的时候需要配置的runtime-config参数;
  • metadata.name: 设置PriorityClass的名字;
  • value: 32-bit 整型值,值越大代表优先级越高,但是必须小于等于 1 billion,大于 1 billion的值是给集群内的critical system Pods保留的,表示该Priority的Pod是不能被抢占的。
  • globalDefault: true or false,注意只能有一个PriorityClass的这个字段为true,如果没有一个PriorityClass的该字段为true,则那些没有明确引用PriorityClass的Pod的Priority value就为最低值0.
  • description: String,写给人看的备注,Kubernetes不做处理;

注意:

  • PriorityClass只会影响那些还没创建的Pod,一旦Pod创建完成,那么admission Controller就已经将Pod Spec中应用的PriorityClassName对应的PriorityClass的value设置到Pod的Priority field了。意味着你再修改PriorityClass的任何field,包括globalDefault,也不会影响已经创建完成的Pod。
  • 如果你删除某个PriorityClass,那么不会影响已经引用它的Pod Priority,但你不能用它来创建新的Pod了。这其实是显而易见的。

创建Pod并引用该PriorityClass

接下来,就是创建对应Priority的Pod了:

apiVersion: v1
kind: Pod
metadata:
  name: nginx
  labels:
    env: test
spec:
  containers:
  - name: nginx
    image: nginx
    imagePullPolicy: IfNotPresent
  priorityClassName: high-priority

如果Pod.spec. priorityClassName中指定的PriorityClass不存在,则Pod会创建失败; 前面也提到,创建Pod的时候Priority Admission Controller会根据PriorityClassName找到对应的PriorityClass,并将其value设置给Pod.spec.priority。

Preemption当前还存在的问题

  • 因为抢占式调度evict低优先级Pod时,有一个优雅终止时间(默认30s),如果该Node上需要evict多个低优先级的Pod,那么可能会需要很长的时间后,最终Pod才能调度到该Node上并启动运行,那么问题来了,这么长时间的过去了,这个Node是否此时此刻还是最适合这个Pod的呢?不一定!而且在大规模且创建Pod频繁的集群中,这种结果是经常的。意味着,当初合正确的调度决定,在真正落实的时候却一定时正确的了。
  • 还不支持preempted pod时考虑PDB,计划会在beta版中实现;
  • 目前premmpted pod时没考虑Pending pod和victims pod的亲和性:如果该pending pod要调度到的node上需要evict的lower Priority pods和该pending pod是亲和的,目前直接evict lower Priority pods就可能会破坏这种pod亲和性。
  • 不支持跨节点抢占。比如pending Pod M要调度到Node A,而该Pending Pod M又与“同Node A一个zone的Node B上的Pod N”是基于zone topology反亲和性的,目前的Alpha版本就会导致Pod M继续Pending不能成功调度。如果后续支持跨界点抢占,就能将lower Priority的Pod N从Node B上evict掉,从而保证了反亲和性。

Taint Nodes by Condition

在Kubernetes 1.8之前,Node Condition是会直接干预调度的,逻辑是是这样的,并且是无法改变的:

  • kubelet会定期的将Node Condition传给kube-apiserver并存于etcd。
  • kube-scheduler watch到Node Condition Pressure之后,会根据以下策略,阻止更多Pods Bind到该Node。

Node Condition

Scheduler Behavior

MemoryPressure

No new BestEffort pods are scheduled to the node.

DiskPressure

No new pods are scheduled to the node.

- 当Node Condition包含Memory Pressure时,不再允许BestEffort QoS Pods调度到该节点;
- 当Node Condition包含DiskPressure时,不允许任何pods调度到该节点。

从Kubernetes 1.6开始,kubelet和Node Controller支持自动根据Node Condition给Node打上相应的内置Taints,当时这些Taints只是会影响kubelet eviction,而不会影响调度。这有啥不同呢?区别就是,给Node打上Taints对调度来说是软限制,可以通过给pods加上对应的Tolerations就可能强制调度到那个节点。而在1.8之前,Node Condition影响调度是硬限制。

Node Condition和Taints的Map关系如下:

ConditionType

Condition Status

Effect

Key

Ready

True

-

False

NoExecute

node.kubernetes.io/notReady

Unknown

NoExecute

node.kubernetes.io/unreachable

OutOfDisk

True

NoSchedule

node.kubernetes.io/outOfDisk

False

-

Unknown

-

MemoryPressure

True

NoSchedule

node.kubernetes.io/memoryPressure

False

-

Unknown

-

DiskPressure

True

NoSchedule

node.kubernetes.io/diskPressure

False

-

Unknown

-

NetworkUnavailable

True

NoSchedule

node.kubernetes.io/networkUnavailable

False

-

Unknown

-

总结

Kubernetes 1.8中基于Pod优先级进行抢占式调度的特性都是Alpha,请谨慎在生产中使用,尤其是要注意本文中“Preemption当前还存在的问题”小节中提到的不足。

  • 【Alpha】支持定义PriorityClass,并指定给Pod来定义Pod Priority;
  • 【Alpha】支持基于Pod Priority的抢占式调度;
  • 【Alpha】Node Controller支持自动根据Node Condition给Node打上对应的Taints;

相信很快就能支持好抢占式调度时支持Pod亲和性、跨节点抢占等特性了,那时就完美了。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Kubernetes

Kubernetes ReplicationController源码分析

虽然在Kubernetes v1.2中,Kubernetes推出了Deployments特性,Deployment通过创建ReplicaSet来管理Pod,R...

7188
来自专栏hbbliyong

WPF刷新界面之坎坷路

   项目需要一个硬件检测功能,需要用到界面刷新,刚开始想用个定时器,对检测过的硬设定时添加后刷新界面。 但是很遗憾,定时器并不能进行刷新。后台检测List数据...

3887
来自专栏blackpiglet

在 Kubernetes中,fluentd 以 sidecar 模式收集日志,并发送至 ElasticSearch

ElasticSearch 在日志收集和分析领域非常流行,而 fluentd 是一种万用型的日志收集器,当然也支持 ES(ElasticSearch)。不过在 ...

1782
来自专栏草根专栏

从头编写 asp.net core 2.0 web api 基础框架 (3)

Github源码地址:https://github.com/solenovex/Building-asp.net-core-2-web-api-starter-...

4917
来自专栏DeveWork

Mac OS X巧用AppleScript 制作网络位置切换自动化脚本(自动配置PAC 文件)

事情是这样的,自带的Macbook Air 在实习单位入的是办公网,办公网走自动代理(需要配置PAC 文件)。同时回来宿舍或家里需要民用的宽带网络。切换的时候出...

5195
来自专栏GopherCoder

『No18: Go 实现世界杯后台管理系统』

趁着周末更新一期,上一期讲到 如何快速熟悉一个项目, 文章的最后讲到,最好的方法是借用相同的技术栈重新实现一个项目。

1731
来自专栏bboysoul

把树莓派的系统装到u盘里面

因为买不起高速卡,所以只能使用普通的内存卡,但是又怕内存卡坏掉,而且内存卡只有8g容量太小,正好我有一个usb3.0接口的128g u盘,虽然树莓派不支持usb...

1372
来自专栏惨绿少年

OpenStack云计算之路-Mitaka 版本

1.1 云计算简介 云计算(英语:cloud computing ),是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需求提供给计算机各种...

6398
来自专栏Kubernetes

深入分析Kubernetes Scheduler的优先级队列

从1.9版本开始,Kubernetes实现了基于Pod优先级的调度队列,一方面提供高优先级的Pod优先被调度的能力,另一方面减轻抢占式调度时潜在的High Pr...

7647
来自专栏康怀帅的专栏

Nginx 编译安装

本文介绍了手动编译安装 nginx 的具体步骤。 安装依赖包 RedHat 系 $ yum install -y gcc gcc-c++ pcre-devel ...

3684

扫码关注云+社区

领取腾讯云代金券