专栏首页千里行走kubernetes-issue-1:ephemeral-storage引发的pod驱逐问题

kubernetes-issue-1:ephemeral-storage引发的pod驱逐问题

目录

(1).问题现象

(2).问题查证过程

(3).原因总结

(4).解决方式

正文

大前提:单节点2核16G搭建微服务完整的容器化环境,需要容器化很多微服务组件。

(1).问题现象

describe不能启动的pod,发现两条关键日志:

A.0/1 nodes are available: 1 node(s) had taints that the pod didn't tolerate.

说明当前所在work-node资源不容许此pod部署,发生了pod驱逐。

B.The node was low on resource: ephemeral-storage.

说明了发生pod驱逐的原因。

详细日志如下:

(2).问题查证过程

1.ephemeral-storage(短暂存储)的概念和作用

ephemeral-storage是为了管理和调度Kubernetes中运行的应用的短暂存储。

在每个Kubernetes的节点上,kubelet的根目录(默认是/var/lib/kubelet)和日志目录(/var/log)保存在节点的主分区上,这个分区同时也会被Pod的EmptyDir类型的volume、容器日志、镜像的层、容器的可写层所占用。ephemeral-storage便是对这块主分区进行管理,通过应用定义的需求(requests)和约束(limits)来调度和管理节点上的应用对主分区的消耗。

我们使用df -h可以看到/var/lib下有很多容器相关的目录,这些都是ephemeral-storage:

2.image镜像重新下载

查证时无意中发现pod在启动时要重新下载相关镜像,说明由于磁盘容量不够时,kubernetes会清理镜像文件去腾空磁盘,省出资源去优先启动pod。

符合上述1中所述的“镜像层占用ephemeral-storage”。

因为笔者机器打算做一个单节点的kubernetes集群,去部署微服务的allinone环境,image会很多,占用空间会很大。原有的20G根本不够用。

3.本地pv存储占用磁盘

如2所述,kubernetes中的allinone的各个组件的持久化存储都是用的本地盘(系统盘),都开的是1G,那么原有的20G更不够了。

4.有些容器化组件没有使用持久存储

造成应用的日志全部打印到了容器里,也就是/var/log目录下,耗用了ephemeral-storage。

(3).原因总结

根本原因:Kubernetes使用的系统盘容量不足;触发项如下:

1.image镜像太多,耗用太多ephemeral-storage;

2.本地pv存储全部挂载了系统盘目录下;

3.有些容器没有使用持久化存储,日志等全部打印到了ephemeral-storage。

(4).解决方式

原则:让ephemeral-storage只存储kubernetes体系下的日志,系统盘容量要充足。

1.image镜像层的存储指定非系统盘;

2.本地pv存储挂载非系统盘;(生产环境禁止使用本地磁盘,必须使用云存储)

3.容器必须都使用持久化存储,禁止把日志都打到容器里。

本文分享自微信公众号 - 千里行走(a_thousands_of_miles),作者:千里行走

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-06-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Kubernetes 资源预留配置

    Kubernetes 的节点可以按照节点的资源容量进行调度,默认情况下 Pod 能够使用节点全部可用容量。这样就会造成一个问题,因为节点自己通常运行了不少驱动 ...

    我是阳明
  • 真棒!3 种方法限制 Pod 磁盘容量,瞬间豁然开朗

    容器在运行期间会产生临时文件、日志。如果没有任何配额机制,则某些容器可能很快将磁盘写满,影响宿主机内核和所有应用。

    米开朗基杨
  • Kubernetes 临时存储需要限制吗?

    Node节点通常还可以具有本地的临时性存储,由本地挂载的可写入设备或者 RAM来提供支持。临时(Ephemeral) 意味着对所存储的数据不提供长期可用性的保证...

    YP小站
  • Kubernetes Node资源预留

    Kubernetes 的节点可以按照 Capacity 调度。默认情况下 pod 能够使用节点全部可用容量。这是个问题,因为节点自己通常运行了不少驱动 OS 和...

    YP小站
  • kubernetes中基础服务排障记

    工作中需要将原本部署在物理机或虚拟机上的一些基础服务搬到kubernetes中,在搬的过程中遇到了不少坑,这里记录一下。

    jeremyxu
  • 搬运基础服务到kubernetes,遇这3类大坑怎么破?

    ? 工作中需要将原本部署在物理机或虚拟机上的一些基础服务搬到kubernetes中,在搬的过程中遇到了不少坑,笔者在此特别分享一下所遇到的问题及相应的解决方法...

    腾讯云TStack
  • 3-Kubernetes进阶架构学习操作与配置

    Q:什么是节点? 答:Kubernetes中节点(node)指的是一个工作机器曾经叫做 minion , 但是需要注意不同的集群中,节点可能是虚拟机也可能是物理...

    WeiyiGeek
  • Kubernetes的容器存储接口(CSI)GA了

    Kubernetes实施的容器存储接口(CSI)已在Kubernetes v1.13版本中升级为GA。CSI的支持在Kubernetes v1.9版本中作为al...

    CNCF
  • 我就要在容器里写文件!?

    在生产环境上遇到过一个讨厌的事情,有业务应用在容器中写入大量日志,导致磁盘空间爆满,引发了大面积驱逐。这种情况还有个比较烦心的事情就是无从监控,因此也不能用告警...

    崔秀龙

扫码关注云+社区

领取腾讯云代金券