K8S 生态周报| Docker v20.10.6 发布， 修正了 K8S 中 dind 的异常行为
K8S 生态周报| Docker v20.10.6 发布， 修正了 K8S 中 dind 的异常行为
“「K8S 生态周报」内容主要包含我所接触到的 K8S 生态相关的每周值得推荐的一些信息。欢迎订阅知乎专栏「k8s生态」[1]。 ”
Docker v20.10.6 发布
距离上个版本已经过去了一个多月，Docker 于近日发布了 v20.10.6 版本，还有 Docker Desktop 也发布了新版。这个版本中除了带来了 M1 的支持外，还带来了很多值得关注的内容，我们一起来看看吧！
CLI 和构建器
在 Docker v1.7 版本之前，Docker CLI 在执行完 docker login 后，会将相关信息存储到本地的 ~/.dockercfg 配置文件中。自从 v1.7 版本开始，Docker 引入了新的配置文件 ~/.docker/config.json，为了保持兼容性，Docker 一直在同时支持这两种配置文件。
从当前版本开始，如果发现还在用 ~/.dockercfg 则会输出一行警告信息。提醒用户该配置文件将在后续版本中删除，请使用新的配置文件路径&格式。
此外，从这个版本开始，如果在使用旧版的 builder 并且在 Dockerfile 中有其不支持的命令或参数，则会打印相关报错，并提示使用 BuildKit 来完成构建。这也是 Docker 社区想要将 BuildKit 提升为默认构建器的进一步举措。
日志
#42174 · moby/moby修正了 Docker v20.10 版本中，当使用默认的 json-file 日志驱动时，偶发会遇到 io.UnexpectedEOF 的错误。
在实际测试中，在大量日志持续输出的情况下，比较容易复现此问题。
网络
此版本中修正了 v20.10 中，当容器停止后 iptables 规则无法自动清理的问题；同时也解决了 Docker 在有 IPv6 网络机器上，暴露端口时，虽然可以同时通过 IPv4 和 IPv6 的地址访问该端口，但是 docker inspect 的 API 中默认不返回 IPv6 地址信息的问题。
其他
在这个版本中，如果使用 Docker 官方源进行 Docker CE 安装的话，默认会建议安装 docker-scan-plugin 包，这是一个 docker CLI 的插件，可用于扫描镜像漏洞。
该插件我在之前的 K8S 生态周报中已经介绍过了，最初先引入到了 Docker Desktop 中，这个插件还是很方便的。
另外， 这个版本也解决了一个比较严重的问题 。虽然此问题并非 Docker 自身导致的，但是在使用 Docker In Docker 模式时，会触发到，所以在此进行额外的说明。
当在 Kubernetes 中使用 Docker In Docker v20.10 版本时候，由于 Kubernetes 有 QoS 的机制，它确定了 Pod 的调度和驱逐优先级。实际上，Kubelet 是通过判断 Pod 的 oom_score_adj 来判定何时对它进行 OOM 。关于容器资源管理的部分，请参考我之前的文章《聊聊容器资源管理》
如果是 BestEffort QoS 的 Pod，则 Kubernetes 会将它的 oom_score_adj 设置为 1000 ，但是 containerd 为了能避免 shim 不至于在子进程之前推出，所以在 AdjustOOMScore 函数中，进行了对 oom_score_adj 加 1 的行为。会导致如下报错信息：
docker: Error response from daemon: io.containerd.runc.v2: failed to adjust OOM score for shim: set shim OOM score: write /proc/211/oom_score_adj: invalid argument
前面也已经说到了 Besteffort QoS 为它设置的是 1000， 这已经是该值的最大值啦，要 +1 自然也就报错了。
对应的修正方法如下：
diff --git a/sys/oom_unix.go b/sys/oom_unix.go
index d49d5bc8d..c381e1a7e 100644
--- a/sys/oom_unix.go
+++ b/sys/oom_unix.go
@@ -26,8 +26,12 @@ import (
"strings"
)
-// OOMScoreMaxKillable is the maximum score keeping the process killable by the oom killer
-const OOMScoreMaxKillable = -999
+const (
+ // OOMScoreMaxKillable is the maximum score keeping the process killable by the oom killer
+ OOMScoreMaxKillable = -999
+ // OOMScoreAdjMax is from OOM_SCORE_ADJ_MAX https://github.com/torvalds/linux/blob/master/include/uapi/linux/oom.h
+ OOMScoreAdjMax = 1000
+)
diff --git a/runtime/v2/shim/util_unix.go b/runtime/v2/shim/util_unix.go
index 2b0d0ada3..9fb7cc573 100644
--- a/runtime/v2/shim/util_unix.go
+++ b/runtime/v2/shim/util_unix.go
@@ -53,6 +53,7 @@ func SetScore(pid int) error {
// AdjustOOMScore sets the OOM score for the process to the parents OOM score +1
// to ensure that they parent has a lower* score than the shim
+// if not already at the maximum OOM Score
func AdjustOOMScore(pid int) error {
parent := os.Getppid()
score, err := sys.GetOOMScoreAdj(parent)
@@ -60,6 +61,9 @@ func AdjustOOMScore(pid int) error {
return errors.Wrap(err, "get parent OOM score")
}
shimScore := score + 1
+ if shimScore > sys.OOMScoreAdjMax {
+ shimScore = sys.OOMScoreAdjMax
+ }
if err := sys.SetOOMScore(pid, shimScore); err != nil {
return errors.Wrap(err, "set shim OOM score")
}
可以看到，就是在 AdjustOOMScore 中，如果发现发现调整后的 oom_score_adj 大于了系统默认的最大值，则将它设置为系统的最大值。
如果在生产环境中使用 containerd 及 Docker In Docker 的，建议升级到此版本进行解决。
好了，以上就是此版本中需要注意的内容，更多详细的变更，请查看其 ReleaseNote
kube-state-metrics v2.0 发布
做 Kubernetes 集群监控的小伙伴，大多对这个项目都不陌生。kube-state-metrics 可以根据 Kubernetes 的资源状态来生成 Prometheus 格式，极大的满足了我们对集群可观测性的要求。
这个版本主要是将一些 metrics 的名字做了替换，替换成了更加标准和统一的格式。
同时，将镜像的位置从 Quay.io 迁移到了 k8s.gcr.io/kube-state-metrics/kube-state-metrics 中。
更多关于此版本的变更，请查看其 ReleaseNote
上游进展
- #99839 · kubernetes/kubernetes 修正了 port-forward 的内存泄漏问题；
- #99963 · kubernetes/kubernetes 确保 job controller 可以在 Pod 完成后清理掉它；
- #100644 · kubernetes/kubernetes 将 KubeConfig 暴露在 scheduler framework 中，以便于树外插件使用。
欢迎订阅我的文章公众号【MoeLove】
TheMoeLove
参考资料
[1]
k8s生态: https://zhuanlan.zhihu.com/container