TKE kubernetes 1.24.4 revisions
说明
Kubernetes 1.24通过 Dockershim 对 Docker 的支持已移除，新建节点的容器运行时请使用 Containerd，通过 Docker 构建的镜像可以继续使用。更多信息可请参考 Dockershim Removal FAQ。
时间 | 版本 | 更新内容 |
2023-07-21 | v1.24.4-tke.9 | 使 kube-proxy 具备感知节点 PodCIDRs 变化的能力，并在发生变化时通过重启来保证一致性。(kube-proxy) 修复 kubelet 给 pod 分配设备可能 panic 的问题。(kubelet) 修复调度器迭代器错误，避免因添加重复 scorePlugin 导致 score 超出单个 plugin 范围。(kube-scheduler) 移植 CVE-2022-3294(kube-apiserver) |
2023-05-30 | v1.24.4-tke.7 | 支持 Pod 资源原地更新。(kube-apiserver,kube-scheduler,kubelet) 优化调度日志。(kube-scheduler) 合并 PR117550，增加 --concurrent-cron-job-syncs 参数设置 cronjob controller 的 worker 数量。(kube-controller-manager) |
2023-03-17 | v1.24.4-tke.6 | 忽略 TKEDefaultQuota 冲突时的错误，增加 worker 数量解决 resource quota evaluates timeout 错误。(kube-apiserver) 缩容时支持指定 Pod。(kube-controller-manager) 避免使用了 CBS 的 Pod 调度到外部 CHC 节点。(kube-scheduler) 合并 PR110951，避免偶发某 PV mount 操作卡住并导致与该 PV 相关的 Pod 都卡在 Creating 状态的问题。(kubelet) 合并 PR111635，修复 kube-proxy 重启后 ipvs real server 权重为0的问题。(kube-proxy) 支持原生节点放大特性。(kube-scheduler) 支持把 LB 地址绑定到 ipvs 网卡。(kube-proxy) kube-apiserver 优先级和公平性的特性增强： (kube-apiserver)
a. 支持基于 userAgent 限速、支持令牌桶限速，支持对任意类型的组件进行限速、熔断。
b. dump_priority_levels 时按照 pl 名称排序；增加 PL debug 信息：处理请求总数、拒绝请求总数、超时请求总数、取消请求总数。 当发生 list/watch too old, too large 及过多对象时记录指标 (kube-apiserver)： watch_too_old_objects_events_total , list_too_large_objects_events_total , list_too_many_objects_events_total , watch_too_many_objects_events_total支持 Containerd 运行时的网络指标。(kubelet) 支持腾讯云 CBS CSI 迁移。(kube-apiserver,kube-controller-manager,kubelet) kube-controller-manager 进行 pod gc 时，优先删除 Evicted pod。(kube-controller-manager) |
2023-02-16 | v1.24.4-tke.5 | 支持超级节点 DaemonSet Pod 的 exec/logs 命令。(kube-apiserver) 超级节点支持固定 IP。(kube-scheduler) 移植1.26支持多个 HPAController worker。(kube-controller-manager) 移植社区启发式设置 watch 通道大小的特性，并支持通过 env 设置某些资源 watch 通道大小。(kube-apiserver) 优化自适配节点 iptables 模式的脚本，解决某些情况下判断错误的问题。(kube-proxy) |
2022-12-08 | v1.24.4-tke.3 | 支持 Containerd 运行时的磁盘用量指标。(kubelet) 支持扩展调度器 Prebind 及 Unreserve 操作。(kube-scheduler) 支持 TKE Serverless 超级节点。(kube-controller-manager,kube-scheduler) |
2022-05-07 | v1.24.4-tke.1 | 更新以镜像方式运行 kube-proxy 时的启动方式，自动适配所在节点的 iptables 运行模式，以支持默认使用 nf_tables 模式运行 iptables 的操作系统。(kube-proxy) 允许 TKE 托管集群使用的特殊网段。(kube-apiserver) revert pr63066，修复 LB 健康检查与 IPVS 的问题。(kube-proxy) 合并 PR112299，优化 apiserver gzip 压缩级别。 |
TKE kubernetes 1.22.5 revisions
时间 | 版本 | 更新内容 |
2023-07-21 | v1.22.5-tke.18 | 修复 kubelet 给 pod 分配设备可能 panic 的问题。(kubelet) 修复超级节点自定义策略的 bug。(kube-scheduler) 移植 CVE-2022-3294(kube-apiserver) |
2023-05-26 | v1.22.5-tke.16 | 移植 PR117550，增加 --concurrent-cron-job-syncs 参数设置 cronjob controller 的 worker 数量。(kube-controller-manager) |
2023-04-20 | v1.22.5-tke.15 | cadvisor 收集指标时，新建容器相关文件尚未创建时跳过，避免上报空值出现断点。(kubelet) 合并 PR112913，修复 cpu manager 计算可分配 cpuset 的问题。(kubelet) 改进 Pod 原地变配的处理逻辑。(kube-apiserver,kube-scheduler,kubelet) 合并 PR107670，修复删除 Pod 时可能会触发时序性 Bug 导致 sandbox 泄露的问题。(kubelet) |
2023-03-24 | v1.22.5-tke.14 | 合并 PR108202，修复从1.20升级到1.22后 EndpointSlice 中的 nodeName 字段缺失的问题。(kube-apiserver) 合并 PR110245，kube-proxy 加入兜底逻辑，在 endpoint.NodeName为空时，使用endpoint.DeprecatedTopology[v1.LabelHostname]，避免1.20升级到1.22后，服务可能无法访问的问题。(kube-proxy) |
2023-03-17 | v1.22.5-tke.13 | 合并 PR110951，避免偶发某 PV mount 操作卡住并导致与该 PV 相关的 Pod 都卡在 Creating 状态的问题。(kubelet) 修复某些情况下 GET 没有被记录为 WATCH 的问题。(kube-apiserver) kube-controller-manager 进行 pod gc 时，优先删除 Evicted pod。(kube-controller-manager) 支持把 LB 地址绑定到 ipvs 网卡。(kube-proxy) |
2023-03-06 | v1.22.5-tke.12 | |
2023-02-16 | v1.22.5-tke.11 | 超级节点支持固定 IP。(kube-scheduler) 移植1.26支持多个 HPAController worker。(kube-controller-manager) 移植社区启发式设置 watch 通道大小的特性，并支持通过 env 设置某些资源 watch 通道大小。(kube-apiserver) 移植 PR108366，修复 kubelet 过早上报结束中 pod 状态，导致新 pod 运行时出现资源不足的问题。(kubelet) 修复 inotify 泄露导致 kubelet 内存泄露的问题。(kubelet) 去掉与 watch_too_old_objects_events_total,list_too_many_objects_events_total,watch_too_many_objects_events_total 相关的日志，避免打印过多信息。(kube-apiserver) 优化自适配节点 iptables 模式的脚本，解决某些情况下判断错误的问题。(kube-proxy) |
2023-01-12 | v1.22.5-tke.9 | 支持原生节点放大特性。(kube-scheduler) 为 list_too_many_objects_events_total 指标增加 delegated_to_storage 标签，表示请求是否透传到 etcd。(kube-apiserver) |
2023-01-05 | v1.22.5-tke.8 | kube-apiserver 优先级和公平性的特性增强：(kube-apiserver) a. 限速时考虑 list 请求的资源类型的对象数，对象数越多，并发 QPS 越低，APIServer 占用的资源也将显著减少，能有效提升集群稳定性，避免雪崩。若业务组件会发出大量 list 请求，升级后可能延时会增加、APIServer 返回限速重试等。 b. 支持基于 userAgent 限速、支持令牌桶限速，支持对任意类型的组件进行限速、熔断。 c. 支持对跟 watch 中的对象有关的更新请求进行限速，避免瞬间产生过多更新事件。 超级节点支持在需要时运行 DaemonSet Pod。(kube-controller-manager) 支持超级节点 DaemonSet Pod 的 exec/logs 命令。(kube-apiserver) 当发生 list/watch too old, too large 及过多对象时记录指标 (kube-apiserver)： watch_too_old_objects_events_total,list_too_large_objects_events_total,list_too_many_objects_events_total,watch_too_many_objects_events_total合并 PR108754，修复偶发挂载 ConfigMap/Secrets 卷时报未注册错误的问题。(kubelet) 支持 Pod 资源原地更新。(kube-apiserver,kubelet) |
2022-12-08 | v1.22.5-tke.7 | 修复容器网卡默认名称被设置为 eth1的问题。(kubelet) |
2022-11-09 | v1.22.5-tke.6 | 优化包年包月超级节点调度。(kube-scheduler) 优化云原生节点稳定性。(kubelet) 优化超级节点本地副本数调度。 增加 QosIgnoreInitContainer 开关，开启后设置 pod QoS 时忽略 init container 的资源。(kube-apiserver,kubelet) |
2022-10-13 | v1.22.5-tke.5 | Serverless 集群支持 daemonset。(kube-apiserver) 合并 PR112299，优化 apiserver gzip 压缩级别。(kube-apiserver) 修复 CVE-2022-3172。(kube-apiserver) 增加 calling_webhook_timeout_error 指标。(kube-apiserver) 忽略 TKEDefaultQuota 冲突时的错误，增加 worker 数量解决 resource quota evaluates timeout 错误。(kube-apiserver) 合并 PR110294，修复 Job activeDeadlineSeconds 设置不生效的问题。(kube-controller-manager) 合并 PR111773，修复调度器抢占时的内存泄漏问题。(kube-scheduler) 支持 containerd 磁盘指标。(kubelet) 合并 PR108831，修复同时创建多个 Pod 导致 kubelet panic。(kubelet) 缩容时支持指定 Pod。(kube-controller-manager) 优化 daemonset pod 调度性能，只处理分配到的节点。(kube-scheduler) 设置 CBS CSI Migration 为完成状态。(kube-controller-manager) 支持扩展调度器 Prebind 及 Unreserve 操作。(kube-scheduler) 优化 Serverless 集群超级节点 HPA。(kube-controller-manager) |
2022-05-07 | v1.22.5-tke.1 | 允许 TKE 托管集群使用的特殊网段。(kube-apiserver) 还原 pr63066，修复 LB 健康检查与 IPVS 的问题。(kube-proxy) 合并 pr90260，修复 containerd 集群网络监控缺失问题。(kubelet) 修复 ubuntu16 下 lxcfs 升级造成 Pod 退出的问题。(kubelet) 避免使用了 CBS 的 Pod 调度到外部 CHC 节点。(kube-scheduler) 支持腾讯云 CBS CSI Migration。(kube-controller-manager,kubelet) 合并 pr106906，探测网络存储卷 subpath 是否已经删除，避免 Pod 一直处于 terminating 状态。(kubelet) 更新以镜像方式运行 kube-proxy 时的启动方式，自动适配所在节点的 iptables 运行模式，以支持默认使用 nf_tables 模式运行 iptables 的操作系统。(kube-proxy) |
TKE kubernetes 1.20.6 revisions
时间 | 版本 | 更新内容 |
2023-07-20 | v1.20.6-tke.37 | 合并 PR116327，优化 List 的内存使用。(kube-apiserver) hpa controller 的 qps/burst 可配置化。(kube-controller-manager) 移植 PR107831，在 kubelet secret/configmap 缓存中包含 pod UID。(kubelet) 加固 cadvisor 采集。(kubelet) attach detach controller 性能优化加快 node 高频率更新时的处理速度。(kube-controller-manager) 合并 CVE-2022-3294(kube-apiserver) 修复超级节点自定义策略的 bug。(kube-scheduler) |
2023-05-26 | v1.20.6-tke.34 | 修复 CRD 实例的 watch_cache_capacity 指标 resource 名称都是 Unstructured 导致无法区分且相互影响的问题。(kube-apiserver) 移植 PR116167，kube-controller-manager 进行 pod gc 时，优先删除 Evicted pod。(kube-controller-manager) 移植 PR97845，增加 apiserver_terminated_watchers_total 指标，表示因未能及时处理而关闭的 watcher 数量。(kube-apiserver) 移植 PR117550，增加 --concurrent-cron-job-syncs 参数设置 cronjob controller 的 worker 数量。(kube-controller-manager) 改进 Pod 原地变配的处理逻辑。(kube-apiserver,kube-scheduler,kubelet) |
2023-03-10 | v1.20.6-tke.33 | 合并 PR110951，避免偶发某 PV mount 操作卡住并导致与该 PV 相关的 Pod 都卡在 Creating 状态的问题。(kubelet) 合并 PR106295，Device Manager 读取状态文件时同时适配v1和v2两种格式。(kubelet) 修复某些情况下 GET 没有被记录为 WATCH 的问题。(kube-apiserver) |
2023-03-06 | v1.20.6-tke.32 | |
2023-02-13 | v1.20.6-tke.31 | 移植1.26支持多个 HPAController worker。(kube-controller-manager) 移植社区启发式设置 watch 通道大小的特性，并支持通过 env 设置某些资源 watch 通道大小。(kube-apiserver) 修复 inotify 泄露导致 kubelet 内存泄露的问题。(kubelet) 去掉与 watch_too_old_objects_events_total,list_too_many_objects_events_total,watch_too_many_objects_events_total 相关的日志，避免打印过多信息。(kube-apiserver) 根据超级节点 eks.tke.cloud.tencent.com/eklet-priority annotation 对超级节点进行打分。(kube-scheduler)修复超级节点固定 IP 的 bug。(kube-scheduler) 优化自适配节点 iptables 模式的脚本，解决某些情况下判断错误的问题。(kube-proxy) 修复指标 rest_client_rate_limiter_duration_seconds 未注册的问题。(kube-apiserver，kube-controller-manager，kube-scheduler，kubelet，kube-proxy) |
2023-01-05 | v1.20.6-tke.30 | 合并 PR104833，把 API 优先级和公平性中控制器的锁优化为读写锁。(kube-apiserver) 超级节点支持在需要时运行 DaemonSet Pod。(kube-controller-manager) 合并 PR102576，删除遗留 Pod 卷时不再使用 RemoveAll，避免删除卷相关的数据。(kubelet) 允许带有特定 annotation 的 DaemonSet pod 调度到超级节点。(kube-controller-manager) 为超级节点本地副本数策略添加开关。(kube-scheduler) kube-apiserver 优先级和公平性的特性增强：(kube-apiserver) a. 限速时考虑 list 请求的资源类型的对象数，对象数越多，并发 QPS 越低，APIServer 占用的资源也将显著减少，能有效提升集群稳定性，避免雪崩。若业务组件会发出大量 list 请求，升级后可能延时会增加、APIServer 返回限速重试等。 b. 支持基于 userAgent 限速、支持令牌桶限速，支持对任意类型的组件进行限速、熔断。 c. 支持对跟 watch 中的对象有关的更新请求进行限速，避免瞬间产生过多更新事件。 超级节点支持固定 IP。(kube-scheduler) 为超级节点相关功能添加开关。(kube-scheduler) 当发生 list/watch too old, too large 及过多对象时记录指标(kube-apiserver)： watch_too_old_objects_events_total,list_too_large_objects_events_total,list_too_many_objects_events_total,watch_too_many_objects_events_total增加 Watch 缓存的容量指标：watch_cache_capacity。(kube-apiserver) 使用 ConfigMap Informer 优化超级节点调度性能。(kube-scheduler) 支持通过环境变量 DEFAULT_LOWER_BOUND_CAPACITY 设置 watch 缓存数量的最小值。(kube-apiserver) 增加 AllowLocalConnection 开关，开启时允许外部请求访问本地地址。(kubelet) |
2022-11-09 | v1.20.6-tke.28 | 优化包年包月超级节点调度。(kube-scheduler) 优化云原生节点稳定性。(kubelet) 修复原生节点原地升降配 kubelet 异常退出。(kubelet) 优化超级节点本地副本数调度。(kube-scheduler) 增加 QosIgnoreInitContainer 开关，开启后设置 pod QoS 时忽略 init container 的资源。(kube-apiserver,kubelet) |
2022-10-13 | v1.20.6-tke.27 | 针对超级节点 IP 管理的调度策略优化。(kube-scheduler) 合并 PR112299，优化 apiserver gzip 压缩级别。(kube-apiserver) 修复 CVE-2022-3172。(kube-apiserver) 增加 calling_webhook_timeout_error 指标。(kube-apiserver) 忽略 TKEDefaultQuota 冲突时的错误，增加 worker 数量解决 resource quota evaluates timeout 错误。(kube-apiserver) 优化 Serverless 集群本地副本数调度。(kube-scheduler) 取消固定 eip 强制调度到原超级节点。(kube-scheduler) 合并PR99324，在 kube-controller-manager token 失效后，立即重置。(kube-controller-manager) 合并PR101155，支持设置多个 ServiceAccount 令牌颁发者。(kube-apiserver) 为 CBS 磁盘增加 StatusDetaching 状态。(kube-controller-manager) 延长超级节点调度静态 IP 时更新资源的超时时间，避免大规模并发时更新失败。(kube-scheduler) Serverless 集群支持 daemonset。(kube-apiserver) |
2022-09-07 | v1.20.6-tke.24 | 优化调度器抢占，避免 crash。(kube-scheduler) 优化超级节点调度。(kube-scheduler) 支持 Pod 资源原地更新。(kube-apiserver,kubelet) 支持 kube-system 下的 Pod 调度到预付费超级节点。(kube-scheduler) 优化超级节点 HPA。(kube-controller-manager) 合并 PR110294，修复 Job activeDeadlineSeconds 设置不生效的问题。(kube-controller-manager) 合并 PR111773，修复调度器抢占时的内存泄漏问题。(kube-scheduler) 合并 PR97348，修复 HPA 在设置了 StabilizationWindowSeconds 时扩缩容数量不正确的问题。(kube-controller-manager) 优化包年包月超级节点调度。 合并 PR108831, 修复同时创建多个 Pod 导致 kubelet panic。(kubelet) 修复 cronjob 的 Pod name/uid 为空时 Pod 创建失败。(kube-controller-manager) |
2022-07-27 | v1.20.6-tke.21 | CBS 支持原生节点。(kubelet) 优化 TKE Serverless 超级节点 HPA。 |
2022-06-16 | v1.20.6-tke.20 | 支持包年包月超级节点。(kube-scheduler,kube-controller-manager) 在使用 docker 及 overlay2 时，通过 fs quota 获取磁盘用量，提高性能。(kubelet) 优化 daemonset pod 调度性能，只处理分配到的节点。(kube-scheduler) 优化 TKE Serverless 调度。(kube-scheduler) TKE Serverless：支持 pod 创建后再挂载 PVC。(kube-scheduler) 调度到 TKE Serverless 节点时可以通过特性开关忽略 hugepages 资源。(kube-scheduler) |
2022-04-22 | v1.20.6-tke.17 | TKE Serverless：支持保留沙箱特性。(kube-scheduler) 合并 pr101093，避免容器重启后 startupProbe 不再执行的问题。(kubelet) |
2022-03-24 | v1.20.6-tke.16 | 解决升级到 1.20 后 inline csi 和 ephemeral 通用临时卷不可用的问题。(kube-apiserver，kube-controller-manager，kube-scheduler，kubelet，kubectl) |
2022-03-18 | v1.20.6-tke.15 | 缩容时支持指定 pod。(kube-controller-manager) 合并 pr106906，探测网络存储卷 subpath 是否已经删除，避免 pod 一直处于 terminating 状态。(kubelet) 基于 hostname 进行反亲和调度时，忽略 TKE Serverless 超级节点。(kube-scheduler) 支持 tke1.18 升级到 1.20。(kube-apiserver,kube-controller-manager,kubelet) 移植 pr108325，修复 kubelet 启动时可能由于 pause 容器被删除导致 panic 的问题。(kubelet) 支持扩展调度器 Prebind 及 Unreserve 操作。(kube-scheduler) |
2022-01-20 | v1.20.6-tke.12 | TKE Serverless 重调度优化：针对同一可用区的已被驱逐过的超级节点，降低得分。(kube-scheduler) apiserver 支持集成 ExternalName 类型的外部服务。(kube-apiserver) 支持把 LB 地址绑定到 ipvs 网卡。(kube-proxy) |
2021-12-09 | v1.20.6-tke.9 | 优化 TKE Serverless 超级节点调度及 HPA。(kube-controller-manager,kube-scheduler) 修复 TKE Serverless 计算 cpu 资源时与前端不一致的问题 。(kube-scheduler) |
2021-12-02 | v1.20.6-tke.8 | 优化 grpc 日志，避免 kubelet 采集 volume 状态时打印过多日志。(kubelet) 避免使用了 cbs 的 Pod 调度到外部 CHC 节点。(kube-scheduler) |
2021-11-26 | v1.20.6-tke.7 | 添加混合云外部节点支持定制化安装其他 cni。(kube-controller-manager) 避免对 Pod Assumed 之后的更新进行不必要的处理。(kube-scheduler) 合并 pr99336，改进 kubelet 启动时节点信息的同步机制。(kubelet) |
2021-10-13 | v1.20.6-tke.6 | 合并 89465，修复滚动更新时基于 pod 指标的 HPA 错误计算实例个数的问题。(kube-controller-manager) |
2021-09-27 | v1.20.6-tke.5 | 支持收集 containerd 运行时的磁盘用量指标。(kubelet) |
2021-09-23 | v1.20.6-tke.4 | 修复使用 cgroup v2 时存储指标没有数据的问题。(kubelet) 修复 CVE-2021-25741，避免通过软链不合法访问主机文件。(kubelet) |
2021-07-19 | v1.20.6-tke.3 | 从 TKE 集群扩容到 TKE Serverless，在批量调度 Pod 时，能正确感知子网剩余 ip，调度正确数量的 Pod 到超级节点上。(kube-scheduler) 移植 upstream 对 kubelet 及 cadvisor 的修改，修复使用 cgroupv2 时指标收集统计的问题。(kubelet) |
2021-06-21 | v1.20.6-tke.2 | 默认开启 CSIMigration 及 CSIMigrationQcloudCbs，以 CSI 方式挂载 CBS 盘。 |
2021-05-25 | v1.20.6-tke.1 | revert pr63066，修复 LB 健康检查与 IPVS 的问题。（kube-proxy） 合并 pr90260，修复 containerd 集群网络监控缺失问题。(kubelet) ubuntu16下 lxcfs 升级造成 Pod 退出问题修复。(kubelet) 合并 pr72914，修复删除 Pod 后立即创建并调度到同一个节点可能导致无法挂载成功的问题。(kube-controller-manager) 解决在 CentOS 下创建容器会导致 cgroup 泄露的问题。(kubelet) 合并 pr98262，支持 kube-controller-manager 动态调整日志级别。(kube-controller-manager) 合并 pr97752，修复 describe deployment 时 NewReplicaSet 显示为的问题。（kubectl） 合并 pr94833，修复当 Pod 镜像有多个 tag 时，status 中镜像 tag 不匹配的问题。(kubelet) 合并 pr100060，自动删除孤儿 Pod 遗留的 volume 目录。(kubelet) kube-controller-manager 支持超级节点。(kube-controller-manager) kube-scheduler 支持混合云扩容到 TKE Serverless 时，保留固定数目的本地副本。(kube-scheduler) 支持 cbs csi migration。（kube-controller-manager，kubelet） 合并 pr93260，解决 AWS Credential Provider 导致节点启动变慢的问题。(kubelet) 为调度器增加命令行参数 eks-config-namespace：指定扩容 TKE Serverless 相关配置所在的 namespace。(kube-scheduler) TKE 支持混合云节点。(kube-controller-manager) |
（停止维护）TKE kubernetes 1.18.4 revisions
时间 | 版本 | 更新内容 |
2023-07-20 | v1.18.4-tke.39 | 支持 daemonset pod 调度到包月超级节点。(kube-scheduler) 移植 PR107831，在kubelet secret/configmap 缓存中包含 pod UID。(kubelet) 修复 pod 挂载磁盘异常问题。(kube-controller-manager/kubelet) |
2023-05-26 | v1.18.4-tke.37 | 改进 Pod 原地变配的处理逻辑。(kube-apiserver,kube-scheduler,kubelet) |
2023-05-16 | v1.18.4-tke.36 | kube-controller-manager 进行 pod gc 时，优先删除 Evicted pod。(kube-controller-manager) 修复某些情况下 GET 没有被记录为 WATCH 的问题。(kube-apiserver) |
2023-03-03 | v1.18.4-tke.35 | 为 list_too_many_objects_events_total指标增加delegated_to_storage标签，表示请求是否透传到后端存储。(kube-apiserver)移植 PR89160，只有在容器完全退出后，才删除与其相关的软连接。(kubelet) 支持超级节点 DaemonSet Pod 的 exec/logs 命令。(kube-apiserver) 优化超级节点调度，增加 EnableSuperNodeFeatures统一开关。(kube-scheduler)修复 inotify 泄露导致 kubelet 内存泄露的问题。(kubelet) 去掉与 watch_too_old_objects_events_total，list_too_many_objects_events_total，watch_too_many_objects_events_total相关的日志，避免打印过多信息。(kube-apiserver)优化自适配节点 iptables 模式的脚本，解决某些情况下判断错误的问题。(kube-proxy) 修复指标 rest_client_rate_limiter_duration_seconds未注册的问题。(kube-apiserver，kube-controller-manager，kube-scheduler，kubelet，kube-proxy)合并 PR110951，避免偶发某 PV mount 操作卡住并导致与该 PV 相关的 Pod 都卡在 Creating 状态的问题。(kubelet) 合并 PR111635，修复 kube-proxy 重启后 ipvs real server 权重为0的问题。(kube-proxy) |
2023-01-05 | v1.18.4-tke.34 | 超级节点支持在需要时运行 DaemonSet Pod。(kube-controller-manager) 合并 PR102576，删除遗留 Pod 卷时不再使用 RemoveAll，避免删除卷相关的数据。(kubelet) 原地更新支持降低资源 limit。(kube-apiserver) 修复日志轮转时未删除已终止容器的问题。(kubelet) 当发生 list/watch too old, too large 及过多对象时记录指标(kube-apiserver)： watch_too_old_objects_events_total,list_too_large_objects_events_total,list_too_many_objects_events_total,watch_too_many_objects_events_total |
2022-11-09 | v1.18.4-tke.33 | 优化包年包月超级节点调度。(kube-scheduler) 优化超级节点本地副本数调度。 |
2022-10-13 | v1.18.4-tke.30 | 合并 PR112299，优化 apiserver gzip 压缩级别。(kube-apiserver) 修复 CVE-2022-3172。(kube-apiserver) 增加 calling_webhook_timeout_error 指标。(kube-apiserver) 忽略 TKEDefaultQuota 冲突时的错误，增加 worker 数量解决 resource quota evaluates timeout 错误。(kube-apiserver) 为 CBS 磁盘增加 StatusDetaching 状态。(kube-controller-manager) Serverless 集群支持 daemonset。(kube-apiserver) |
2022-09-07 | v1.18.4-tke.28 | 优化大规模集群时的 List 性能。(kube-apiserver) 优化超级节点调度。(kube-scheduler) 支持 kube-system 下的 Pod 调度到预付费超级节点。(kube-scheduler) 优化超级节点 HPA。(kube-controller-manager) 支持 Pod 资源原地更新。(kube-apiserver,kubelet) 合并 PR97348，修复 HPA 在设置了 StabilizationWindowSeconds 时扩缩容数量不正确的问题。(kube-controller-manager) 优化包年包月超级节点调度。 合并 PR108831, 修复同时创建多个 Pod 导致 kubelet panic。(kubelet) |
2022-07-27 | v1.18.4-tke.26 | CBS 支持原生节点。(kubelet) |
2022-03-18 | v1.18.4-tke.23 | 合并 pr92878，只在设置 ConfigMap/Secret 卷 Owership 超过 30 秒时打印警告信息，避免产生过多日志信息。(kubelet) 合并 pr106906，探测网络存储卷 subpath 是否已经删除，避免 pod 一直处于 terminating 状态。(kubelet) 基于 hostname 进行反亲和调度时，忽略 TKE Serverless 超级节点。(kube-scheduler) 合并 pr93026，解决 DefaultPodTopologySpread 无法获取 replicaset 信息的问题。(kube-scheduler) |
2022-01-20 | v1.18.4-tke.20 | TKE Serverless 重调度优化：针对同一可用区的已被驱逐过的超级节点，降低得分。(kube-scheduler) apiserver 支持 集成 ExternalName 556 类型的外部服务。(kube-apiserver) 支持把 LB 地址绑定到 ipvs 网卡。(kube-proxy) |
2021-12-09 | v1.18.4-tke.17 | 解决当集群中有大量 volume attachment 对象时，kube-controller-manager 访问 api-server 被限频的问题 。(kube-controller-manager) 合并 PR95650，HPA 计算副本数时忽略已删除 Pod。(kube-controller-manager) 修复 TKE Serverless 计算 cpu 资源时与前端不一致的问题。(kube-scheduler) |
2021-12-02 | v1.18.4-tke.16 | 修复调度到超级节点时的 bug。(kube-scheduler) 优化超级节点调度算法。(kube-scheduler) |
2021-11-26 | v1.18.4-tke.15 | 合并 pr96444，在同步 RBAC 策略时，如果有错误则返回重试。(kube-apiserver) 添加混合云外部节点支持定制化安装其他 cni。(kube-controller-manager) 支持云游安卓容器分组绑核需求。(kubelet) 支持扩展调度器 Prebind 及 Unreserve 操作。(kube-scheduler) 合并 pr99336，改进 kubelet 启动时节点信息的同步机制。(kubelet) 修复 CVE-2021-25741，避免通过软链不合法访问主机文件。(kubelet) 优化 cbs 磁盘创建失败导致调度超时的错误信息。(kube-scheduler) 优化 grpc 日志，避免 kubelet 采集 volume 状态时打印过 多日志。(kubelet) 避免使用了 cbs 的 Pod 调度到外部 CHC 节点。(kube-scheduler) |
2021-08-23 | v1.18.4-tke.14 | 从 TKE 集群扩容到 TKE Serverless：支持固定 IP。(kube-scheduler) 从 TKE 集群扩容到 TKE Serverless：当匹配 TKE Serverless 固定 IP 时，跳过其他预选策略。(kube-scheduler) 从 TKE 集群扩容到 TKE Serverless：针对 TKE Serverless 节点的调度优化 TKE Serverless 节点资源感知重调度；TKE Serverless 节点优先机型调度；优化了针对 TKE Serverless 节点的优选/预选策略。(kube-scheduler) 记录已加载的 ipvs 内核模块，避免 ipvs 模式时 kube-proxy 崩溃。(kube-proxy) 写入 cpu manager 状态文件发生错误时，避免 panic。(kubelet) |
2021-07-22 | v1.18.4-tke.13 | |
2021-07-13 | v1.18.4-tke.12 | 从 TKE 集群扩容到 EKS：在批量调度 Pod 时，能正确感知子网剩余 IP ，调度正确数量的 Pod 到超级节点上。(kube-scheduler) 支持收集 Containerd 运行时的磁盘用量指标。(kubelet) 缩容时支持指定 Pod。(kube-controller-manager) |
2021-06-05 | v1.18.4-tke.11 | TKE 支持混合云节点。(kube-controller-manager) |
2021-05-14 | v1.18.4-tke.9 | 移植 pr93370，支持 CronJobControllerV2。(kube-controller-manager) 合并 pr100376，开启 HTTP/2 健康检查，避免连接丢失后无法恢复的问题。（kube-apiserver，kube-controller-manager，kube-scheduler，kubelet，kube-proxy，kubectl） 合并 pr100317，修复 CVE-2021-25735 节点更新可能绕过 Validating Admission Webhook 的问题。（kube-apiserver） 从 TKE 集群扩容到 TKE Serverless 支持 ComputeResource 和 TKE Serverless ClusterIP 及 HPA。（kube-controller-manager，kube-scheduler） |
2021-04-02 | v1.18.4-tke.8 | 合并 pr97752，修复 describe deployment 时 NewReplicaSet 显示为 <none> 的问题。（kubectl） 合并 pr93808，修复执行 kube-scheduler --version 返回多余信息的问题。(kube-scheduler) 合并 pr91590，修复使用 NodePort 类型多协议 Service 时警告端口已分配的问题。（kube-apiserver） 合并 pr98262，支持 kube-controller-manager 动态调整日志级别。(kube-controller-manager) 合并 pr95154，修复 kube-scheduler snapshot 包含删除中的节点的问题。(kube-scheduler) 合并 pr95711，修复 kubectl drain 命令占用 CPU 高的问题。（kubectl） 合并 pr96602，修复时间前后跳变时，apiserver 内存泄漏的问题。（kube-apiserver） 合并 pr97023，在卸载 emptyDir 类型的卷时，删除相关元数据目录。(kubelet) 合并 pr97527，修复 cpumanager 中未同步 map 访问操作的问题。(kubelet) 合并 pr100190，自动删除孤儿 Pod 遗留的 volume 目录。(kubelet) 合并 pr92614，当重启策略为 RestartPolicyOnFailure 的 Pod 所有容器都成功退出时，不再创建新的 Sandbox。(kubelet) 合并 pr94833，修复当 Pod 镜像有多个 tag 时，status 中镜像 tag 不匹配的问题。(kubelet) |
2020-12-28 | v1.18.4-tke.6（从本版本起，开始支持 ARM 集群） | 为 QcloudCbs 添加 metrics。(kube-controller-manager) 修复 mount cbs 盘时查看 serial 值的多余空格问题。(kubelet) |
2020-12-21 | v1.18.4-tke.5 | 合并 pr94712，修复 CVE-2020-8564 - 当文件格式不正确，logLevel >= 4 时，Docker 配置泄露。(kubelet) 合并 pr95316，修复 CVE-2020-8565 - 对 CVE-2019-11250 的不完整修复导致的日志 token 泄露。（logLevel >= 9）（kube-apiserver，kubectl） 合并 pr95245，修复 CVE-2020-8566 - 当 loglevel >= 4 时，Ceph RBD adminSecrets 暴露在日志中。(kube-controller-manager) 修复重启 kubelet 导致 Pod 就绪检查失败的问题。(kubelet) 合并 pr90825，解决由于 race condition 可能导致 client-go 中 fifo 队列 Pop 操作卡住，进而导致 pod 一直处于 pending 状态的问题。(kubelet) 调度器支持超级节点。(kube-scheduler) kube-controller-manager 支持超级节点。(kube-controller-manager) 根据节点真实机型设置 instance-type 标签，不再固定为 QCLOUD。(kubelet) 在 OpenAPI 中增加 CBS 部分。（kube-apiserver） 合并 pr91126，修复 Pod 同名但 UID 不同时调度器缓存不一致的问题。(kube-scheduler) 合并 pr93387，修复调度器中节点缓存信息错乱导致 daemonset pod 无法调度到某些节点的问题。(kube-scheduler) 合并 pr89465，修复滚动更新时基于 pod 指标的 HPA 错误计算实例个数的问题。(kube-controller-manager) |
2020-10-13 | v1.18.4-tke.3 | 合并 pr89629，解决 configmap 变更后挂载 subpath 的容器重启永远失败的问题。(kubelet) QcloudCbs 支持 BulkVolumeVerification。(kube-controller-manager) 合并 pr94430，修复 client-go reflector 无法检测到 "Too large resource version" 错误的问题。(kubelet) |
2020-08-12 | v1.18.4-tke.2 | |
2020-08-04 | v1.18.4-tke.1 | revert pr63066 修复 LB 健康检查与 IPVS 的问题。(kube-proxy) 合并 pr72914，修复删除 Pod 后立即创建并调度到同一个节点可能导致无法挂载成功的问题。(kube-controller-manager) 解决在 CentOS 下创建容器会导致 cgroup 泄露的问题。(kubelet) Ubuntu16 下 lxcfs 升级造成 Pod 退出问题修复。(kubelet) metadata 增加缓存和超时。cloud-provider 增加将节点名称作为 hostname 的支持。(kubelet) metadata 增加本地缓存。(kubelet) 合入 CBS 及相关修复代码。(kubelet) 合并 pr90260，修复 containerd 集群网络监控缺失问题。(kubelet) TKE 支持感知单个 node 可挂载 qcloudcbs 的最大数量。1.12版本及以上为 maxAttachCount-2，1.10版本现在默认为18。(kube-scheduler) CBS intree 解决磁盘不存在时继续卸载磁盘，导致大量无效请求的问题。(kubelet) 合并 pr2359，解决获取不到 docker root 造成的监控缺失问题。(kubelet) kube-scheduler 支持动态设置日志级别。(kube-scheduler) 绕过 CBS 出现的 device path（/dev/disk/by-id/virtio-xxx/...）缺失的问题，让用户能正常使用 CBS。(kubelet) TKE 感知单个 node 可挂载 qcloudcbs 的最大数量，kubelet 侧不去 patch node。(kubelet) 合并 pr89296，不在日志中记录是否启用了 iptables random-fully参数。(kube-proxy) 修复 aws 问题， pr92162。(kubelet) 合并 pr91277，避免 CLB 健康检查导致 kube-apiserver 产生大量 TLS 握手错误日志的问题。(kube-apiserver) 合并 pr91500，修复 KUBERNETES_SERVICE_HOST 环境变量缺失的问题。(kubelet) 合并 pr92537，修复 client-go reflector 无法从 "Too large resource version" 错误恢复的问题。(kube-apiserver、kube-controller-manager、kube-scheduler、kubelet 及 kube-proxy) 合并 pr92969，修复 CVE-2020-8559从被侵入节点提升权限从而侵入其他节点的问题。(kube-apiserver) 合并 pr92921，修复 CVE-2020-8557通过写入 “/etc/hosts” 耗尽磁盘空间的 DOS 攻击问题。(kubelet) |
（停止维护）TKE kubernetes 1.16.3 revisions
时间 | 版本 | 更新内容 |
2023-03-24 | v1.16.3-tke.35 | 优化安装脚本。(kubelet) |
2023-03-03 | v1.16.3-tke.34 | 超级节点支持在需要时运行 DaemonSet Pod。(kube-controller-manager) 合并 PR102576，删除遗留 Pod 卷时不再使用 RemoveAll，避免删除卷相关的数据。(kubelet) 原地更新支持降低资源 limit。(kube-apiserver) 支持超级节点 DaemonSet Pod 的 exec/logs 命令。(kube-apiserver) 修复 inotify 泄露导致 kubelet 内存泄露的问题。(kubelet) 优化自适配节点 iptables 模式的脚本，解决某些情况下判断错误的问题。(kube-proxy) 合并 PR111635，修复 kube-proxy 重启后 ipvs real server 权重为0的问题。(kube-proxy) |
2022-10-13 | v1.16.3-tke.32 | 合并 PR112299，优化 apiserver gzip 压缩级别。(kube-apiserver) 修复 CVE-2022-3172。(kube-apiserver) 增加 calling_webhook_timeout_error 指标。(kube-apiserver) 忽略 TKEDefaultQuota 冲突时的错误，增加 worker 数量解决 resource quota evaluates timeout 错误。(kube-apiserver) CPU Manager 处理 Pod 时先清理已终止的容器，避免 CPU 分配失败。(kubelet) 为 CBS 磁盘增加 StatusDetaching 状态。(kube-controller-manager) Serverless 集群支持 daemonset。(kube-apiserver) 支持 Pod 资源原地更新。(kube-apiserver,kubelet) |
2022-07-27 | v1.16.3-tke.28 | 基于 hostname 进行反亲和调度时，忽略 TKE Serverless 虚拟节点。(kube-scheduler) TKE Serverless 支持保留沙箱特性。(kube-scheduler) CBS 支持原生节点。(kubelet) |
2022-03-18 | v1.16.3-tke.27 | 缩容时支持指定 pod。(kube-controller-manager) 优化超级节点调度算法。(kube-scheduler) |
2022-01-20 | v1.16.3-tke.25 | 支持把 LB 地址绑定到 ipvs 网卡。(kube-proxy) apiserver 支持集成 ExternalName 类型的外部服务。(kube-apiserver) 优化 TKE Serverless 调度。(kube-scheduler) |
2021-12-09 | v1.16.3-tke.24 | 修复 TKE Serverless 本地副本数策略在 statefulset 类型的 Pod 上失效的问题。(kube-scheduler) |
2021-12-02 | v1.16.3-tke.23 | 支持扩展调度器 Prebind 及 Unreserve 操作。(kube-scheduler) 避免使用了 cbs 的 Pod 调度到外部 CHC 节点。(kube-scheduler) 修复调度到超级节点时的 bug。(kube-scheduler) |
2021-09-03 | v1.16.3-tke.22 | 写入 cpu manager 状态文件发生错误时，避免 panic。(kubelet) |
2021-08-17 | v1.16.3-tke.21 | 针对 TKE Serverless 节点的调度优化：针对 TKE Serverless 节点的调度优化 TKE Serverless 节点资源感知重调度；TKE Serverless 节点优先机型调度；优化了针对 TKE Serverless 节点的优选 / 预选策略。(kube-scheduler) 移植 87692，修复调度器 pending_pods 和 schedule_attempts_total 指标没有数据的问题。(kube-scheduler) |
2021-07-19 | v1.16.3-tke.20 | 从 TKE 集群扩容到 TKE Serverless：在批量调度 Pod 时，能正确感知子网剩余 IP，调度正确数量的 Pod 到超级节点上。(kube-scheduler) 合并 pr88507，解决更新 Pod 状态时 podIP 和 podIPs 不一致的问题。(kube-apiserver) |
2021-05-24 | v1.16.3-tke.17 | 移植 pr93370，支持 CronJobControllerV2。(kube-controller-manager) 从 TKE 集群扩容到 TKE Serverless 支持保留本地副本数。(kube-scheduler) |
2021-05-06 | v1.16.3-tke.16 | 更新以镜像方式运行 kube-proxy 时的启动方式，自动适配所在节点的 iptables 运行模式，以支持默认使用 nf_tables 模式运行 iptables 的操作系统。 |
2021-04-14 | v1.16.3-tke.15 | 合并 pr97752，修复 describe deployment 时 NewReplicaSet 显示为 <none> 的问题。（kubectl） 合并 pr92614，当重启策略为 RestartPolicyOnFailure 的 Pod 所有容器都成功退出时，不再创建新的 Sandbox。(kubelet) 合并 pr91590，修复使用 NodePort 类型多协议 Service 时警告端口已分配的问题。（kube-apiserver） 合并 pr98262，支持 kube-controller-manager 动态调整日志级别。(kube-controller-manager) 合并 pr95301，自动删除孤儿 Pod 遗留的 volume 目录。(kubelet) |
2020-12-28 | v1.16.3-tke.14 | 为 QcloudCbs 添加 metrics。(kube-controller-manager) 修复 mount cbs 盘时查看 serial 值的多余空格问题。(kubelet) |
2020-12-21 | v1.16.3-tke.13 | 合并 pr94712，修复 CVE-2020-8564 - 当文件格式不正确，logLevel >= 4 时，Docker 配置泄露。(kubelet) 合并 pr95316，修复 CVE-2020-8565 - 对 CVE-2019-11250 的不完整修复导致的日志 token 泄露（logLevel >= 9）。(kube-apiserver，kubectl) 合并 pr95245，修复 CVE-2020-8566 - 当 loglevel >= 4 时，Ceph RBD adminSecrets 暴露在日志中。(kube-controller-manager) 合并 pr86191，修复节点重启时，Pod 可能处于错误状态的问题。(kubelet) 合并 pr86140，修复 controller manager 没有正确处理超时错误导致扩容的pod无法创建的问题。(kube-controller-manager) 合并 pr90825，解决由于 race condition 可能导致 client-go中fifo 队列 Pop 操作卡住，进而导致 pod 一直处于 pending 状态的问题。(kubelet) 调度器支持超级节点。(kube-scheduler) kube-controller-manager 支持超级节点。(kube-controller-manager) 根据节点真实机型设置 instance-type 标签，不再固定为 QCLOUD。(kubelet) 在 OpenAPI 中增加 CBS 部分。(kube-apiserver) 合并 pr81344，修复 CPU Manager 不支持 SourcesReady 的问题。(kubelet) 合并 pr91126，修复 Pod 同名但 UID 不同时调度器缓存不一致的问题。(kube-scheduler) 合并 pr89224，修复 NodeInfo 没有检查导致 kube-scheduler 异常重启的问题。(kube-scheduler) 合并 pr89465，修复滚动更新时基于 pod 指标的 HPA 错误计算实例个数的问题。(kube-controller-manager) |
2020-10-13 | v1.16.3-tke.11 | 合并 pr92971，修复 CVE-2020-8559从被侵入节点提升权限从而侵入其他节点的问题。(kube-apiserver) 合并 pr92924，修复 CVE-2020-8557通过写入 /etc/hosts 耗尽磁盘空间的 DOS 攻击问题。(kubelet) 合并 pr93403，移去 kubelet 的更新不属于kubelet 的 Pod Condition 的错误打印信息。(kubelet) 合并 pr89629，解决 configmap 变更后挂载 subpath 的容器重启永远失败的问题。(kubelet) QcloudCbs支持BulkVolumeVerification。(kube-controller-manager) 合并 pr84998，解决 node 删除后对应的 node lease 对象可能会被重建造成垃圾数据的问题。(kubelet) |
2020-07-28 | v1.16.3-tke.10 | 合并 pr91277，避免 CLB 健康检查导致 kube-apiserver 产生大量 TLS 握手错误日志的问题。(kube-apiserver) 合并 pr91500，修复 KUBERNETES_SERVICE_HOST 环境变量缺失的问题。(kubelet) |
2020-06-17 | v1.16.3-tke.9 | |
2020-06-11 | v1.16.3-tke.8 | |
2020-06-10 | v1.16.3-tke.7 | 合并 pr90260，修复 containerd 集群网络监控缺失问题。 合并 pr89515，修复滚动更新时 HPA 错误计算实例个数的问题。 合并 pr91252，忽略其他组件产生的 Pod Condition 更新，以免进行不必要的调度。 合并 pr89794，清理 kube-controller-manager 的错误日志，避免 CVE-2020-8555 的 Half-Blind SSRF 攻击。 |
2020-05-18 | v1.16.3-tke.6 | tke 可感知单个 node 可挂载 qcloudcbs 的最大数量，不支持动态获取最大值。 |
2020-04-20 | v1.16.3-tke.5 | |
2020-04-14 | v1.16.3-tke.4 | 合并 pr87913，修复 CVE-2020-8551：Kubelet DoS 攻击问题。 合并 pr87669，修复 CVE-2020-8552：apiserver DoS 攻击问题。 tke 支持感知单个 node 可挂载 qcloudcbs 的最大数量（1.12 版本及以上为 maxAttachCount-2，1.10 版本目前默认为18）。 合并 pr87467，修复授权用户发送恶意 YAML 导致 kubectl 在解析 YAML 时消耗过多 CPU 问题。 |
2020-03-11 | v1.16.3-tke.3 | cbs intree 解决磁盘不存在时继续卸载磁盘，导致大量无效请求的问题。 metadata 增加本地缓存。 |
2020-02-14 | v1.16.3-tke.2 | 合并 pr2359 解决获取不到 docker root 造成的监控缺失问题。 合并 pr86583 提高 iptables 不支持 random-fully 时的日志输出级别，避免产生过多日志。 kube-scheduler 支持动态设置日志级别。 绕过 cbs 出现的 device path（/dev/disk/by-id/virtio-xxx/...）缺失的问题，让用户能正常使用 cbs。 合并 pr86230，在 pod 调度过程中，跳过更新 assumed pod 的调度。 |
2020-01-06 | v1.16.3-tke.1 | 合并 pr79036 解决当开启 cpumanager 时，如果 pod 的 QoS 为 Guaranteed，则关闭 cpu quota。 合并 pr84167 解决因 ETCD key 前缀不正确导致 apiserver 健康检查失败的问题。 revert pr63066 修复负载均衡健康检查与 IPVS 的问题。 合并 pr72914 修复删除 Pod 后立即创建并调度到同一个节点可能导致无法挂载成功的问题。 解决在 CentOS 下创建容器会导致 cgroup 泄露的问题。 Ubuntu16 下 lxcfs 升级造成 pod 退出问题修复。 metadata 增加缓存和超时，cloud-provider 增加将节点名称作为 hostname 的支持。 revert pr79036 解决当开启 cpumanager 时，如果 pod 的 QoS 为 Guaranteed，则关闭 cpu quota。 绕过 cbs 出现的 device path（/dev/disk/by-id/virtio-xxx/...）缺失的问题，让用户能正常使用 cbs。 |
（停止维护）TKE kubernetes 1.14.3 revisions
时间 | 版本 | 更新内容 |
2023-03-03 | v1.14.3-tke.28 | 为 CBS 磁盘增加 StatusDetaching 状态。(kube-controller-manager) 修复 CVE-2022-3172。(kube-apiserver) 移植16+ webhook metrics，增加 calling_webhook_timeout_error指标。(kube-apiserver)移植 etcd_request_duration_seconds指标。(kube-apiserver)优化自适配节点 iptables 模式的脚本，解决某些情况下判断错误的问题。(kube-proxy) 合并 PR111635，修复 kube-proxy 重启后 ipvs real server 权重为0的问题。(kube-proxy) |
2022-04-13 | v1.14.3-tke.27 | |
2022-03-18 | v1.14.3-tke.26 | 缩容时支持指定 pod。(kube-controller-manager) 优化超级节点调度算法。(kube-scheduler) 合并 pr80851，修复 CVE-2019-11247, 避免对 CRD 资源的非法访问。(kube-apiserver) |
2022-01-20 | v1.14.3-tke.24 | 支持把 LB 地址绑定到 ipvs 网卡。(kube-proxy) apiserver 支持集成 ExternalName 类型的外部服务。(kube-apiserver) 优化 TKE Serverless 调度。(kube-scheduler) |
2021-12-02 | v1.14.3-tke.23 | 从 TKE 集群扩容到 TKE Serverless，在批量调度 Pod 时，能正确感知子网剩余 ip，调度正确数量的 Pod 到超级节点上。(kube-scheduler) 针对 TKE Serverless 节点的调度优化：TKE Serverless 节点资源感知重调度；TKE Serverless 节点优先机型调度；优化了针对 TKE Serverless 节点的优选/预选策略。(kube-scheduler) 支持扩展调度器 Prebind 及 Unreserve 操作。(kube-scheduler) 避免使用了 cbs 的 Pod 调度到外部 CHC 节点。(kube-scheduler) 修复调度到超级节点时的 bug。(kube-scheduler) |
2021-05-06 | v1.14.3-tke.22 | 更新以镜像方式运行 kube-proxy 时的启动方式，自动适配所在节点的 iptables 运行模式，以支持默认使用 nf_tables 模式运行 iptables 的操作系统。 |
2021-04-14 | v1.14.3-tke.21 | 合并 pr97752，修复 describe deployment 时 NewReplicaSet 显示为 <none> 的问题。（kubectl） 合并 pr78999，修复优雅关闭时判断协议的大小写问题。（kube-proxy） 合并 pr91590，修复使用 NodePort 类型多协议 Service 时警告端口已分配的问题。（kube-apiserver） 合并 pr98262，支持 kube-controller-manager 动态调整日志级别。(kube-controller-manager) 合并 pr95301，自动删除孤儿 Pod 遗留的 volume 目录。(kubelet) |
2020-12-28 | v1.14.3-tke.19 | 为 QcloudCbs 添加 metrics。(kube-controller-manager) 修复 mount cbs 盘时查看 serial 值的多余空格问题。(kubelet) |
2020-12-21 | v1.14.3-tke.18 | 合并 pr94712，修复 CVE-2020-8564 - 当文件格式不正确，logLevel >= 4 时，Docker 配置泄露。(kubelet) 合并 pr95316，修复 CVE-2020-8565 - 对 CVE-2019-11250 的不完整修复导致的日志 token 泄露（logLevel >= 9）。(kube-apiserver，kubectl) 合并 pr95245，修复 CVE-2020-8566 - 当 loglevel >= 4 时，Ceph RBD adminSecrets 暴露在日志中。(kube-controller-manager) 合并 pr86140，修复 controller manager 没有正确处理超时错误导致扩容的pod无法创建的问题。(kube-controller-manager) 调度器支持超级节点。(kube-scheduler) kube-controller-manager 支持超级节点。(kube-controller-manager) 根据节点真实机型设置 instance-type 标签，不再固定为 QCLOUD。(kubelet) 合并 pr79338，在 SupportPodPidsLimit 及 SupportNodePidsLimit 都未开启时，不启用 pids cgroup 子系统。(kubelet) 合并 pr89224，修复 NodeInfo 没有检查导致 kube-scheduler 异常重启的问题。(kube-scheduler) 合并 pr89465，修复滚动更新时基于 pod 指标的 HPA 错误计算实例个数的问题。(kube-controller-manager) |
2020-10-13 | v1.14.3-tke.17 | 合并 pr74781，将 ConfigMap 及 Secret 默认更新策略由 Cache 改为 Watch。(kubelet) 合并 pr93403，移去 kubelet 的更新中不属于 kubelet 的 Pod Condition 的错误打印信息。(kubelet) 合并 pr89629，解决 configmap 变更后挂载 subpath 的容器重启永远失败的问题。(kubelet) 合并 pr80942，修复 ipvs 模式下，删除 service 后，规则未删除的问题。(kube-proxy) QcloudCbs 支持 BulkVolumeVerification。(kube-controller-manager) |
2020-08-04 | v1.14.3-tke.16 | |
2020-07-28 | v1.14.3-tke.15 | 合并 pr91277，避免 CLB 健康检查导致 kube-apiserver 产生大量 TLS 握手错误日志的问题。(kube-apiserver) 合并 pr91500，修复 KUBERNETES_SERVICE_HOST 环境变量缺失的问题。(kubelet) 合并 pr77475，修复 Job 数量超过500时，Cronjob 无法调度的问题。(kube-controller-manager) |
2020-06-10 | v1.14.3-tke.14 | 合并 pr85027，修复滚动更新时 HPA 错误计算实例个数的问题。 合并 pr79708，使用 spec.replicas 来计算 HPA 当前副本数量。 合并 pr91252，忽略其他组件产生的 Pod Condition 更新，以免进行不必要的调度。 合并 pr89794，清理 kube-controller-manager 的错误日志，避免 CVE-2020-8555 的 Half-Blind SSRF 攻击。 |
2020-06-04 | v1.14.3-tke.13 | 合并 pr90260，修复 containerd 集群网络监控缺失问题。 合并 pr79451，修复 restartPolicy 为 Never 时 kubelet 创建 SandBox 失败后不重新创建的问题。 |
2020-05-18 | v1.14.3-tke.12 | tke 可感知单个 node 可挂载 qcloudcbs 的最大数量，不支持动态获取最大值。 |
2020-04-14 | v1.14.3-tke.11 | 合并 pr75442，将 bandwidth 单位从 Kb 修正为 b。 合并 pr87669，修复 CVE-2020-8552：apiserver DoS 攻击问题。 tke 支持感知单个 node 可挂载 qcloudcbs 的最大数量（1.12 版本及以上为 maxAttachCount-2，1.10 版本目前默认为18）。 |
2020-04-14 | v1.14.3-tke.10 | cbs intree 解决磁盘不存在时继续卸载磁盘导致大量无效请求的问题。 |
2020-01-13 | v1.14.3-tke.9 | 合并 pr2359 解决获取不到 docker root 造成的监控缺失问题。 合并 pr86583 提高 iptables 不支持 random-fully 时的日志输出级别，避免产生过多日志。 kube-scheduler 支持动态设置日志级别。 绕过 cbs 出现的 device path（/dev/disk/by-id/virtio-xxx/...）缺失的问题，让用户能正常使用 cbs。 合并 pr86230，在 pod 调度过程中，跳过更新 assumed pod 的调度。 |
2019-12-23 | v1.14.3-tke.8 | |
2019-12-17 | v1.14.3-tke.7 | metadata 增加缓存和超时。 Ubuntu16 下 lxcfs 升级造成 Pod 退出问题修复。 kubelet 重启避免 readiness 的 pod not ready。 |
2019-11-28 | v1.14.3-tke.6 | cloud-provider 增加将节点名称作为 hostname 的支持。 |
2019-11-18 | v1.14.3-tke.5 | 合并 pr83435 解决攻击者可发送特殊构造的恶意 YAML 或 JSON 攻击载荷导致 kube-apiserver CPU 或内存耗尽无法提供服务的问题。 合并 pr84167 解决因Etcd key 前缀不正确导致 apiserver 健康检查失败的问题。 合并 pr75622 解决当集群存在大量 sts（>2000）工作负载的情况下对 sts 的改变同步到 pod 延迟大（大概20s）的问题。 |
2019-10-23 | v1.14.3-tke.4 | |
2019-09-10 | v1.14.3-tke.3 | |
2019-09-06 | v1.14.3-tke.2 | 解决 cve-2019-9512&cve-2019-9514 HTTP/2 DDoS 安全漏洞。 合并 pr72914 修复删除 Pod 后立即创建并调度到同一个节点上可能导致挂载 volume 失败的问题。 解决在 CentOS 下创建容器会导致 cgroup 泄露的问题。 |
（停止维护）TKE kubernetes 1.12.4 revisions
时间 | 版本 | 更新内容 |
2023-03-03 | v1.12.4-tke.32 | 修复 CVE-2022-3172。(kube-apiserver) 移植16+ webhook metrics，增加 calling_webhook_timeout_error指标。(kube-apiserver)移植 etcd_request_duration_seconds指标。(kube-apiserver)优化自适配节点 iptables 模式的脚本，解决某些情况下判断错误的问题。(kube-proxy) 合并 PR111635，修复 kube-proxy 重启后 ipvs real server 权重为0的问题。(kube-proxy) |
2022-04-13 | v1.12.4-tke.31 | |
2022-01-20 | v1.12.4-tke.30 | 支持把 LB 地址绑定到 ipvs 网卡。(kube-proxy) |
2021-05-06 | v1.12.4-tke.28 | 更新以镜像方式运行 kube-proxy 时的启动方式，自动适配所在节点的 iptables 运行模式，以支持默认使用 nf\\_tables 模式运行 iptables 的操作系统。 |
2020-12-28 | v1.12.4-tke.27 | 为 QcloudCbs 添加 metrics。(kube-controller-manager) 修复 mount cbs 盘时查看 serial 值的多余空格问题。(kubelet) |
2020-12-15 | v1.12.4-tke.26 | QcloudCbs 支持 BulkVolumeVerification。(kube-controller-manager) |
2020-11-17 | v1.12.4-tke.25 | |
2020-10-13 | v1.12.4-tke.24 | |
2020-08-04 | v1.12.4-tke.23 | |
2020-07-28 | v1.12.4-tke.22 | 合并 pr91277，避免 CLB 健康检查导致 kube-apiserver 产生大量 TLS 握手错误日志的问题。(kube-apiserver) 合并 pr91500，修复 KUBERNETES_SERVICE_HOST 环境变量缺失的问题。(kubelet) |
2020-06-10 | v1.12.4-tke.21 | 合并 pr73915，避免 watcher 收到开始 watch 之前的事件。 合并 pr91252，忽略其他组件产生的 Pod Condition 更新，以免进行不必要的调度。 合并 pr73915，清理 kube-controller-manager 的错误日志，避免 CVE-2020-8555 的 Half-Blind SSRF 攻击。 |
2020-06-04 | v1.12.4-tke.20 | 合并 pr90260，修复 containerd 集群网络监控缺失问题。 合并 pr79451，修复 restartPolicy 为 Never 时 kubelet 创建 SandBox 失败后不重新创建的问题。 |
2020-05-18 | v1.12.4-tke.19 | 合并 pr77802，Disable graceful termination for UDP traffic。 合并 pr68741，解决软链 /var/lib/kubelet 及使用 subpath 时，删除 pod 后主机无法解挂导致挂载点泄露以及 pod 一直 terminating 的问题。 tke 可感知单个 node 可挂载 qcloudcbs 的最大数量，不支持动态获取最大值。 |
2020-04-14 | v1.12.4-tke.18 | 合并 pr68619，解决 cpumanager 脏数据问题。 合并 pr87669，修复 CVE-2020-8552：apiserver DoS 攻击问题。 tke 支持感知单个 node 可挂载 qcloudcbs 的最大数量（1.12 版本及以上为 maxAttachCount-2，1.10 版本目前默认为18）。 |
2020-02-14 | v1.12.4-tke.17 | cbs V2 接口升级到 V3。 cbs intree 解决磁盘不存在时继续卸载磁盘导致大量无效请求的问题。 |
2020-01-13 | v1.12.4-tke.16 | 合并 pr2359 解决获取不到 docker root 造成的监控缺失问题。 合并 pr86583 提高 iptables 不支持 random-fully 时的日志输出级别，避免产生过多日志。 kube-scheduler 支持动态设置日志级别。 绕过 cbs 出现的 device path（/dev/disk/by-id/virtio-xxx/...）缺失的问题，让用户能正常使用 cbs。 合并 pr86230，在 pod 调度过程中，跳过更新 assumed pod 的调度。 |
2019-12-23 | v1.12.4-tke.15 | |
2019-12-17 | v1.12.4-tke.14 | metadata 增加缓存和超时。 Ubuntu16 下 lxcfs 升级造成 Pod 退出问题修复。 kubelet 重启避免 readiness 的 pod not ready。 |
2019-11-28 | v1.12.4-tke.13 | cloud-provider 增加将节点名称作为 hostname 的支持。 |
2019-11-18 | v1.12.4-tke.12 | |
2019-10-23 | v1.12.4-tke.11 | 合并 pr79036 解决当开启 CPU Manager 时，如果 Pod 的 QoS 为 Guaranteed，则关闭 cpu quota。 合并 pr72866 为 kube-proxy 增加--metrics-port命令行参数，同时解决--metrics-bind-address不能包含 port 的 bug。 |
2019-09-06 | v1.12.4-tke.10 | 合并 pr72914 修复删除 Pod 后立即创建并调度到同一个节点上可能导致挂载 volume 失败的问题。 合并 pr71834 修复 IPVS 模式下 sessionAffinity 为 ClientIP 会访问失效 RS 的问题。 |
2019-08-09 | v1.12.4-tke.9 | 解决在 CentOS 下创建容器会导致 cgroup 泄露的问题。 |
2019-08-08 | v1.12.4-tke.8 | |
2019-07-17 | v1.12.4-tke.7 | |
2019-07-16 | v1.12.4-tke.6 | 解决 tlinux 内核版本与 IPVS 兼容问题，修复 IPVS 模式下负载均衡健康检查失败的问题。 |
2019-07-09 | v1.12.4-tke.5 | |
2019-06-25 | v1.12.4-tke.4 | 解决 tlinux 内核版本与 IPVS 兼容问题。 |
2019-06-17 | v1.12.4-tke.3 | |
2019-06-04 | v1.12.4-tke.2 | 合并 pr74755 解决 kubelet hang 住的问题。 合并 pr69047 解决向后兼容 node.Spec.Unschedulable 的问题。 |
（停止维护）TKE kubernetes 1.10.5 revisions
时间 | 版本 | 更新内容 |
2021-05-06 | v1.10.5-tke.20 | 更新以镜像方式运行 kube-proxy 时的启动方式，自动适配所在节点的 iptables 运行模式，以支持默认使用 nf\\_tables 模式运行 iptables 的操作系统。 |
2020-06-10 | v1.10.5-tke.19 | 合并 pr90260，修复 containerd 集群网络监控缺失问题。 合并 pr91252，忽略其他组件产生的 Pod Condition 更新，以免进行不必要的调度。 合并 pr89794，清理 kube-controller-manager 的错误日志，避免 CVE-2020-8555 的 Half-Blind SSRF 攻击。 |
2020-05-18 | v1.12.4-tke.19 | |
2020-04-29 | v1.10.5-tke.17 | |
2020-04-14 | v1.10.5-tke.16 | 合并 pr68619，解决 cpumanager 脏数据问题。 合并 pr87669，修复 CVE-2020-8552：apiserver DoS 攻击问题。 tke 支持感知单个 node 可挂载 qcloudcbs 的最大数量（1.12 版本及以上为 maxAttachCount-2，1.10 版本目前默认为18）。 |
2020-02-14 | v1.10.5-tke.15 | cbs V2 接口升级到 V3。 cbs intree 解决磁盘不存在时继续卸载磁盘，导致大量无效请求的问题。 |
2020-01-13 | v1.10.5-tke.14 | 合并 pr2359 解决获取不到 docker root 造成的监控缺失问题。 合并 pr86583 提高 iptables 不支持 random-fully 时的日志输出级别，避免产生过多日志。 kube-scheduler 支持动态设置日志级别。 绕过 cbs 出现的 device path（/dev/disk/by-id/virtio-xxx/...）缺失的问题，让用户能正常使用 cbs。 合并 pr86230，在 pod 调度过程中，跳过更新assumed pod 的调度。 |
2019-12-23 | v1.10.5-tke.13 | |
2019-12-13 | v1.10.5-tke.12 | kubelet 检查 externalID 时不 delete node。 metadata 增加缓存和超时。 Ubuntu16 下 lxcfs 升级造成 Pod 退出问题修复。 kubelet 重启避免 readiness 的 pod not ready。 |
2019-11-18 | v1.10.5-tke.11 | 去除 kube-controller-manager 的反向探测。 |
2019-10-23 | v1.10.5-tke.10 | 合并 pr79036 解决当开启 CPU Manager 时，如果 Pod 的 QoS 为 Guaranteed，则关闭 cpu quota。 合并 pr72868 为 kube-proxy 增加 --metrics-port命令行参数，同时解决 --metrics-bind-address 不能包含 port 的 bug。 |
2019-09-06 | v1.10.5-tke.9 | 合并 pr72914 修复删除 Pod 后立即创建并调度到同一个节点上可能导致挂载 volume 失败的问题。 合并 67430 解决 updateContainerCPUSet 失败情况下的数据结构回滚。 |
2019-08-08 | v1.10.5-tke.8 | |
2019-07-17 | v1.10.5-tke.7 | |
2019-06-25 | v1.10.5-tke.6 | 解决 tlinux 内核版本与 IPVS 兼容问题。 |
2019-06-17 | v1.10.5-tke.5 | |
2019-03-19 | v1.10.5-tke.4 | |
2019-02-19 | v1.10.5-tke.3 | |
2018-09-28 | v1.10.5-tke.2 | 将创建负载均衡的逻辑从 controller-manager 移出（通过独立的 service controller 来实现）。 |
2018-09-27 | v1.10.5-tke.1 | |
2018-09-21 | v1.10.5-qcloud-rev1 | 当 kubelet 更新状态超时，controller-manager 对 kubelet 端口做下探测。 |
（停止维护）TKE kubernetes 1.8.13 revisions
时间 | 版本 | 更新内容 |
2020-01-13 | v1.8.13-tke.7 | 合并 pr2359 解决获取不到 docker root 造成的监控缺失问题。 绕过 cbs 出现的 device path（/dev/disk/by-id/virtio-xxx/...）缺失的问题，让用户能正常使用 cbs。 |
2019-12-13 | v1.8.13-tke.6 | kubelet 检查 externalID 时不 delete node。 metadata 增加缓存和超时。 Ubuntu16 下 lxcfs 升级造成 Pod 退出问题修复。 kubelet 重启避免 readiness 的 pod not ready。 |
2019-11-18 | v1.8.13-tke.5 | 去掉 kube-controller-manager 的反向探测。 cbs pvc 添加 metric。 |
2018-09-28 | v1.8.13-tke.2 | 将创建负载均衡的逻辑从 controller-manager 移出（通过独立的 service controller 来实现）。 |
2018-09-27 | v1.8.13-tke.1 | 关闭 kmem 统计避免 cgroup 数量泄漏。 减少创建 pod 时触发 resourcequota 冲突。 |
2018-09-21 | v1.8.13-qcloud-rev1 | 当 kubelet 更新状态超时，controller-manager 对 kubelet 端口做下探测。 |
（停止维护）TKE kubernetes 1.7.8 revisions
时间 | 版本 | 更新内容 |
2019-12-17 | v1.7.8-tke.4 | kubelet 检查 externalID 时不 delete node。 metadata 增加缓存和超时。 Ubuntu16 下 lxcfs 升级造成 Pod 退出问题修复。 kubelet 重启避免 readiness 的 pod not ready。 |
2018-09-28 | v1.7.8-tke.2 | 解决 controller-manager 和外部 service controller 冲突问题。 |
2018-09-27 | v1.7.8-tke.1 | 将创建负载均衡的逻辑从 controller-manager 移出（通过独立的 service controller 来实现）。 |
2018-09-21 | v1.7.8-qcloud-rev1 | 当 kubelet 更新状态超时，controller-manager 对 kubelet 端口做下探测。 |