专栏首页木二天空附025.kubeadm部署Kubernetes更新证书

附025.kubeadm部署Kubernetes更新证书

一 查看证书

1.1 查看过期时间-方式一

  1 [root@master01 ~]# tree /etc/kubernetes/pki/
  2 [root@master01 ~]# for tls in `find /etc/kubernetes/pki -maxdepth 2 -name "*.crt"`; \
  3 do echo ===============$tls===============; \
  4 openssl x509 -in $tls -text| grep Not; \
  5 done

1.1 查看过期时间-方式二

  1 [root@master01 ~]# tree /etc/kubernetes/pki/
  1 [root@master01 ~]# kubeadm alpha certs check-expiration

提示:由上可知,根证书有效期为10年,其他所有证书有效期为1年。

二 证书类别

2.1 集群根证书

  1 [root@master01 ~]# ll /etc/kubernetes/pki/ca*
  2 -rw-r--r-- 1 root root 1.1K Jun 15 21:08 /etc/kubernetes/pki/ca.crt
  3 -rw------- 1 root root 1.7K Jun 15 21:08 /etc/kubernetes/pki/ca.key

由此集群根证书签发的证书有:

  1. kube-apiserver 组件持有的服务端证书
  1 [root@master01 ~]# ll /etc/kubernetes/pki/apiserver.*
  2 -rw-r--r-- 1 root root 1.3K Jun 15 21:08 /etc/kubernetes/pki/apiserver.crt
  3 -rw------- 1 root root 1.7K Jun 15 21:08 /etc/kubernetes/pki/apiserver.key
  1. kubelet 组件持有的客户端证书
  1 [root@master01 ~]# ll /etc/kubernetes/pki/apiserver-kubelet-client.*
  2 -rw-r--r-- 1 root root 1.1K Jun 15 21:08 /etc/kubernetes/pki/apiserver-kubelet-client.crt
  3 -rw------- 1 root root 1.7K Jun 15 21:08 /etc/kubernetes/pki/apiserver-kubelet-client.key

提示:kubelet的/var/lib/kubelet/config.yaml配置文件中一般不会明确指定服务端证书,而是只指定 ca 根证书, 让 kubelet 根据本地主机信息自动生成服务端证书并保存到配置的cert-dir文件夹中。

2.2 汇聚层证书

  1 [root@master01 ~]# ll /etc/kubernetes/pki/front-proxy-ca.*
  2 -rw-r--r-- 1 root root 1.1K Jun 15 21:08 /etc/kubernetes/pki/front-proxy-ca.crt
  3 -rw------- 1 root root 1.7K Jun 15 21:08 /etc/kubernetes/pki/front-proxy-ca.key

由此汇聚层根证书签发的证书有:

  1 [root@master01 ~]# ll /etc/kubernetes/pki/front-proxy-client.*
  2 -rw-r--r-- 1 root root 1.1K Jun 15 21:08 /etc/kubernetes/pki/front-proxy-client.crt
  3 -rw------- 1 root root 1.7K Jun 15 21:08 /etc/kubernetes/pki/front-proxy-client.key

2.3 etcd集群根证书

  1 [root@master01 ~]# ll /etc/kubernetes/pki/etcd/ca.*
  2 -rw-r--r-- 1 root root 1017 Jun 15 21:08 /etc/kubernetes/pki/etcd/ca.crt
  3 -rw------- 1 root root 1.7K Jun 15 21:08 /etc/kubernetes/pki/etcd/ca.key

由此etcd根证书签发的证书有:

  1. etcd server服务端证书
  1 [root@master01 ~]# ll /etc/kubernetes/pki/etcd/server.*
  2 -rw-r--r-- 1 root root 1.2K Jun 15 21:08 /etc/kubernetes/pki/etcd/server.crt
  3 -rw------- 1 root root 1.7K Jun 15 21:08 /etc/kubernetes/pki/etcd/server.key
  1. etcd 集群中peer节点互相通信使用的客户端证书
  1 [root@master01 ~]# ll /etc/kubernetes/pki/etcd/peer.*
  2 -rw-r--r-- 1 root root 1.2K Jun 15 21:08 /etc/kubernetes/pki/etcd/peer.crt
  3 -rw------- 1 root root 1.7K Jun 15 21:08 /etc/kubernetes/pki/etcd/peer.key
  1. pod 中定义 Liveness 探针使用的客户端证书
  1 [root@master01 ~]# ll /etc/kubernetes/pki/etcd/healthcheck-client.*
  2 -rw-r--r-- 1 root root 1.1K Jun 15 21:08 /etc/kubernetes/pki/etcd/healthcheck-client.crt
  3 -rw------- 1 root root 1.7K Jun 15 21:08 /etc/kubernetes/pki/etcd/healthcheck-client.key
  1. 配置在 kube-apiserver 中用来与 etcd server 做双向认证的客户端证书
  1 [root@master01 ~]# ll /etc/kubernetes/pki/apiserver-etcd-client.*
  2 -rw-r--r-- 1 root root 1.1K Jun 15 21:08 /etc/kubernetes/pki/apiserver-etcd-client.crt
  3 -rw------- 1 root root 1.7K Jun 15 21:08 /etc/kubernetes/pki/apiserver-etcd-client.key

2.4 Serveice Account密钥

  1 [root@master01 ~]# ll /etc/kubernetes/pki/sa.*
  2 -rw------- 1 root root 1.7K Jun 15 21:08 /etc/kubernetes/pki/sa.key
  3 -rw------- 1 root root  451 Jun 15 21:08 /etc/kubernetes/pki/sa.pub

Serveice Account密钥对仅提供给 kube-controller-manager 使用. kube-controller-manager 通过 sa.key 对 token 进行签名, master 节点通过公钥 sa.pub 进行签名的验证。

延伸:API Server身份验证过程:

API Server的authenticating环节支持多种身份校验方式:client cert、bearer token、static password auth等,这些方式中只要有一种方式通过authenticating(Kubernetes API Server会逐个方式尝试),那么身份校验就会通过。

一旦API Server发现client发起的request使用的是service account token的方式,API Server就会自动采用signed bearer token方式进行身份校验。而request则使用携带的service account token参与验证。该token是API Server在创建service account时用API server启动参数:–service-account-key-file的值签署(sign)生成的。如果–service-account-key-file未传入任何值,那么将默认使用–tls-private-key-file的值,即API Server的私钥(server.key)。

通过authenticating后,API Server将根据Pod username所在的group:system:serviceaccounts和system:serviceaccounts:(NAMESPACE)的权限对其进行authority 和admission control两个环节的处理。在这两个环节中,cluster管理员可以对service account的权限进行细化设置。

kubeadm 创建的集群,kube-proxy、flannel、coreDNS是以 pod 形式运行的,在 pod 中,直接使用 service account 与 kube-apiserver 进行认证,此时就不需要再单独为 kube-proxy 创建证书。

三 更新证书方法一

提示:此方式采用kubeadm默认延期1年时间的策略,若要自定义更长时间,如100年,参考开步骤四。

3.1 备份集群配置

  1 [root@master01 ~]# kubeadm config view > kubeadm-cluster.yaml

3.2 更新证书

  1 [root@master01 ~]# kubeadm alpha certs renew --help		#查看帮助

提示:由help可知,证书更新可针对单个证书更新。

  1 [root@master01 ~]# kubeadm alpha certs renew all --config=kubeadm-cluster.yaml	#更新所有证书
  1 [root@master01 ~]# kubeadm alpha certs check-expiration		#确认验证
  1 [root@master01 ~]# scp -rp kubeadm-cluster.yaml root@master02:/root/
  2 [root@master01 ~]# scp -rp kubeadm-cluster.yaml root@master03:/root/
  3 [root@master02 ~]# kubeadm alpha certs renew all --config=kubeadm-cluster.yaml
  4 [root@master03 ~]# kubeadm alpha certs renew all --config=kubeadm-cluster.yaml

提示:更新操作需要在所有master节点执行。

3.3 启用证书

在三台Master上执行重启kube-apiserver、kube-controller、kube-scheduler、etcd这4个容器,以便使证书生效。

  1 [root@master01 ~]# docker ps |grep -E 'k8s_kube-apiserver|k8s_kube-controller-manager|k8s_kube-scheduler|k8s_etcd_etcd' | awk -F ' ' '{print $1}' |xargs docker restart
  2 [root@master02 ~]# docker ps |grep -E 'k8s_kube-apiserver|k8s_kube-controller-manager|k8s_kube-scheduler|k8s_etcd_etcd' | awk -F ' ' '{print $1}' |xargs docker restart
  3 [root@master03 ~]# docker ps |grep -E 'k8s_kube-apiserver|k8s_kube-controller-manager|k8s_kube-scheduler|k8s_etcd_etcd' | awk -F ' ' '{print $1}' |xargs docker restart

提示:启用操作需要在所有master节点执行。

四 更新证书方法二

提示:此方式采用编译kubeadm源码,源码中自定义证书时间,如100年。

4.1 备份集群配置

  1 [root@master01 ~]# kubeadm config view > kubeadm-cluster.yaml

4.2 查看当前版本

  1 [root@master01 ~]# kubectl version

4.3 获取源码

  1 [root@master01 ~]# wget https://github.com/kubernetes/kubernetes/archive/v1.18.3.tar.gz
  2 [root@master01 ~]# tar -zxvf v1.18.3.tar.gz
  3 

4.4 修改CA证书时间

  1 [root@master01 ~]# vi kubernetes-1.18.3/staging/src/k8s.io/client-go/util/cert/cert.go
  2 ……
  3  57 func NewSelfSignedCACert(cfg Config, key crypto.Signer) (*x509.Certificate, error) {
  4 ……
  5  65         NotBefore:             now.UTC(),
  6  66         NotAfter:              now.Add(duration365d * 100).UTC(),
  7 ……

提示:ca证书最大时间限定为100年,若要将最大时限也延长,可在cert.go中修改如下maxAge值:

maxAge := time.Hour * 24 * 365 * 10

4.5 修改其他证书时间

  1 [root@master01 ~]# vi kubernetes-1.18.3/cmd/kubeadm/app/constants/constants.go
  2 ……
  3  39 const (
  4  48     // CertificateValidity defines the validity for all the signed certificates generated by kubeadm
  5  49     CertificateValidity = time.Hour * 24 * 365 * 100
  6 ……
  7 [root@master01 kubernetes-1.18.3]# cat build/build-image/cross/VERSION
  8 v1.13.9-5					#使用官方corss版本

4.6 编译kubeadm方式一

  1 [root@master01 kubernetes-1.18.3]# docker pull us.gcr.io/k8s-artifacts-prod/build-image/kube-cross:v1.13.9-5
  2 [root@master01 ~]# docker run --rm -v /root/kubernetes-1.18.3/:/go/src/k8s.io/kubernetes -it us.gcr.io/k8s-artifacts-prod/build-image/kube-cross:v1.13.9-5 bash
  3 root@51e96585ea73:/go# cd /go/src/k8s.io/kubernetes
  4 root@51e96585ea73:/go/src/k8s.io/kubernetes# make all WHAT=cmd/kubeadm GOFLAGS=-v

提示:若要编译其他命令,可参考如下:

# 编译kubelet # make all WHAT=cmd/kubelet GOFLAGS=-v # 编译kubectl # make all WHAT=cmd/kubectl GOFLAGS=-v

#编译完命令在 _output/bin/kubeadm 目录下,

#其中bin是使用了软连接

#真实路径是_output/local/bin/linux/amd64/kubeadm

  1 root@51e96585ea73:/go/src/k8s.io/kubernetes# exit			#退出容器
  2 [root@master01 ~]# mv /usr/bin/kubeadm /usr/bin/kubeadm_backup	#备份原kubeadm
  3 [root@master01 ~]# cp kubernetes-1.18.3/_output/local/bin/linux/amd64/kubeadm /usr/bin/kubeadm
  4 [root@master01 ~]# kubeadm version		                        #查看版本

4.7 编译kubeadm方式二

  1 [root@master01 ~]# yum -y install gcc make rsync jq
  2 [root@master01 ~]# wget https://dl.google.com/go/go1.13.9.linux-amd64.tar.gz
  3 [root@master01 ~]# tar zxvf go1.13.9.linux-amd64.tar.gz -C /usr/local/
  4 [root@master01 ~]# vi /etc/profile.d/goenv.sh
  5 #go setting
  6 export GOROOT=/usr/local/go
  7 export GOPATH=/usr/local/gopath
  8 export PATH=$PATH:$GOROOT/bin
  9 [root@master01 ~]# source /etc/profile
 10 [root@master01 ~]# go version
 11 go version go1.13.9 linux/amd64
 12 [root@master01 ~]# cd kubernetes-1.18.3/
 13 [root@master01 kubernetes-1.18.3]# make all WHAT=cmd/kubeadm GOFLAGS=-v
 14 [root@master01 kubernetes-1.18.3]# mv /usr/bin/kubeadm /usr/bin/kubeadm_backup	#备份原kubeadm
 15 [root@master01 kubernetes-1.18.3]# cp _output/local/bin/linux/amd64/kubeadm /usr/bin/kubeadm

4.8 备份集群配置

  1 [root@master01 ~]# kubeadm config view > kubeadm-cluster.yaml

4.8 更新证书

  1 [root@master01 ~]# ssh root@master02 "mv /usr/bin/kubeadm /usr/bin/kubeadm_backup"
  2 [root@master01 ~]# ssh root@master03 "mv /usr/bin/kubeadm /usr/bin/kubeadm_backup"
  3 [root@master01 ~]# scp -rp kubeadm-cluster.yaml root@master02:/root/
  4 [root@master01 ~]# scp -rp kubeadm-cluster.yaml root@master03:/root/
  5 [root@master01 ~]# kubeadm alpha certs renew all --config=kubeadm-cluster.yaml
  6 [root@master02 ~]# kubeadm alpha certs renew all --config=kubeadm-cluster.yaml
  7 [root@master03 ~]# kubeadm alpha certs renew all --config=kubeadm-cluster.yaml
  8 [root@master01 ~]# kubeadm alpha certs check-expiration		#确认验证

提示:更新操作需要在所有master节点执行。

所有根证书:ca、etcd-ca、front-proxy-ca只有在init初始化的时候才会更新时间,因此建议对于kubeadm部署Kubernetes,可以在初始化之前使用编译的方式将证书设置为更长时间,如100年。

4.9 启用证书

在三台Master上执行重启kube-apiserver、kube-controller、kube-scheduler、etcd这4个容器,以便使证书生效。

参考3.3即可。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 014.Docker Harbor+Keepalived+LVS+共享存储高可用架构

    共享后端存储是一种比较标准的方案,将多个Harbor实例共享同一个后端存储,任何一个实例持久化到存储的镜像,都可被其他实例中读取。通过前置LB组件,如Keepa...

    木二
  • 附012.Kubeadm部署高可用Kubernetes

    Kubernetes的高可用主要指的是控制平面的高可用,即指多套Master节点组件和Etcd组件,工作节点通过负载均衡连接到各Master。HA有通常有如下两...

    木二
  • 附022.Kubernetes_v1.18.3高可用部署架构一

    Kubernetes的高可用主要指的是控制平面的高可用,即指多套Master节点组件和Etcd组件,工作节点通过负载均衡连接到各Master。

    木二
  • 掌握Linux文件权限,看这篇就够了

    #前言 我们知道,无论什么东西,涉及到安全性的,比如文件、文件夹、磁盘(就如window系统的磁盘,我们就可以通过bitlocker技术将磁盘给加密锁起来)、服...

    老油条IT记
  • Flat风格的Qml组合框

    Qt君
  • 如何使用CP / SCP / RSYNC在Linux中排除特定目录?

    对于任何系统管理员或一般Linux操作系统用户而言,在服务器之间执行文件复制操作都是一项常见任务。在将文件从一个系统复制到另一个系统时,由于某些特定原因,我们可...

    用户6543014
  • Linux下使用 github+hexo 搭建个人博客04-next主题优化

    本篇讲解 next 主题的优化,包括:使用语言、前端页面显示宽度、菜单、侧栏、头像、添加或取消动画效果、打赏功能等等。

    踏歌行
  • Linux基础(day8)

    2.14 文件和目录权限chmod 文件属性 [root@localhost ~]# ls -l 总用量 12 -rw-r--r--. 1 root root ...

    运维小白
  • 15 道二叉树手写算法题(二)

    在上一期讲到,树和链表的手写算法题在面试中出现的频率最高。也正是因为这样,如果你马上就要参加面试,但之前没有刷多少算法题,那么很建议你先看看树和链表相关的题目。...

    乔戈里
  • centos7系统常用命令

    https://blog.csdn.net/weixin_39951988/article/details/87613816#2.5%C2%A0which%E5...

    GH

扫码关注云+社区

领取腾讯云代金券