如何对kubelet服务器证书启用自动CSR审批？
在k8s论坛上交叉发布--如果这被认为是糟糕的形式--道歉。
欢迎光临！
有了一个新的1.13.3集群，通过Kubernetes以艰难的方式运行，加上TLS引导的附加配置，我很难获得kubelet 服务器证书的自动批准。客户端证书引导良好，kubelet -> apiserver通信工作平稳，但apiserver -> kubelet通信是当前的问题。
服务器证书正在被请求，但它们被挂在手动干预之前，而且我无法像客户端CSR那样预测自动批准服务器CSR所需的RBAC咒语。
以下是CSR(刚刚恢复了集群之后)：
NAME AGE REQUESTOR CONDITION
csr-m7rjs 4s system:node:k8s-lab3-worker1 Pending
node-csr-aTpBsagYzYaZYJM6iGMN5AvqzVXATDj1BrmZs_dZCJA 5s system:bootstrap:ec5591 Approved,Issued此时，显然apiserver -> kubelet通信(通过kubectl exec或logs)失败。如果我手动批准证书，事情就会如期而至。
同时发布客户端和服务器CSR这一事实使我相信kubelet配置正确(加上手动批准使其运行)。
激发我感觉的主要因素是，当apiserver第一次启动时，我看到了：
Feb 6 00:14:13 k8s-lab3-controller1[3495]: I0206 00:14:13.697030 3495 storage_rbac.go:187] created clusterrole.rbac.authorization.k8s.io/system:certificates.k8s.io:certificatesigningrequests:nodeclient
Feb 6 00:14:13 k8s-lab3-controller1[3495]: I0206 00:14:13.706561 3495 storage_rbac.go:187] created clusterrole.rbac.authorization.k8s.io/system:certificates.k8s.io:certificatesigningrequests:selfnodeclient客户端证书签名的群集角色由apiserver自动创建。但是证书签名请求:自命名器不是自动创建的。这是否意味着服务器证书的自动审批不被实际实现或支持？
嗯，我手动创建了它：
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: system:certificates.k8s.io:certificatesigningrequests:selfnodeserver
annotations:
rbac.authorization.kubernetes.io/autoupdate: "true"
labels:
kubernetes.io/bootstrapping: rbac-defaults
rules:
- apiGroups: ["certificates.k8s.io"]
resources: ["certificatesigningrequests/selfnodeserver"]
verbs: ["create"]然后将角色绑定到系统:节点组：
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: auto-approve-server-renewals-for-nodes
subjects:
- kind: Group
name: system:nodes
apiGroup: rbac.authorization.k8s.io
roleRef:
kind: ClusterRole
name: system:certificates.k8s.io:certificatesigningrequests:selfnodeserver
apiGroup: rbac.authorization.k8s.io为了确保系统:节点是与服务器CSR相关联的组之一：
$ kubectl get csr csr-m7rjs -o template --template {{.spec.groups}}
[system:nodes system:authenticated]我尝试了几个小时的黑带级别的复制和粘贴从Stack溢出(大部分建议真的适用于较旧版本的Kubernetes)，但没有任何效果。我希望这里的智囊团能发现我做错了什么。
如果这与此相关，下面是我如何启动apiserver (这是v1.13.3，所以我是)：
/usr/local/bin/kube-apiserver \
--advertise-address=172.24.22.168 \
--allow-privileged=true \
--anonymous-auth=false \
--apiserver-count=3 \
--audit-log-maxage=30 \
--audit-log-maxbackup=10 \
--audit-log-maxsize=100 \
--audit-log-path=/var/log/audit.log \
--authorization-mode=Node,RBAC \
--bind-address=0.0.0.0 \
--client-ca-file=/etc/kubernetes/pki/ca.crt \
--enable-admission-plugins=Initializers,NamespaceLifecycle,NodeRestriction,LimitRanger,ServiceAccount,DefaultStorageClass,ResourceQuota,AlwaysPullImages,DenyEscalatingExec,SecurityContextDeny,EventRateLimit \
--admission-control-config-file=/etc/kubernetes/admissionconfig.yaml \
--enable-bootstrap-token-auth=true \
--enable-swagger-ui=true \
--etcd-cafile=/etc/kubernetes/pki/ca.crt \
--etcd-certfile=/etc/kubernetes/pki/apiserver-etcd-client.crt \
--etcd-keyfile=/etc/kubernetes/pki/apiserver-etcd-client.key \
--etcd-servers=https://172.24.22.168:2379 \
--event-ttl=1h \
--encryption-provider-config=/etc/kubernetes/encryption-config.yaml \
--feature-gates=RotateKubeletServerCertificate=true \
--insecure-port=0 \
--kubelet-certificate-authority=/etc/kubernetes/pki/ca.crt \
--kubelet-client-certificate=/etc/kubernetes/pki/apiserver-kubelet-client.crt \
--kubelet-client-key=/etc/kubernetes/pki/apiserver-kubelet-client.key \
--kubelet-https=true \
--profiling=false \
--repair-malformed-updates=false \
--runtime-config=api/all \
--service-account-lookup=true \
--service-account-key-file=/etc/kubernetes/pki/sa.crt \
--service-cluster-ip-range=10.32.0.0/24 \
--service-node-port-range=30000-32767 \
--tls-cert-file=/etc/kubernetes/pki/apiserver.crt \
--tls-cipher-suites=TLS_ECDHE_ECDSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_ECDSA_WITH_CHACHA20_POLY1305,TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384,TLS_ECDHE_RSA_WITH_CHACHA20_POLY1305,TLS_ECDHE_ECDSA_WITH_AES_256_GCM_SHA384,TLS_RSA_WITH_AES_256_GCM_SHA384,TLS_RSA_WITH_AES_128_GCM_SHA256 \
--tls-private-key-file=/etc/kubernetes/pki/apiserver.key \
--v=2(在默认情况下，从1.12开始，RotateKubeletServerCertificate是正确的，我认为--feature参数是多余的，但我碰巧把它留在了这里。)
非常感谢你能提供的任何帮助。
回答 2
Stack Overflow用户
发布于 2019-02-07 20:39:49
Stack Overflow用户
发布于 2021-12-17 08:53:37
最近，我编写了一个Kubelet CSR批准人，它包含了几个安全检查，实际上它可能正是您所需要的：
https://github.com/postfinance/kubelet-csr-approver
现在，它只验证CSR (请求的DNS名称)是否符合您通过环境变量指定的regex，并且我留下了一些选项，可以很容易地实现额外的检查。
https://stackoverflow.com/questions/54558254
复制相似问题
腾讯云开发者
