首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >kubernetes(十二) 准入控制和helm v3包管理

kubernetes(十二) 准入控制和helm v3包管理

作者头像
alexhuiwang
发布2020-09-23 09:48:33
1.2K0
发布2020-09-23 09:48:33
举报
文章被收录于专栏:运维博客运维博客

准入控制

kubernetes的安全框架

  • 访问k8s集群需要过三关: 鉴权(Authentication),授权(Authorization),准入控制(Admission Control)
  • 普通用户要安全访问apiServer往往需要证书,token或者用户名
kubernetes(十二) 准入控制和helm v3包管理
kubernetes(十二) 准入控制和helm v3包管理

传输安全,认证,授权,准入控制

传输安全

  • 告别8080,迎接6443
  • 全面基于HTTPS通信

鉴权:三种客户端身份认证:

  • HTTPS 证书认证:基于CA证书签名的数字证书认证
  • HTTP Token认证:通过一个Token来识别用户
  • HTTP Base认证:用户名+密码的方式认证

授权:

RBAC(Role-Based Access Control,基于角色的访问控制):负责完成授权(Authorization)工作。

根据API请求属性,决定允许还是拒绝。

准入控制:

Adminssion Control实际上是一个准入控制器插件列表,发送到API Server的请求都需要经过这个列表中的每个准入控制器插件的检查,检查不通过,则拒绝请求。

RBAC授权

RBAC(Role-Based Access Control,基于角色的访问控制),允许通过Kubernetes API动态配置策略。

角色

  • Role:授权特定命名空间的访问权限
  • ClusterRole:授权所有命名空间的访问权限

角色绑定

  • RoleBinding:将角色绑定到主体(即subject)
  • ClusterRoleBinding:将集群角色绑定到主体

主体(subject)

  • User:用户
  • Group:用户组
  • ServiceAccount:服务账号
kubernetes(十二) 准入控制和helm v3包管理
kubernetes(十二) 准入控制和helm v3包管理
实例
  • 为aliang用户创建default名称空间Pod读取权限
    • k8s CA签发证书
cat > ca-config.json <<EOF
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "kubernetes": {
        "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ],
        "expiry": "87600h"
      }
    }
  }
}
EOF

cat > aliang-csr.json <<EOF
{
  "CN": "aliang",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "BeiJing",
      "L": "BeiJing",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF

cfssl gencert -ca=/data/kubernetes/ssl/ca.pem -ca-key=/data/kubernetes/ssl/ca-key.pem -config=ca-config.json -profile=kubernetes aliang-csr.json | cfssljson -bare aliang
  • 生成kubeconfig授权文件
# kubeconfig 
kubectl config set-cluster kubernetes \
  --certificate-authority=/data/kubernetes/ssl/ca.pem \
  --embed-certs=true \
  --server=https://192.168.56.14:6443 \
  --kubeconfig=aliang.kubeconfig

# 设置客户端认证
kubectl config set-credentials aliang \
  --client-key=aliang-key.pem \
  --client-certificate=aliang.pem \
  --embed-certs=true \
  --kubeconfig=aliang.kubeconfig

# 设置默认上下文
kubectl config set-context kubernetes \
  --cluster=kubernetes \
  --user=aliang \
  --kubeconfig=aliang.kubeconfig

# 设置当前使用配置
kubectl config use-context kubernetes --kubeconfig=aliang.kubeconfig
  • RBAC准入
 $ vim role.yml
  apiVersion: rbac.authorization.k8s.io/v1
  kind: Role
  metadata:
    namespace: default
    name: pod-reader
  rules:
  - apiGroups: [""]
    resources: ["pods"]
    verbs: ["get", "watch", "list"]
  $ kubectl apply -f role.yml 
  $ vim  binding.yml
  apiVersion: rbac.authorization.k8s.io/v1
  kind: RoleBinding
  metadata:
    name: read-pods
    namespace: default
  subjects:
  - kind: User
    name: aliang
    apiGroup: rbac.authorization.k8s.io
  roleRef:
    kind: Role
    name: pod-reader
    apiGroup: rbac.authorization.k8s.io
  $ kubectl apply -f binding.yml
  • 测试权限
 $ kubectl --kubeconfig=aliang.kubeconfig get pods
  NAME                                      READY   STATUS    RESTARTS   AGE
  nfs-client-provisioner-75f9fd7b57-67jtk   1/1     Running   0          5h49m
用户组权限设置
  • 签发证书
$ cat > ca-config.json <<EOF
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "kubernetes": {
        "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ],
        "expiry": "87600h"
      }
    }
  }
}
EOF
$ cat > k8s-csr.json <<EOF
{
  "CN": "aliang",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "BeiJing",
      "L": "BeiJing",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF

cfssl gencert -ca=/data/kubernetes/ssl/ca.pem -ca-key=/data/kubernetes/ssl/ca-key.pem -config=ca-config.json -profile=kubernetes k8s-csr.json | cfssljson -bare k8s
  • 生成kubeconfig授权文件
# kubeconfig 
kubectl config set-cluster kubernetes \
  --certificate-authority=/data/kubernetes/ssl/ca.pem \
  --embed-certs=true \
  --server=https://192.168.56.14:6443 \
  --kubeconfig=k8s.kubeconfig

# 设置客户端认证
kubectl config set-credentials k8s \
  --client-key=k8s-key.pem \
  --client-certificate=k8s.pem \
  --embed-certs=true \
  --kubeconfig=k8s.kubeconfig

# 设置默认上下文
kubectl config set-context kubernetes \
  --cluster=kubernetes \
  --user=k8s \
  --kubeconfig=k8s.kubeconfig

# 设置当前使用配置
kubectl config use-context kubernetes --kubeconfig=k8s.kubeconfig
  • 创建RBAC
$ vim role.yml
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  namespace: default
  name: pod-reader
rules:
- apiGroups: ["*"]
  resources: ["pods","services","deployments"]
  verbs: ["get", "watch", "list"]
$ kubectl apply -f role.yml 
$ vim  binding.yml
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: read-pods
  namespace: default
subjects:
- kind: Group
  name: k8s
  apiGroup: rbac.authorization.k8s.io
roleRef:
  kind: Role
  name: pod-reader
  apiGroup: rbac.authorization.k8s.io
$ kubectl apply -f binding.yml

Helm包管理

为什么要使用helm

K8S上的应用对象,都是由特定的资源描述组成,包括deployment、service等。都保存各自文件中或者集中写到一个配置文件。然后kubectl apply –f 部署。

如果应用只由一个或几个这样的服务组成,上面部署方式足够了。

而对于一个复杂的应用,会有很多类似上面的资源描述文件,例如微服务架构应用,组成应用的服务可能多达十个,几十个。如果有更新或回滚应用的需求,可能要修改和维护所涉及的大量资源文件,而这种组织和管理应用的方式就显得力不从心了。

且由于缺少对发布过的应用版本管理和控制,使Kubernetes上的应用维护和更新等面临诸多的挑战,主要面临以下问题:

  1. 如何将这些服务作为一个整体管理
  2. 这些资源文件如何高效复用
  3. 不支持应用级别的版本管理

helm介绍

Helm是一个Kubernetes的包管理工具,就像Linux下的包管理器,如yum/apt等,可以很方便的将之前打包好的yaml文件部署到kubernetes上。

Helm有3个重要概念:

  • helm:一个命令行客户端工具,主要用于Kubernetes应用chart的创建、打包、发布和管理。
  • Chart:应用描述,一系列用于描述 k8s 资源相关文件的集合。
  • Release:基于Chart的部署实体,一个 chart 被 Helm 运行后将会生成对应的一个 release;将在k8s中创建出真实运行的资源对象。

helm V3

2019年11月13日, Helm团队发布 Helm v3的第一个稳定版本。

该版本主要变化如下:

1、 架构变化

最明显的变化是 Tiller的删除

kubernetes(十二) 准入控制和helm v3包管理
kubernetes(十二) 准入控制和helm v3包管理

2、Release名称可以在不同命名空间重用

3、支持将 Chart 推送至 Docker 镜像仓库中

4、使用JSONSchema验证chart values

5、其他

1)为了更好地协调其他包管理者的措辞 Helm CLI个别更名

helm delete` 更名为 `helm uninstall
helm inspect` 更名为 `helm show
helm fetch` 更名为 `helm pull

但以上旧的命令当前仍能使用。

2)移除了用于本地临时搭建 Chart Repositoryhelm serve 命令。

3)自动创建名称空间

在不存在的命名空间中创建发行版时,Helm 2创建了命名空间。Helm 3遵循其他Kubernetes对象的行为,如果命名空间不存在则返回错误。

4) 不再需要requirements.yaml, 依赖关系是直接在chart.yaml中定义

helm 客户端工具

Helm客户端下载地址:https://github.com/helm/helm/releases

解压移动到/usr/bin/目录即可。

wget https://get.helm.sh/helm-v3.2.4-linux-amd64.tar.gz
tar zxvf helm-v3.2.4-linux-amd64.tar.gz 
mv linux-amd64/helm /usr/bin/

2、Helm常用命令

命令

描述

completion

命令补全,source <(helm completion bash)

create

创建一个chart并指定名字

dependency

管理chart依赖

get

下载一个release。可用子命令:all、hooks、manifest、notes、values

history

获取release历史

install

安装一个chart

list

列出release

package

将chart目录打包到chart存档文件中

pull

从远程仓库中下载chart并解压到本地 # helm pull stable/mysql --untar

repo

添加,列出,移除,更新和索引chart仓库。可用子命令:add、index、list、remove、update

rollback

从之前版本回滚

search

根据关键字搜索chart。可用子命令:hub、repo

show

查看chart详细信息。可用子命令:all、chart、readme、values

status

显示已命名版本的状态

template

本地呈现模板

uninstall

卸载一个release

upgrade

更新一个release

version

查看helm客户端版本

3、配置国内Chart仓库

添加存储库:

helm repo add stable http://mirror.azure.cn/kubernetes/charts
helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts 
helm repo update

查看配置的存储库:

helm repo list
helm search repo stable

一直在stable存储库中安装charts,你可以配置其他存储库。

删除存储库:

helm repo remove aliyun

14.5 Helm基本使用

主要介绍三个命令:

  • helm install
  • helm upgrade
  • helm rollback

1、使用chart部署一个应用

kubernetes(十二) 准入控制和helm v3包管理
kubernetes(十二) 准入控制和helm v3包管理

查找chart:

$ helm search repo
$ helm search repo mysql

为什么mariadb也在列表中?因为他和mysql有关。

查看chart信息:

# helm show chart stable/mysql

安装包:

$ export KUBERNETES_MASTER=http://127.0.0.1:8080   #必须指定,不然报错
$ helm install db stable/mysql
$ helm search weave
$ helm install stable/weave-scope   
$ kubectl get pod,deploy,svc
ui-weave-scope   ClusterIP    10.0.0.64  
$ kubectrl edit svc ui-weave-scope
type: NodePort   # 改成nodeport
### web访问ui

查看发布状态:

$ helm status db    #此时数据库时pending的状态,缺少存储

2、helm install自定义chart配置选项

上面部署的mysql并没有成功,这是因为并不是所有的chart都能按照默认配置运行成功,可能会需要一些环境依赖,例如PV。

所以我们需要自定义chart配置选项,安装过程中有两种方法可以传递配置数据:

  • --values(或-f):指定带有覆盖的YAML文件。这可以多次指定,最右边的文件优先
  • --set:在命令行上指定替代。如果两者都用,--set优先级高

--values使用,先将修改的变量写到一个文件中

$ helm show values stable/mysql
$ cat config.yaml 
persistence:
  enabled: true
  storageClass: "managed-nfs-storage"
  accessMode: ReadWriteOnce
  size: 8Gi
mysqlUser: "k8s"
mysqlPassword: "123456"
mysqlDatabase: "k8s"
$ helm install db -f config.yaml stable/mysql
$ kubectl get pod
NAME                                      READY   STATUS    RESTARTS   AGE
db-mysql-589c6c5b87-tltwf                 1/1     Running   0          13m

$ MYSQL_ROOT_PASSWORD=$(kubectl get secret --namespace default db-mysql -o jsonpath="{.data.mysql-root-password}" | base64 --decode; echo)
$ echo $MYSQL_ROOT_PASSWORD
64Ch57770e
$  kubectl run  mysql-test --rm -it --image=mysql:5.7 -- bash 
root@ubuntu:/# apt-get update && apt-get install mysql-client -y
root@ubuntu:/# mysql  -h db-mysql -p

![image-20200729162824167](/Users/wanghui/Library/Application Support/typora-user-images/image-20200729162824167.png)

以上将创建具有名称的默认MySQL用户k8s,并授予此用户访问新创建的k8s数据库的权限,但将接受该图表的所有其余默认值。

命令行替代变量:

# helm install db --set persistence.storageClass="managed-nfs-storage" stable/mysql

也可以把chart包下载下来查看详情:

# helm pull stable/mysql --untar

values yaml与set使用:

kubernetes(十二) 准入控制和helm v3包管理
kubernetes(十二) 准入控制和helm v3包管理

该helm install命令可以从多个来源安装:

3、构建一个Helm Chart

$ helm create mychart
$ tree mychart/
mychart/
├── charts
├── Chart.yaml
├── templates
│   ├── deployment.yaml
│   ├── _helpers.tpl
│   ├── ingress.yaml
│   ├── NOTES.txt
│   └── service.yaml
└── values.yaml
  • Chart.yaml:用于描述这个 Chart的基本信息,包括名字、描述信息以及版本等。
  • values.yaml :用于存储 templates 目录中模板文件中用到变量的值。
  • Templates: 目录里面存放所有yaml模板文件。
  • charts:目录里存放这个chart依赖的所有子chart。
  • NOTES.txt :用于介绍Chart帮助信息, helm install 部署后展示给用户。例如:如何使用这个 Chart、列出缺省的设置等。
  • _helpers.tpl:放置模板助手的地方,可以在整个 chart 中重复使用

创建Chart后,接下来就是将其部署:

helm install web mychart/

也可以打包推送的charts仓库共享别人使用。

# helm package mychart/
mychart-0.1.0.tgz

4、升级、回滚和删除

发布新版本的chart时,或者当您要更改发布的配置时,可以使用该helm upgrade 命令。

$ helm upgrade --set imageTag=1.17 web mychart
$ helm upgrade -f values.yaml web mychart

如果在发布后没有达到预期的效果,则可以使用helm rollback回滚到之前的版本。

例如将应用回滚到第一个版本:

$ helm history web
$ helm rollback web 2

卸载发行版,请使用以下helm uninstall命令:

$ helm uninstall web

查看历史版本配置信息

$ helm get all web
$ helm get all --revision 4 web

14.6 Chart模板

Helm最核心的就是模板,即模板化的K8S manifests文件。

它本质上就是一个Go的template模板。Helm在Go template模板的基础上,还会增加很多东西。如一些自定义的元数据信息、扩展的库以及一些类似于编程形式的工作流,例如条件语句、管道等等。这些东西都会使得我们的模板变得更加丰富。

1、模板

有了模板,我们怎么把我们的配置融入进去呢?用的就是这个values文件。这两部分内容其实就是chart的核心功能。

接下来,部署nginx应用,熟悉模板使用,先把templates 目录下面所有文件全部删除掉,这里我们自己来创建模板文件:

$ rm -rf mychart/templates/*
$ vi templates/deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - image: nginx:1.16
        name: nginx

这个deployment就是一个Go template的模板,这里定义的Release模板对象属于Helm内置的一种对象,是从values文件中读取出来的。这样一来,我们可以将需要变化的地方都定义变量。

再执行helm install chart 可以看到现在生成的名称变成了web-deployment,证明已经生效了。也可以使用命令helm get manifest查看最终生成的文件内容。

2、调试

Helm也提供了--dry-run --debug调试参数,帮助你验证模板正确性。在执行helm install时候带上这两个参数就可以把对应的values值和渲染的资源清单打印出来,而不会真正的去部署一个release。

比如我们来调试上面创建的 chart 包:

# helm install web2 --dry-run /root/mychart

3、内置对象

刚刚我们使用 {{.Release.Name}}将 release 的名称插入到模板中。这里的 Release 就是 Helm 的内置对象,下面是一些常用的内置对象:

Release.Name

release 名称

Release.Name

release 名字

Release.Namespace

release 命名空间

Release.Service

release 服务的名称

Release.Revision

release 修订版本号,从1开始累加

4、Values

Values对象是为Chart模板提供值,这个对象的值有4个来源:

  • chart 包中的 values.yaml 文件
  • 父 chart 包的 values.yaml 文件
  • 通过 helm install 或者 helm upgrade 的 -f或者 --values参数传入的自定义的 yaml 文件
  • 通过 --set 参数传入的值

chart 的 values.yaml 提供的值可以被用户提供的 values 文件覆盖,而该文件同样可以被 --set提供的参数所覆盖。

这里我们来重新编辑 mychart/values.yaml 文件,将默认的值全部清空,然后添加一个副本数:

$ cat values.yaml 
replicaCount: 1
label:
  project: test
  app: nginx
image:
  repository: nginx
  tags: 1.17
  name: web
service:
  type: ClusterIP
  port: 80
  targetport: 80

$ cat templates/deployment.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: web
  name: {{ .Release.Name }}
spec:
  replicas: {{ .Values.replicaCount }}
  selector:
    matchLabels:
      project: {{ .Values.label.project }}
      app: {{ .Values.label.app }}
  template:
    metadata:
      labels:
        project: {{ .Values.label.project }}
        app: {{ .Values.label.app }}
    spec:
      containers:
      - image: {{ .Values.image.repository }}:{{ .Values.image.tags }}
        name: {{ .Values.image.name }}
$ vim templates/service.yaml 
apiVersion: v1
kind: Service
metadata:
  name: {{ .Release.Name }}
spec:
  ports:
  - port: {{ .Values.service.port }}
    protocol: TCP
    targetPort: {{ .Values.service.targetport }}
  type: {{ .Values.service.type }}
  selector:
    project: {{ .Values.label.project }}
    app: {{ .Values.label.app }}

查看渲染结果:

$ helm install --dry-run web ../mychart/
$ helm install web ../mychart

values 文件也可以包含结构化内容,例如:

$ helm upgrade web --set  image.tags="1.18" --set service.type="NodePort" ../mychart
$ helm upgrade web --set image.tags="1.19" --set service.type="NodePort" ../mychart
$ helm history web
$ helm rollback web 2    #回滚到2版本,不能回滚到第一个版本,因为serviceType不一致的话回滚是失败的

小结

开发Chart大致流程:

  1. 先创建模板 helm create demo
  2. 修改Chart.yaml,Values.yaml,添加常用的变量
  3. 在templates目录下创建部署镜像所需要的yaml文件,并变量引用yaml里经常变动的字段
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2020-07-30 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 准入控制
    • kubernetes的安全框架
      • 传输安全,认证,授权,准入控制
        • 传输安全
    • Helm包管理
      • 为什么要使用helm
        • helm介绍
          • helm V3
            • helm 客户端工具
              • 14.5 Helm基本使用
              • 14.6 Chart模板
              • 小结
          相关产品与服务
          容器服务
          腾讯云容器服务(Tencent Kubernetes Engine, TKE)基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务,覆盖 Serverless、边缘计算、分布式云等多种业务部署场景,业内首创单个集群兼容多种计算节点的容器资源管理模式。同时产品作为云原生 Finops 领先布道者,主导开源项目Crane,全面助力客户实现资源优化、成本控制。
          领券
          问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档