K8S包管理神器-Helm

在我们学习 kubernetes 的过程中，用的最多的是 kubectl 命令行工具，使用 kubectl 工具需要我们编写好各种部署文件，这在生产中是非常不方便的，因此 Helm 这个 kubernetes 包管理工具就应运而生了。

Helm 包管理工具不仅可以为我们安装网上已经成熟的部署库文件，而且可以生产本地部署模板，我们只需要简单改一改，就可以完成一个应用的部署，不需要我们记住那么多的命令和配置。下面我们就看一下 Helm 的使用。

Helm 基础介绍

Helm V2/V3 的对比

组件架构对比：

1. Helm2：由2个二进制组成：helm（客户端cli）、tiller（服务端）

2. Helm3：只有1个二进制组成：helm、移除了tiller

工作原理对比：

1. Helm2：helm->tiller->k8s。首先由helm和tiller交互，然后由tiller负责和k8s交互来完成操作。

2. Helm3：helm->k8s。由helm命令去调用/root/.kube/config获取k8s权限，然后直接与apiserver交互操作。

Helm 安装的 Chart 的元信息记录到k8s的secret里面，secret名字叫sh.helm.release.v1.{NAME}.v1，另外还有一个serviceaccount，名字叫{NAME}-

Helm 主要模块

1. chart：包含应用程序所需要的所有 k8s 资源定义。

2. repository：存放chart的仓库，类似于docker的镜像仓库。

3. release：chart的实例化，将chart安装到k8s上，就叫做生成一个release。

Helm 的安装和基本操作

安装 Helm

因为 helm3 只有一个二进制文件，因此安装非常简单

# 二进制下载地址页面: https://github.com/helm/helm/releaseswget https://get.helm.sh/helm-v3.4.1-linux-amd64.tar.gztar zxf helm-v3.4.1-linux-amd64.tar.gzcp linux-amd64/helm /usr/local/bin/helm

命令自动补全，在 /etc/profile 里增加如下内容：

source <(helm completion bash)

添加仓库

helm 和 docker 一样有默认的官方仓库，也可以添加第三方仓库和本地仓库

helm repo add bitnami https://charts.bitnami.com/bitnamihelm repo add stable https://mirror.azure.cn/kubernetes/chartshelm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts

查看添加了哪些仓库

helm repo list

更新仓库缓存（helm repo add的时候会获取一次chart列表并缓存，接下来的helm search都是读取本地缓存列表，因此我们需要经常更新缓存）

helm repo update

移除仓库

helm repo remove $仓库名

安装应用

以安装 nginx 为例

# 从官方hub搜索helm search hub nginx# 从所有添加的第三方仓库中搜索，支持模糊匹配helm search repo nginx# 搜索指定仓库的应用（并没有原生支持，是因为格式都是"仓库名/chart名"，所以可以通过"仓库名/"来匹配）helm search repo bitnami/ | grep nginx

我们安装bitnami仓库的nginx，并指定release名字为myweb

helm install myweb bitnami/nginx

如果要指定命名空间，则加上-n参数

helm install myweb bitnami/nginx -n kube-system

查看安装了哪些库

helm list --all-namespaces

自定义参数

helm支持两种自定义参数的方式

1. values.yaml文件

2. 命令行参数--set

如果两种同时使用的话，--set的优先级要高于values.yaml，我们可以通过以下命令来查看一个chart支持哪些配置参数

helm show values 仓库名/应用名helm show values bitnami/nginx

使用values.yaml自定义参数来安装

cat &gt; values.yaml <<EOFresources: limits: cpu: 500m memory: 256Mi requests: cpu: 500m memory: 256MiEOFhelm install -f values.yaml myweb1 bitnami/nginx

使用--set自定义参数来安装

# 多个参数用英文逗号,隔开helm install --set 'resources.limits.cpu=500m,resources.limits.memory=256Mi,resources.requests.cpu=500m,resources.requests.memory=256Mi' myweb2 bitnami/nginx

查看我们在某个chart中自定义了哪些参数

helm get values myweb

升级应用

假设要扩容cpu、memory，则修改values.yaml内容，改为

resources: limits: cpu: 1000m memory: 512Mi requests: cpu: 1000m memory: 512Mi

升级命令

helm upgrade -f values.yaml myweb bitnami/nginx

应用回滚

回滚前先查看历史版本

helm history myweb

获得REVISION号后就可以进行回滚操作

helm rollback myweb 2

卸载应用

卸载并保留历史记录，加上--keep-history（不影响卸载应用，但会保留记录）

helm uninstall myweb1 --keep-history

查看卸载过哪些应用（只有保留记录的才能看到）

helm list --uninstalled --all-namespaces

Chart 目录结构

如果我们不能联网，那么也可以通过helm创建一个本地chart

helm create foo

foo目录结构如下：

├── .helmignore # 编译包的时候忽略哪些文件├── Chart.yaml # chart信息，包括chart版本、app版本、描述等├── charts # 放置依赖和子chart├── values.yaml # 模版的默认参数└── templates # 存放模版 ├── deployment.yaml # k8s deployment模版 ├── _helpers.tpl # 定义命名模版（即变量），可在模版里引用，类似编程时候定义一个变量，模版里就可以引用这个变量 ├── hpa.yaml # k8s HPA模版 ├── ingress.yaml # k8s ingress模版 ├── NOTES.txt # 展示在helm install安装完成后看到的NOTES部分，同样支持模版语法 ├── serviceaccount.yaml # k8s serviceaccount模版 ├── service.yaml # k8s service模版 └── tests # 用于测试release是否运行成功 └── test-connection.yaml # k8s对象，默认是busybox Pod，通过wget测试nginx

templates目录里下划线开头的不会被渲染，tests用于安装完成后，执行检测

测试用例

helm也支持测试用例，例如对于web应用，可以测试http接口是否为200。

那么如何让helm认为是测试使用：helm会读取templates下所有yaml，当metadata带有如下注解时，helm则认为这是测试专用，而不是普通对象。注意，helm不会去认名字为tests的目录，只会认注解，因此如果tests下放置没有注解的k8s对象时会被当作普通对象对待

annotations: "helm.sh/hook": test

helm install安装后不会自动进行测试，需要手工执行helm test命令，此时会创建k8s对象（如pod）进行测试，若pod执行完毕（状态为Completed，即容器里的程序退出码为0则表示成功）

helm install myfoo foohelm test myfoo

如果Phase显示Successed表示成功，检测失败则为Failed

Chart 的依赖和父子关系

简介

什么是chart依赖：如果将chart比作rpm包，则chart依赖也相当于rpm包的依赖，当yum install时候会自动安装依赖包。对于helm来说，chart依赖就是在Chart.yaml里设置依赖dependencies哪些仓库的哪些chart，在helm intall时候就会自动把依赖的chart下载到charts目录。也可以手工把依赖包下载下来放到charts目录里。

什么是父子chart：下载、手工放到charts目录里的chart就是子chart，根目录的chart就是父chart。无论是否在Values.yaml里设置了dependencies。

简单来讲：

子Chart

只要是已经放到会helm install会自动下载到charts目录里的chart，都是子chart

chart依赖

Chart.yaml里配置了dependencies就是chart依赖

处理chart依赖的2种方式

嵌入式

手工创建，可以通过helm package打成tgz包

依赖导入式

通过仓库获取，helm dependency update会自动从指定仓库下载指定版本的chart

Chart依赖

我们来测试一下Chart的依赖，首先准备测试环境

mkdir chartcd charthelm create webhelm create backendcd web

编辑Chart.yaml，增加如下内容

dependencies:- name: backend repository: file://../backend version: 0.1.0- name: mariadb repository: https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts/ version: 2.1.6

file://是使用本地目录，但是只能用于外部目录，不能用于当前目录下的自定义子目录，比如

file://foo 或 file://charts/foo# 都会提示错误

处理依赖

helm dependency listhelm dependency update

查看charts目录，应当有2个tgz

另外，除了update，还有build命令

helm dependency build

build和update的区别是

update：重新读取Chart.yaml来获取依赖包

build：要先执行过update才能执行build，否则会提示Chart.lock和Chart.yaml不同步，请先update

父子Chart

怎么确定Chart的父子关系，我们看以下的例子：

helm create foocd foocd chartshelm create bar

在Chart包foo的子目录charts下创建新的Chart包bar，foo就是父，bar就是子

如果我们把子Chart放到外部目录，然后通过file://../bar或者其他方式引用，那么就成了依赖，而不是父子

子Chart如果没写到Chart.yaml里面，在查看依赖时候会提示WARNING: "charts/foo" is not in Chart.yaml.，但不影响使用

Helm模板详解

模板基本使用

使用模板的含义就是要创建一个通用的Chart。如果不用模版，就需要为每个应用创建独立的deployment、service等资源对象，那么此时用helm的意义就不大，可以看下面的例子：

helm create mychartcd mychartrm -rf templates/*cd templates

apiVersion: apps/v1kind: Deploymentmetadata: labels: app: mydep name: mydepspec: replicas: 2 selector: matchLabels: app: mydep template: metadata: labels: app: mydep spec: containers: - image: nginx imagePullPolicy: IfNotPresent name: nginx

apiVersion: v1kind: Servicemetadata: labels: app: mydep name: mysvcspec: ports: - port: 80 protocol: TCP targetPort: 80 selector: app: mydep type: NodePort

测试

kubectl apply -f . # 此时与helm无关或helm install myapp ../ # 此时虽然放在模版目录里，但实际上不是模版，因为没用到任何模版标签。

Helm模版，支持很多特性，使用起来非常灵活，本质是基于golang内置的text/template模块。如果想在Chart安装前查看模版渲染后的内容，有2种办法

helm template release名 chart名/目录helm install --dry-run release名 chart名/目录

1. 第一种是很纯粹的看模板渲染效果

2. 第二种还有附带install的其他信息

上面自定义参数提到的2种方法，也可以用在helm template

helm template -f values.yaml foohelm template --set 'aa=bb' foohelm template foo

上面命令的前提是当前目录下有一个foo目录，如果想看仓库里的，带上仓库名即可

helm template bitnami/nginx

helm template查看的是尚未安装成release的yaml，而不是已经安装成为release的yaml。如果安装后查看yaml的命令是

helm get manifest RELEASE名

模板标签

模版标签：{{}}，例如

{{ .Release.Name }}

测试

helm create foorm -rf foo/templates/*cat > foo/templates/a.yaml <<EOF#{{ .Release.Name }}EOFhelm template myfoo foo

加上 # 的原因是此时的a.yaml不是合法的k8s资源对象格式

可以看出.Release.Name渲染成了release名，如果想要查看所有的变量/常量

#{{ . }}

模板注释

模板中的注释有2种

yaml的注释

模板的注释

yaml注释

# This is a commenttype: sprocket

模板注释

单行{{/* a comment */}}多行{{/*This is a comment*/}}或{{- /*This is a comment*/}}

内置对象

常用的模版内置对象可查看官方文档：https://helm.sh/zh/docs/chart_template_guide/builtin_objects/

Release：该对象描述了版本发布本身。包含了以下对象：

Release.Name：release名称

Release.Namespace：版本中包含的命名空间(如果manifest没有覆盖的话)

Release.IsUpgrade：如果当前操作是升级或回滚的话，需要将该值设置为true

Release.IsInstall：如果当前操作是安装的话，需要将该值设置为true

Release.Revision：此次修订的版本号。安装时是1，每次升级或回滚都会自增

Release.Service：该service用来渲染当前模板。Helm里一般是Helm

Values：Values是从文件和用户提供的文件传进模板的。默认为空values.yamlValues

Chart：文件内容。里的任意数据在这里都可以可访问的。比如 会打印出 Chart.yamlChart.yaml{{ .Chart.Name }}-{{ .Chart.Version }}mychart-0.1.0

Chart 指南 中列出了可用字段

Files：在chart中提供访问所有的非特殊文件。当你不能使用它访问模板时，你可以访问其他文件。请查看这个 文件访问部分了解更多信息

Files.Get 通过文件名获取文件的方法。（）.Files.Getconfig.ini

Files.GetBytes 用字节数组代替字符串获取文件内容的方法。对图片之类的文件很有用

Files.Glob 用给定的shell glob模式匹配文件名返回文件列表的方法

Files.Lines 逐行读取文件内容的方法。迭代文件中每一行时很有用

Files.AsSecrets 使用Base 64编码字符串返回文件体的方法

Files.AsConfig 使用YAML格式返回文件体的方法

Capabilities：提供关于Kubernetes集群支持功能的信息

Capabilities.APIVersions 是一个版本集合

Capabilities.APIVersions.Has $version 说明集群中的版本 (e.g., ) 或是资源 (e.g., ) 是否可用batch/v1apps/v1/Deployment

Capabilities.KubeVersion 和 是Kubernetes的版本号Capabilities.KubeVersion.Version

Capabilities.KubeVersion.Major Kubernetes的主版本

Capabilities.KubeVersion.Minor Kubernetes的次版本

Template：包含了已经被执行的当前模板信息

Template.Name: 当前模板的命名空间文件路径 (e.g. mychart/templates/mytemplate.yaml)

Template.BasePath: 当前chart模板目录的路径 (e.g. mychart/templates)

模板函数

使用函数有2种写法：函数名前置和管道，效果是相同的，管道主要用于组合多个函数使用

{{ quote .Release.Name }}{{ .Release.Name | quote }}{{ quote .Release.Name | b64enc }}

helm内置很多模版函数，这里无法一一列举，因此选取几个常用来说明

quote：双引号

{{ quote .Release.Name }}

default：默认值

# 当找不到.Values.hello时默认为world{{ default "world" .Values.hello }}

indent：缩进

{{ indent 4 .Values.hello }}# 注意，hello必须是string，如果是数字，则报错，此时可以结合quote{{ quote .Values.hello | indent 4 }}

nindent：新换行，再缩进，并且只能处理字符串，而且不能用#

ReleaseName: {{ indent 2 .Release.Name }}ReleaseNamespace: {{ nindent 2 .Release.Namespace }}replicaCount: {{ quote .Values.replicaCount | nindent 2 }}

title：首字母大写

{{ title .Release.Name }}

upper：全部大写

{{ upper .Release.Name }}

b64enc：base64编码

{{ b64enc .Release.Name }}

b64dec：base64解码

{{ b64dec .Release.Name }}

更多内置函数，详见：https://helm.sh/docs/chart_template_guide/function_list

条件判断if

if/else

{{ if PIPELINE }} # Do something{{ else if OTHER PIPELINE }} # Do something else{{ else }} # Default case{{ end }}

if如何判断条件是否为假

布尔值false

数字0

空字符串""

不存在的变量/常量，如.Values.xxx（假设xxx不存在）

空集合(map, slice, tuple, dict, array)，如values.yaml里有imagePullSecrets: []

除此之外条件都为真

示例如下：

{{ if false }}{{ if 0 }}{{ if "" }}{{ if .Values.xxx }}{{ if .Values.imagePullSecrets }}

字符串/数字大小 比较

eq：字符串相同/数字相同

ne：字符串不同/数字不同

lt：字符串(根据编码)前者小于后者/数字前者小于后者

le：字符串(根据编码)前者小于等于后者/数字前者小于等于后者

gt：字符串(根据编码)前者大于后者/数字前者大于后者

ge：字符串(根据编码)前者大于等于后者/数字前者大于等于后者

数字比较，要用float64格式，即带小数点的

示例如下：

{{ if eq 5 5 }}{{ if eq "5" "5" }}{{ if gt "a" "b" }}{{ if gt .Values.replicaCount 2.0 }}

空白符

foo: 123{{ if eq 2 2 }}aa: 11{{ else }}aa: 22{{ end }}bar: 456

遍历with/range

with：用于map结构

假设values.yaml里有这么一段

aa: xx: 123 yy: 456

用with省去了.Values

{{- with .Values.aa }}aa: xx: {{ .xx }} yy: {{ .yy }}{{- end }}

可以用toYaml函数进一步简写

{{- with .Values.aa }}aa: {{- toYaml . | nindent 2 }}{{- end }}

range

和with很像，更适合数组而不是map（即hash），因为range会自动将map结构中的value获取出来（忽略key）

data:{{- range .Values.aa }}- {{ . }}{{- end }}

渲染为如下，可以看到少了key

data: 123 456

因此range更适合数组，假设values.yaml有一段

bb:- 123- 456

示例如下：

data:{{- range .Values.bb }}- {{ . }}{{- end }}

with里不能用变量

假设values.yaml

aa: xx: 123 yy: 456

模板

{{- with .Values.aa }}aa: xx: {{ .Release.Name }} yy: {{ .yy }}{{- end }}

会报错，因为用了with后，.Release.Name变成是从with .Values.aa里找，当然找不到。有2个解决办法：

变量赋值

{{- releaseName := .Release.Name }}{{- with .Values.aa }}aa: xx: {{ releaseName }} yy: {{ .yy }}{{- end }}

用符号：.Release.Name

{{- with .Values.aa }}aa: xx: {{ $.Release.Name }} yy: {{ .yy }}{{- end }}

range获取键值

data:{{- range k, v := .Values.aa }}- name: {{ k }} value: {{ v | quote }}{{- end }}

命名模板

使用define函数定义命名模板，使用template函数引用命名模板

# 定义{{- define "aa" }}...{{- end }}# 引用{{ template "aa" }}

可以写在templates的yaml里也可以写在_helper.tpl（templates目录里）作为全局使用

直接写在templates的yaml里

{{- define "foo" }}- name: abc value: 123- name: def value: 456{{- end }}kind: ConfigMapdata:{{- template "foo" }}

写在_helper.tpl里

# 以下内容放到templates/_helper.tpl{{- define "foo" }}- name: abc value: 123- name: def value: 456{{- end }}# 以下内容放到templates/a.yamlkind: ConfigMapdata:{{- template "foo" }}

上述2种方法输出结果都是

kind: ConfigMapdata:- name: abc value: 123- name: def value: 456

template函数不支持管道

{{- define "aaa" -}}bbb{{- end }}xx: {{ template "aaa" | quote }}

会报错，解决办法：改用include函数

{{- define "aaa" -}}bbb{{- end }}xx: {{ include "aaa" . | quote }}

变量/常量/作用域

变量

_helpers.tpl里的{{- define ... -}}

常量

yaml语法自带的节点定位（Node Anchor）

常量：values.yaml里定义的replicaCount: 1

共享常量

子chart和父chart之间的常量不能共享，如果需要共享，就需要共享常量，这定义在父chart中

父chart的values.yaml里加入

子chart名: replicaCount: 2

注意必须是子chart名，即charts目录里存在该名字

接下来，子chart的模板里就可以引用

{{ .Values.replicaCount }}

当helm发现节点名是子chart名时，它会自动拷贝这个常量到子chart的values.yaml中

全局常量

共享常量只能把常量共享给一个子chart，如果需要多个子chart之间共享，需要全局常量。在父chart的values.yaml里用global标识

父chart的values.yaml里加入

global: hello: world

父和子chart的模板里都可以引用

{{ .Values.global.hello }}

搭建私有仓库

安装push插件

yum install githelm plugin install https://github.com/chartmuseum/helm-push # 比较慢，耐心等# 如果上面觉得比较慢，可以下载离线宝# tar zxf helm-push-v0.9.0-allinone.tgz# helm plugin install helm-pushhelm push --help # 新增的push子命令

ChartMuseum

官方提供的私有仓库，功能较少，适合学习测试使用，类似docker的registry

# https://chartmuseum.com/docs/docker run --rm -tid -p 8080:8080 -v $(pwd)/charts:/charts -e DEBUG=true -e STORAGE=local -e STORAGE_LOCAL_ROOTDIR=/charts chartmuseum/chartmuseum:latestchmod 777 charts

上传chart方法1：chartmuseum专属方法，不通用

curl --data-binary "@mychart-0.1.0.tgz" http://localhost:8080/api/charts

上传chart方法2：使用push插件（要先添加仓库）

helm repo add chartmuseum http://localhost:8080helm push foo chartmuseum

查询有哪些chart

curl http://localhost:8080/api/charts # 仅chartmuseum支持curl http://localhost:8080/index.yaml # 通用，helm repo add读取的是这个文件，helm search repo 是读取缓存到本地的index.yaml

下载chart

helm pull chartmuseum/mychart

Harbor

harbor内置集成了chartmuseum

wget https://github.com/goharbor/harbor/releases/download/v2.1.0/harbor-offline-installer-v2.1.0.tgztar zxf harbor-offline-installer-v2.1.0.tgzcd harborcp harbor.yml.tmpl harbor.yml编辑harbor.yml 1. 将hostname的值改为服务器IP，例如192.168.36.128，如果改成域名，要能解析 2. 注释https部分 # 要在/etc/docker/daemon.json里增加insecure-registries 3. data_volume改为/data/harbormkdir -p /data/harbor./install.sh --with-chartmuseum

在harbor上配置

创建用户，假设为user1

创建私有项目，假设为helm

将user1添加到helm项目里

添加仓库

helm repo add myharbor http://192.168.36.128/chartrepo/helm --username user1

输入密码后，成功的话会提示"myharbor" has been added to your repositories

上传chart并查看

helm push mychart-0.1.0.tgz myharbor# 此时harbor页面上可以看到新增了mycharthelm repo updatehelm search repo myharbor/

下载chart

helm pull myharbor/mycharthelm pull myharbor/mychart --version 0.1.0

生产环境最佳实践

建议1：参数名要统一，尤其在一个团队里。例如表示deployment副本数，不要有的用replicas，有的用replicaCount

建议2：给参数加注释。因为chart写好后很少需要改动，时间长了容易忘。

建议3：针对不同环境（开发/测试/生产），创建不同的values.yaml，如values-dev.yaml、values-production.yaml

建议4：创建values.schema.json来校验values

其中第4点例子如下，假设values.yaml里有如下内容

image: repository: my-docker-image pullPolicy: IfNotPresent

要求image参数必须存在，要求image必须存在repository和pullPolicy

repository类型为字符串，值的格式为小写字母a-z、数字0-9、横线-、下划线_

pullPolicy类型为字符串，值只能有3种：Always、Never、IfNotPresent

在同级目录下创建values.schema.json，内容如下

{ "

执行helm install、helm upgrade、helm lint、helm template测试，若不满足如上3点要求，则应当报错。

建议5：在chart目录下放置README.md，将chart的设计思想、注意事项写清楚，推荐格式如下

# chart名## 一键安装命令（helm repo add、helm intall）## 介绍## 环境要求## 安装chart## 卸载chart## 参数### global参数### common参数### 父chart参数### 子chart参数### 注意事项## 参考文档## CHANGELOG

建议6：templates里的NOTES.txt是部署完成后看到的内容，针对不同条件设置输出

建议7：helm默认读取/root/.kube/config，但这样权限过大，很不安全，而且helm通常是由开发或CD系统来使用，因此需要提前在K8S的RBAC里创建分配好权限，只允许在指定的namespace里进行部署

建议8：不要把各种微服务集中于一个chart，可以采用父子chart方式，让每个chart更轻量