使用 multipass+autok3s 搭建本地 k8s 集群

# Ubuntu 官方提供的虚拟机工具
brew install multipass

# 创建几个节点，分别是2核2G和2核4G，我的机器是 32G/2T，创建这几个节点还是绰绰有余的
multipass launch -c 2 -m 2G -d 40G -n primary
multipass launch -c 2 -m 4G -d 40G -n worker1
multipass launch -c 2 -m 4G -d 40G -n worker2

# 为了方便，把宿主机的家目录 mount 到虚拟机上
# 因为 primary 机器默认已经 mount 了，只需要 mount worker 节点
multipass mount $HOME worker1:/home/ubuntu/Home
multipass mount $HOME worker2:/home/ubuntu/Home

# 这时候我们已经可以登录了
multipass shell primary/worker1/worker2

# 为了方便，把宿主机默认的 ssh key 复制过去
# 在每个虚拟机中都执行
cat Home/.ssh/id_rsa.pub >> .ssh/authorized_keys

# 回到宿主机，安装 arkade + autok3s. Arkade 是一个 kubernetes 相关工具的快捷安装包
brew install arkade
arkade get autok3s  # 可能需要按照提示把 autok3s 加入 PATH

# 首先 看一下机器的 IP
mulitpass ls
# Name                    State             IPv4             Image
# primary                 Running           192.168.64.2     Ubuntu 20.04 LTS
# worker1                 Running           192.168.64.3     Ubuntu 20.04 LTS
# worker2                 Running           192.168.64.4     Ubuntu 20.04 LTS

# 测试一下 ssh
ssh ubuntu@182.168.63.3

# 开始创建集群，这里我选择的名字是 imac，因为我是在自己的 iMac 上创建的集群。
# native provider 指的是使用普通的 Linux 节点，因为 autok3s 还支持众多云厂商。
autok3s -d create \
    --provider native \
    --name imac \
    --ssh-user ubuntu \
    --ssh-key-path $HOME/.ssh/id_rsa \
    --master-ips 192.168.64.2 \
    --worker-ips 192.168.64.3,192.168.64.4

# 稍等片刻，可以看到集群已经创建成功了
# 按照日志中的提示，切换配置到这个集群
autok3s kubectl config use-context imac
# 然后就可以使用了~
autok3s kubectl get pods -A
# NAMESPACE     NAME                                      READY   STATUS              RESTARTS   AGE
# kube-system   local-path-provisioner-84bb864455-qg76v   1/1     Running             0          2m24s
# kube-system   coredns-96cc4f57d-6mq9f                   1/1     Running             0          2m24s
# kube-system   helm-install-traefik-crd--1-2b7cc         0/1     Completed           0          2m24s
# kube-system   helm-install-traefik--1-5k4lg             0/1     Completed           1          2m24s
# kube-system   metrics-server-ff9dbcb6c-r7tzn            1/1     Running             0          2m24s
# kube-system   svclb-traefik-9sc9z                       2/2     Running             0          104s
# kube-system   traefik-56c4b88c4b-xmffz                  1/1     Running             0          104s
# kube-system   svclb-traefik-cvk8w                       2/2     Running             0          56s
# kube-system   svclb-traefik-hj8cs                       0/2     ContainerCreating   0          20s

# 万一中途因为网络或者 ssh 配置错误等原因失败了，可以删掉有问题的集群重来
autok3s list
autok3s -d delete --provider native --name imac
# 如果还有没清理干净的残留，可以登录到虚拟机上使用 k3s-uninstall 脚本继续清理

# 安装后的 kubeconfig 文件默认在 ~/.autok3s/.kube/config 中，复制出来可以直接使用 kubectl
mkdir -p ~/.kube
cp ~/.autok3s/.kube/config ~/.kube/config
kubectl get pods -A

# 使用 arkade 安装 portainer 管理面板
arkade install portainer
kubectl port-forward -n default svc/portainer 9000:9000

# 打开 localhost:9000 就可以看到 portainer 的界面啦~

# 删除 k3s 自带的 traefik
kubectl delete svc/traefik -n kube-system
kubectl delete deploy/traefik -n kube-system

# 安装 ingress nginx
arkade install ingress-nginx

# 在 k8s 内部安装 docker registry
arkade install docker-registry --email you@example.com --domain docker.imac.local
# 在日志最后会输出密码，先记下来，不要丢了。本地的密码，亮出来也无所谓。
# export PASSWORD=zZPFqGO73IE26823434g

# 在宿主机为我们的 registry 添加域名 docker.imac.local
echo '192.168.64.2 docker.imac.local' >> /etc/hosts
# 如果是在 mac 上，还需要登录 podman 虚拟机，执行同样的操作
podman machine ssh
echo '192.168.64.2 docker.imac.local' >> /etc/hosts
# 登录 multipass 的虚拟机，执行同样的操作
mulitpass shell primary/worker1/worker2
echo '192.168.64.2 docker.imac.local' >> /etc/hosts
# 让 k3s 集群忽略 tls 错误, 同样需要在每台虚拟机上执行
cat >> /etc/rancher/k3s/registries.yaml << EOF
configs:
  "docker.imac.local":
    auth:
      username: admin
      password: zZPFqGO73IE26823434g  # 上面打印出的密码
    tls:
      insecure_skip_verify: true
EOF
# 在每台虚拟机，依次重启 k3s
sudo systemctl restart k3s  # master
sudo systemclt restart k3s-agent  # worker

# 宿主机上，使用 curl 验证一下，因为集群中使用的是自签名证书，这里使用 -k/--insecure 选项
# 忽略证书错误。
# 可以看到 404，说明 ingress controller 安装成功。但是集群还不知道这个域名该路由到哪个服务，
# 所以返回了 404 Not Found
curl -k https://docker.imac.local
# <html>
# <head><title>404 Not Found</title></head>
# <body>
# <center><h1>404 Not Found</h1></center>
# <hr><center>nginx</center>
# </body>
# </html>

# 安装 registry ingress
arkade install docker-registry-ingress

# 登录，同样忽略证书错误
podman login docker.imac.local --tls-verify=false
# Username: admin
# Password:
# Login Succeeded!

mkdir test
cd test

# 这是最后要验证的结果
cat >> index.html << EOF
<p>Hello from Test App.</p>
EOF

# 基于 nginx 镜像，把这个文件拷进去
cat >> Dockerfile << EOF
FROM nginx

COPY index.html /usr/share/nginx/html/
EOF

# 构建镜像
podman build . -t docker.imac.local/test-app
# push 到我们的私有 registry 中
podman push docker.imac.local/test-app --tls-verify=false

echo '192.168.64.2 test-app.imac.local' >> /etc/hosts

apiVersion: apps/v1
kind: Deployment
metadata:
  name: test-app
spec:
  selector:
    matchLabels:
      app: test-app
  template:
    metadata:
      labels:
        app: test-app
    spec:
      containers:
      - name: test-app
        # 使用刚刚打包的镜像
        image: docker.imac.local/test-app
        ports:
        - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: test-service
spec:
  selector:
    app: test-app
  ports:
  - name: http
    port: 80
    protocol: TCP
    targetPort: 80
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: test-ingress
  annotations:
    kubernetes.io/ingress.class: nginx
spec:
  rules:
  - host: test-app.imac.local
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: test-service
            port:
              number: 80

kubectl apply -f app.yaml

curl -k https://test-app.imac.local

# <p>Hello from Test App.</p>