Docker swarm部署控制

PayneWu

发布于 2020-12-18 10:16:15

9190

还记得我之前写过一篇文章叫做《Docker快速部署项目，极速搭建分布式》，在那里讲述了如何去使用docker swarm，如何构建自己的私人镜像仓库。随着最近的业务量的增长，机子加多。对于docker swarm管理难度有上升的趋势。主要的问题有以下几个

物理机配置不同（比如 CPU、内存等）
部署着不同类型的服务（比如 Web服务、Job服务等）
Swarm 集群中的节点跨机房，为了内部服务间通信更快，该如何分组部署
。。。

为了解决以上问题,以求更合理、更科学的管理部署所以有了今天这篇文章。

docker 节点的部署调度一共有三种机制，随机部署、平衡部署、先满部署

随机部署：active中随机选择平衡部署：尽可能先平均填满所有的节点先满部署：与平衡部署相反，先部署至上限，然后在部署对应的名称可能不对

那么该如何管理呢？下面我介绍几种方式，如下

NodeId
HOSTNAME
Node role
node labels
engine.labels

首先我们查看一下节点列表信息，直接使用docker node ls，即可

首先我们先解读一下，docker 的限制指令

# docker service create --help
--constraint list                    Placement constraints
--container-label list               Container labels

他们的后面跟随的参数都是list，具体使用如以下示例

NodeId

根据NodeId来指定部署节点，以下以搭建私人镜像仓库为示例。

docker service

docker service create \
--name registry \
--publish published=5000,target=5000 \
--constraint node.id==ytsyvuhfs60spr361y6irpynm \
registry:2

命令解读

# 在docker swarm中创建服务
docker service create     \
# --name 服务别名
# 指定node的id，ytsyvuhfs60spr361y6irpynm这个是我这里的node.id，你使用的时候需按照需求替换即可
--constraint node.id==ytsyvuhfs60spr361y6irpynm \
# 暴露公开的接口，可以让节点中的其他node可以访问
--publish published=5000,target=5000    \
# 镜像名：版本号
registry:2

这样我们就实现了指定节点的部署，是不是很简单呢。

docker stack

# docker-compose.yaml 
version: '3'
services:
    registry:
         registry:2
         ports:
           - target: 8080
           - published: 8080
           - protocol: tcp
           - mode: ingress
         deploy:
           mode: global
           placement:
              constraints:                      # 添加条件约束
                - node.id==ytsyvuhfs60spr361y6irpynm
           restart_policy:
             condition: on-failure
             max_attempts: 3

HOSTNAME

除此之外我们还可以指定hostname 去将应用部署到指定的hostname上，操作与以上差不多。那让我们来实现一下，首先我们需要查看对应节点的信息，在manager节点上使用docker node ls查看，如下

docker service

创建命令如下,以nginx为例

docker service create \
--name nginx \
--constraint node.hostname==ecs-dc8a-0003 \
-p 80:80 nginx

这样我们就将nginx服务部署至对应的节点了，并且扩容也仅会在此节点进行部署。示例如下

docker service scale nginx=3

docker stack

# docker-compose.yaml 
version: '3'
services:
    nginx:
         image: nginx
         ports:
           - target: 80
           - published: 80
           - protocol: tcp
           - mode: ingress
         deploy:
           mode: global
           placement:
              constraints:                      # 添加条件约束
                - node.hostname==ecs-dc8a-0003
           restart_policy:
             condition: on-failure
             max_attempts: 3

Node role

前面我们了解到了根据node.id,node.hostname进行指定节点的部署，但指定的却是唯一的。那么该如何实现同一类进行随机的部署呢？到这里我们继续深入了解，更具节点关系的进行约束。可部署节点中的关系有leader，work。

例如，我想实现不在主节点上部署，虽然我们可以使用使用限制中的条件，避开。例如这样

# 示例
docker service create \
--name registry \
--publish published=5000,target=5000 \
--constraint node.id!=ytsyvuhfs60spr361y6irpynm \ # 修改处
registry:2

只需要将==,改为!=,即可。

docker service

但终究还是感觉很不喜欢，其实我们也可以这样,根据节点关系进行约束部署，示例如下

docker service create \
--name nginx \
--publish published=80,target=80 \
--constraint node.role!=manager nginx

docker stack

# docker-compose.yaml 
version: '3'
services:
    nginx:
         image: nginx
         ports:
           - target: 80
           - published: 80
           - protocol: tcp
           - mode: ingress
         deploy:
           mode: global
           placement:
              constraints:                      # 添加条件约束
                - node.role!=manager
           restart_policy:
             condition: on-failure
             max_attempts: 3

Node lables

讲了这么多，照顾新手的就已经过去了，接下来我们晚点更常用的部署，更具lables，来部署。只要是同一个lable，就会可以被部署到，切后续还可以根据label进行更得心应手的管理，例如加入一个label，进行节点驱逐、然后在新加入lables，扩容

添加标签与检查标签

# 添加标签
docker node update --label-add role=web hostname
# 检查标签
docker node inspect hostname 
# 删除标签
docker node update --label-rm role hostname

输出如下

"ID": "ttdku9ch37pknxu7b9sxknimb",                                                                                   
        "Version": {                                                                                                         
            "Index": 852                                                                                                     
        },                                                                                                                   
        "CreatedAt": "2020-12-08T11:10:53.322771866Z",                                                                       
        "UpdatedAt": "2020-12-13T13:24:57.009816659Z",                                                                       
        "Spec": {                                                                                                            
            "Labels": {                                                                                                      
                "role": "web"              # 这样我们就实现了添加标签                                                                                  
            },                                                                                                               
            "Role": "manager",                                                                                               
            "Availability": "active"                                                                                         
        },                 
        # 略

docker Service

docker service create \
  --name nginx_2 \
  --constraint 'node.labels.role == web' \
  nginx

docker Stack

version: '3'
services:
    mycat:
         image: nginx
         ports:
           - target: 8080
             published: 8080
             protocol: tcp
             mode: ingress
         deploy:
           mode: global
           placement:
              constraints:                      # 添加条件约束
                - node.labels.role==web
           restart_policy:
             condition: on-failure
             max_attempts: 3

constraints 为数组，填写多个约束时，它们之间的关系是 AND。也就是说我们可以进行组合使用

node attribute	matches	example
node.id	Node ID	node.id==2ivku8v2gvtg4
node.hostname	Node hostname	node.hostname!=node-2
node.role	Node role (manager/worker)	node.role==manager
node.platform.os	Node operating system	node.platform.os==windows
node.platform.arch	Node architecture	node.platform.arch==x86_64
node.labels	User-defined node labels	node.labels.security==high
engine.labels	Docker Engine’s labels	engine.labels.operatingsystem==ubuntu-14.04