etcd单台部署，启用https以及ca自签名

Devops海洋的渔夫

发布于 2019-06-02 13:53:12

1.3K0

发布于 2019-06-02 13:53:12

文章被收录于专栏：Devops专栏Devops专栏

原创内容，转载请注明出处

博主地址：https://aronligithub.github.io/

前言

在经过上一篇章关于etcd相关技术概述的铺垫,这个篇章就是介绍以及演示单台etcd部署以及使用CFSSL来生成CA证书

环境要求

1、一台安装centos7的服务器 2、具备访问互联网 3、关闭服务器的防火墙以及selinux

CFSSL工具的安装

下载CFSSL的可执行二进制文件

wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 
wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 
wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
chmod +x cfssl*

下载执行过程截图如下

安装wget工具

下载文件的过程

给文件添加执行权限

将这三个二进制可执行文件，修改名称复制到/usr/local/bin/下

cp -v cfssl_linux-amd64 /usr/local/bin/cfssl
cp -v cfssljson_linux-amd64 /usr/local/bin/cfssljson
cp -v cfssl-certinfo_linux-amd64 /usr/local/bin/cfssl-certinfo
ls /usr/local/bin/cfssl*

执行过程截图如下

复制可执行文件至指定目录

使用CFSSL创建CA证书以及etcd的TLS认证证书

创建 CA (Certificate Authority)

创建 CA 配置文件（ca-config.json）

[root@server81 cfssl]# vim ca-config.json

{
  "signing": {
    "default": {
      "expiry": "876000h"
    },
    "profiles": {
      "etcd": {
        "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ],
        "expiry": "876000h"
      }
    }
  }
}

创建CA配置文件

"字段说明"
"ca-config.json"：可以定义多个 profiles，分别指定不同的过期时间、使用场景等参数；后续在签名证书时使用某个 profile；
"signing"：表示该证书可用于签名其它证书；生成的 ca.pem 证书中 CA=TRUE；
"server auth"：表示client可以用该 CA 对server提供的证书进行验证；
"client auth"：表示server可以用该CA对client提供的证书进行验证；

创建 CA 证书签名请求（ca-csr.json）

[root@server81 cfssl]# vim ca-csr.json

{
  "CN": "etcd",
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "shenzhen",
      "L": "shenzhen",
      "O": "etcd",
      "OU": "System"
    }
  ]
}

创建CA签名请求

"CN"：Common Name，etcd 从证书中提取该字段作为请求的用户名 (User Name)；浏览器使用该字段验证网站是否合法；
"O"：Organization，etcd 从证书中提取该字段作为请求用户所属的组 (Group)；
这两个参数在后面的kubernetes启用RBAC模式中很重要，因为需要设置kubelet、admin等角色权限，那么在配置证书的时候就必须配置对了，具体后面在部署kubernetes的时候会进行讲解。
"在etcd这两个参数没太大的重要意义，跟着配置就好。"

生成 CA 证书和私钥

cfssl gencert -initca ca-csr.json | cfssljson -bare ca

ca根证书的生成过程

创建etcd的TLS认证证书

创建 etcd证书签名请求（etcd-csr.json）

[root@server81 cfssl]# vim etcd-csr.json
{
  "CN": "etcd",
  "hosts": [
    "127.0.0.1",
    "172.16.5.81"
  ],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "shenzhen",
      "L": "shenzhen",
      "O": "etcd",
      "OU": "System"
    }
  ]
}

创建etcd证书签名请求

[^_^]:
       如果 hosts 字段不为空则需要指定授权使用该证书的 IP 或域名列表，由于该证书后续被 etcd 集群使用，所以填写IP即可。
[>_<]:
       因为本次部署etcd是单台，那么则需要填写单台的IP地址即可。

生成 etcd证书和私钥

[root@server81 cfssl]# cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=etcd etcd-csr.json | cfssljson -bare etcd
[root@server81 cfssl]# ls etcd*
etcd.csr  etcd-csr.json  etcd-key.pem  etcd.pem
[root@server81 cfssl]#

生成etcd证书以及私钥

将TLS 认证文件拷贝至证书目录下

mkdir -p /etc/etcd/etcdSSL
cp * /etc/etcd/etcdSSL

[^_^]:
     存在CA证书的路径"/etc/etcd/etcdSSL"是自定义的，看个人习惯创建即可。

安装etcd服务

yum install -y etcd

yum安装etcd

配置 etcd 的 service文件（/usr/lib/systemd/system）

[root@server81 cfssl]# vim /usr/lib/systemd/system/etcd.service 

[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target

[Service]
Type=notify
WorkingDirectory=/var/lib/etcd/
EnvironmentFile=-/etc/etcd/etcd.conf
# set GOMAXPROCS to number of processors
ExecStart=/usr/bin/etcd \
  --name ${ETCD_NAME} \
  --cert-file=/etc/etcd/etcdSSL/etcd.pem \
  --key-file=/etc/etcd/etcdSSL/etcd-key.pem \
  --peer-cert-file=/etc/etcd/etcdSSL/etcd.pem \
  --peer-key-file=/etc/etcd/etcdSSL/etcd-key.pem \
  --trusted-ca-file=/etc/etcd/etcdSSL/ca.pem \
  --peer-trusted-ca-file=/etc/etcd/etcdSSL/ca.pem \
  --initial-advertise-peer-urls ${ETCD_INITIAL_ADVERTISE_PEER_URLS} \
  --listen-peer-urls ${ETCD_LISTEN_PEER_URLS} \
  --listen-client-urls ${ETCD_LISTEN_CLIENT_URLS},http://127.0.0.1:2379 \
  --advertise-client-urls ${ETCD_ADVERTISE_CLIENT_URLS} \
  --initial-cluster-token ${ETCD_INITIAL_CLUSTER_TOKEN} \
  --initial-cluster infra1=https://172.16.5.81:2380 \
  --initial-cluster-state new \
  --data-dir=${ETCD_DATA_DIR}

Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

配置etcd的service文件

参数说明：
1、指定 etcd 的工作目录为 /var/lib/etcd，数据目录为 /var/lib/etcd，需在启动服务前创建这两个目录；
在配置中的命令是这条：
WorkingDirectory=/var/lib/etcd/

2、为了保证通信安全，需要指定 etcd 的公私钥(cert-file和key-file)、Peers 通信的公私钥和 CA 证书(peer-cert-file、peer-key-file、peer-trusted-ca-file)、客户端的CA证书（trusted-ca-file）；
在配置中添加etcd证书的命令是以下：
  --cert-file=/etc/etcd/etcdSSL/etcd.pem \
  --key-file=/etc/etcd/etcdSSL/etcd-key.pem \
  --peer-cert-file=/etc/etcd/etcdSSL/etcd.pem \
  --peer-key-file=/etc/etcd/etcdSSL/etcd-key.pem \
  --trusted-ca-file=/etc/etcd/etcdSSL/ca.pem \
  --peer-trusted-ca-file=/etc/etcd/etcdSSL/ca.pem \

3、配置etcd的endpoint：
  --initial-cluster infra1=https://172.16.5.81:2380 \

4、配置etcd的监听服务集群：
  --initial-advertise-peer-urls ${ETCD_INITIAL_ADVERTISE_PEER_URLS} \
  --listen-peer-urls ${ETCD_LISTEN_PEER_URLS} \
  --listen-client-urls ${ETCD_LISTEN_CLIENT_URLS},http://127.0.0.1:2379 \
  --advertise-client-urls ${ETCD_ADVERTISE_CLIENT_URLS} \

5、配置etcd创建的集群为新集群，则定义集群状态为new
   --initial-cluster-state 值为 new

6、定义etcd节点的名称，该名称等下从配置文件中获取：
  --name ${ETCD_NAME} \ 
  其中配置文件：EnvironmentFile=-/etc/etcd/etcd.conf

etcd的配置文件（/etc/etcd/etcd.conf）

[root@server81 cfssl]# vim /etc/etcd/etcd.conf

#[member]
ETCD_NAME=infra1
ETCD_DATA_DIR="/var/lib/etcd"
ETCD_LISTEN_PEER_URLS="https://172.16.5.81:2380"
ETCD_LISTEN_CLIENT_URLS="https://172.16.5.81:2379"

#[cluster]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://172.16.5.81:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_ADVERTISE_CLIENT_URLS="https://172.16.5.81:2379"

etcd节点的参数配置文件

这是172.16.5.81节点的配置，如果配置其他etcd节点只要将上面的IP地址改成相应节点的IP地址即可。

启动 etcd 服务

systemctl daemon-reload
systemctl start etcd
systemctl status etcd

启动etcd服务

验证服务

etcdctl \
  --ca-file=/etc/etcd/etcdSSL/ca.pem \
  --cert-file=/etc/etcd/etcdSSL/etcd.pem \
  --key-file=/etc/etcd/etcdSSL/etcd-key.pem \
  cluster-health