etcd 是 CoreOS 团队发起的开源项目,是一个管理配置信息和服务发现(service discovery)的项目,它的目标是构建一个高可用的分布式键值(key-value)数据库,基于 Go 语言实现。
特点:
延伸:ZooKeeper 是一套分布式系统中进行同步和一致性管理的工具,doozer 则是一个一致性分布式数据库。Raft 是一套通过选举主节点来实现分布式系统一致性的算法。
etcd 对外通过 HTTP API 对外提供服务,这种方式方便测试(通过 curl 或者其他工具就能和 etcd 交互),也很容易集成到各种语言中(每个语言封装 HTTP API 实现自己的 client 就行)。
一般情况下,用户使用 etcd 可以在多个节点上启动多个实例,并添加它们为一个集群。同一个集群中的 etcd 实例将会保持彼此信息的一致性。
提示:更多使用场景见《002.etcd使用场景》。
1 [root@etcdhost ~]# wget https://github.com/coreos/etcd/releases/download/v3.3.9/etcd-v3.3.9-linux-amd64.tar.gz
2 [root@etcdhost ~]# tar xzvf etcd-v3.3.9-linux-amd64.tar.gz
3 [root@etcdhost ~]# cd etcd-v3.3.9-linux-amd64/
4 [root@etcdhost etcd-v3.3.9-linux-amd64]# ls
5 [root@etcdhost etcd-v3.3.9-linux-amd64]# cp etcd* /usr/local/bin/
提示: etcd为服务主文件,etcdctl为命令客户端,etcd-migrate负责进行迁移。
提示:二进制文件及源码https://github.com/coreos/etcd。
也可使用yum安装:
1 [root@etcdhost ~]# yum -y install etcd
使用yum安装其默认配置文件为:/etc/etcd/etcd.conf
1 [root@etcdhost ~]# etcd
1 [root@etcdhost ~]# etcdctl set myname "xianghongying" #设置键值
2 xianghongying
3 [root@etcdhost ~]# etcdctl get myname #获取键值
4 xianghongying
5 [root@etcdhost ~]# curl -L http://localhost:2379/v2/keys/myname #通过HTTP API获取
数据库操作围绕对键值和目录的 CRUD (符合 REST 风格的一套操作:Create)完整生命周期的管理。
etcd 在键的组织上采用了层次化的空间结构(类似于文件系统中目录的概念),用户指定的键可以为单独的名字,如 myname,此时实际上放在根目录 / 下面,也可以为指定目录结构,如 cluster1/node2/testkey,则将创建相应的目录结构。
提示:CRUD 即 Create, Read, Update, Delete,是符合 REST 风格的一套 API 操作。
1 [root@etcdhost ~]# etcdctl set /etcdb/myself/name "Xiang HongYing"
2 选项:
3 --ttl '0' #该键值的超时时间(单位为秒),不配置(默认为 0)则永不超时
4 --swap-with-value value #若该键现在的值是 value,则进行设置操作
5 --swap-with-index '0' #若该键现在的索引值是指定索引,则进行设置操作
1 [root@etcdhost ~]# etcdctl get /etcdb/myself/name
2 选项:
3 --sort #对结果进行排序
4 --consistent #将请求发给主节点,保证获取内容的一致性
1 [root@etcdhost ~]# etcdctl get -o extended /etcdb/myself/name
获取ttl,过期后会自动删除
1 [root@etcdhost ~]# etcdctl set /etcdb/myself/name --ttl 5
1 [root@etcdhost ~]# etcdctl update /etcdb/myself/name "Xiao XianNv"
2 [root@etcdhost ~]# etcdctl get /etcdb/myself/name
3 选项:
4 --ttl '0' #超时时间(单位为秒),不配置(默认为 0)则永不超时
如果/etcdb/myself/name键值为"Xiao XianNv",则更新为"Xiang HongYing"
1 [root@etcdhost ~]# etcdctl set --swap-with-value "Xiao XianNv" /etcdb/myself/name "Xiang HongYing"
1 [root@etcdhost ~]# etcdctl update --ttl 3 /etcdb/myself/name "Xiao XianNv"
1 [root@etcdhost ~]# etcdctl rm /etcdb/myself/name
2 选项:
3 --dir #如果键是个空目录或者键值对则删除
4 --recursive #删除目录和所有子键
5 --with-value #检查现有的值是否匹配
6 --with-index '0' #检查现有的 index 是否匹配
1 [root@etcdhost ~]# etcdctl rm --with-value "Xiao XianNv" /etcdb/myself/name
1 [root@etcdhost ~]# etcdctl mk /etcdb/myself/age "25"
若设置的键不存在,则创建一个新的键值,当键存在的时候,执行该命令会报错。
选项:
1 --ttl '0' #超时时间(单位为秒),不配置(默认为 0)则永不超时
1 [root@etcdhost ~]# etcdctl mk --in-order /etcdb/myself/member zhangsan
2 [root@etcdhost ~]# etcdctl mk --in-order /etcdb/myself/member lisi
1 [root@etcdhost ~]# etcdctl setdir testetcd2
2 选项:
3 --ttl '0' #超时时间(单位为秒),不配置(默认为 0)则永不超时
创建一个键目录,无论存在与否。
1 [root@etcdhost ~]# etcdctl updatedir testetcd2
2 --ttl '0' #超时时间(单位为秒),不配置(默认为 0)则永不超时
若设置的键不存在,则创建一个新的键值,当键存在的时候,执行该命令会报错。
1 [root@etcdhost ~]# etcdctl mkdir testetcd
2 选项:
3 --ttl '0' #超时时间(单位为秒),不配置(默认为 0)则永不超时
1 [root@etcdhost ~]# etcdctl rmdir /testetcd2 #删除非空目录
2 [root@etcdhost ~]# etcdctl rmdir /etcdb/myself
3 Error: 108: Directory not empty (/etcdb/myself) [16]
4 [root@etcdhost ~]# etcdctl get /etcdb/myself/age #删除键值
提示:若目录不空,会报错。
1 [root@etcdhost ~]# etcdctl ls
2 [root@etcdhost ~]# etcdctl ls etcdb
1 选项:
2 --sort #将输出结果排序
3 --recursive #如果目录下有子目录,则递归输出其中的内容
4 -p #对于输出为目录,在最后添加 `/` 进行区分
提示:列出目录(默认为根目录)下的键或者子目录,默认不显示子目录中内容。
1 [root@etcdhost ~]# etcdctl backup --data-dir /var/lib/etcd/default.etcd --backup-dir /tmp
2 选项:
3 --data-dir #etcd 的数据目录
4 --backup-dir #备份到指定路径
提示:etcd默认数据文件保存路径为:/var/lib/etcd/default.etcd。
监测一个键值的变化,一旦键值发生更新,就会输出最新的值并退出。
1 [root@etcdhost ~]# etcdctl watch /etcdb/myself/name
2 [root@etcdhost ~]# etcdctl set /etcdb/myself/name "Xiang HongYing"
3 [root@etcdhost ~]# etcdctl update /etcdb/myself/name "Xiao XianNv"
选项:
1 --forever #一直监测,直到用户按 `CTRL+C` 退出
2 --after-index '0' #在指定 index 之前一直监测
3 --recursive #返回所有的键值和子键值
1 [root@etcdhost ~]# etcdctl exec-watch /etcdb/myself/name -- sh -c 'etcdctl ls'
2 [root@etcdhost ~]# etcdctl set /etcdb/myself/name "Xiang HongYing"
3 [root@etcdhost ~]# etcdctl update /etcdb/myself/name "Xiao XianNv"
监测一个键值的变化,一旦键值发生更新,就执行给定命令。
1 选项:
2 --after-index '0' #在指定 index 之前一直监测
3 --recursive #返回所有的键值和子键值
一直监听,除非 `CTL + C` 导致退出监听
1 [root@etcdhost ~]# etcdctl watch --forever /etcdb/myself/name
1 [root@etcdhost ~]# etcdctl member list
1 [root@etcdhost ~]# etcdctl member add node2 http://172.24.8.101:2380
1 [root@etcdhost ~]# etcdctl member remove 8e9e05c52164694d
1 [root@etcdhost ~]# etcdctl member update node2 http://172.24.8.102:2380
1 [root@etcdhost ~]# etcdctl cluster-health #集群健康检查
2 [root@etcdhost ~]# etcdctl --version #查看etcd版本
3 [root@etcdhost ~]# etcdctl --help #获取帮助
4 [root@etcdhost ~]# etcdctl cluster-health #查看集群状态
默认配置文件为/etc/etcd/etcd.conf。
配置参数 | 参数说明 |
---|---|
--name | etcd集群中的节点名,默认为 default,可自定义, 在集群中该名称必须唯一,建议使用 hostname。 |
--data-dir | 服务运行数据保存的路径,保存日志和快照的目录,默认为 ${name}.etcd。 |
--snapshot-count | 指定有多少事务(transaction)被提交时,触发截取快照保存到磁盘。 |
--heartbeat-interval | leader 多久发送一次心跳到 followers。默认值是 100ms。 |
--eletion-timeout | 重新投票的超时时间,如果 follow 在该时间间隔没有收到心跳包,会触发重新投票,默认为 1000 ms。 |
--addr | 公布的ip地址和端口。 默认为127.0.0.1:2379 |
--bind-addr | 用于客户端连接的监听地址,默认为-addr配置 |
--peers | 集群成员逗号分隔的列表,例如 127.0.0.1:2380,127.0.0.1:2381 |
--peer-addr | 集群服务通讯的公布的IP地址,默认为 127.0.0.1:2380. |
--peer-bind-addr | 集群服务通讯的监听地址,默认为-peer-addr配置 |
--wal-dir | 指定节点的was文件的存储目录,若指定了该参数,wal文件会和其他数据文件分开存储 |
--listen-client-urls | 监听的用于客户端通信的url,对外提供服务的地址,客户端会连接到这里和 etcd 交互,同样可以监听多个。 |
--listen-peer-urls | 监听的用于节点之间通信的url,可监听多个,集群内部将通过这些url进行数据交互(如选举,数据同步等),需要所有节点都能够访问,集群中不能为localhost。 |
--initial-advertise-peer-urls | 建议用于节点之间通信的url,节点间将以该值进行通信。 |
--advertise-client-urls | 建议使用的客户端通信url,该值用于etcd代理或etcd成员与etcd节点通信,即服务的url。 |
--initial-cluster-token | 集群的ID,创建集群的 token,这个值每个集群保持唯一。这样的话,如果你要重新创建集群,即使配置和之前一样,也会再次生成新的集群和节点 uuid;否则会导致多个集群之间的冲突,造成未知的错误. |
--initial-cluster | 集群中所有节点的信息,即集群中所有的initial-advertise-peer-urls 的合集。 |
--initial-cluster-state | -initial-cluster-state=new 表示从无到有搭建etcd集群。 新建集群时,值为 new;若已经存在的集群,值为 existing |
--discovery-srv | 用于DNS动态服务发现,指定DNS SRV域名。 |
--discovery | 用于etcd动态发现,指定etcd发现服务的URL [https://discovery.etcd.io/],用环境变量表示。 |
提示:
所有以 --init 开头的配置都是在 bootstrap 集群的时候才会用到,后续节点的重启会被忽略;
所有的参数也可以通过环境变量进行设置,如--my-flag 对应环境变量的 ETCD_MY_FLAG;
命令行指定的参数会覆盖环境变量对应的值。
1 export ETCDCTL_API=3 #声明API版本为v3
v3相关不一致命令如下:
1 etcdctl put /etcdb/myself/name "Xiao XianNv"
2 etcdctl put /etcdb/myself/name Xiang HongYing"
1 etcdctl del /etcdb/myself/name
2 etcdctl del /etcdb/myself/name --prefix #删除所有name前缀的节点
1 etcdctl get /etcdb/myself/name
2 etcdctl get /etcdb/myself/name --prefix #查询所有name前缀的键值
1 etcdctl watch /etcdb/myself/name
2 etcdctl watch /etcdb/myself --prefix #监听子节点
1 etcdctl lease grant 40 #从申请开始计算时间
1 etcdctl put --lease=4e5e5b853f528859 /etcdb/myself/name Xiang HongYing" #节点的生命伴随着租约到期将会被DELETE
1 etcdctl lease revoke 4e5e5b853f5286cc #撤销租约和租约到期一样,节点都会被删除
1 etcdctl lease keep-alive 4e5e5b853f52892b #每当到期将会续约