Elasticsearch多主、多数据、多协调、多冷节点说明及配置（一）

最近因为客户项目需要，所以专门调研了Elasticsearch的这些不常用的重要功能，并整理成文档，现在分享出来，希望对有这方面需求的同行有些帮助

由于内容较多，一共分为三部分分享

1. Elasticsearch多主、多数据、多协调、多冷节点节点说明及配置
2. Elasticsearch灾备同步方案设计
3. Elasticsearch灾备同步方案设计验证

Elasticsearch多主、多数据、多协调、多冷节点说明及配置（一）

1. 多主

• ElasticSearch默认是任何节点都可以成为主节点，也可以手动设置节点成为主节点候选节点，负责管理集群范围内的所有变更,例如增加、删除索引或者增加、删除节点等。
• 主节点数据需要为奇数，这样主节点出现问题时能选举新的主节点继续提供服务，保证主节点的高可用性
• 涉及到的elasticsearch.yml配置文件的主要配置项

cluster.name: "BoCloud_cluster"
node.name: master_1
node.master: true
http.port: 9200
transport.tcp.port: 9300
discovery.seed_hosts: ["dc_es1","dc_es2","dc_es3"]
cluster.initial_master_nodes: ["dc_es1","dc_es2","dc_es3"]

• 如果node.master、node.data 同时设置为true，则该节点既能参与选举主节点，也能为数据节点，如果node.master设置为true、node.data为false，则该节点只能参与选举主节点

2. 多数据

• ElasticSearch数据节点主要是存储索引数据的节点，主要对文档进行增删改查操作，聚合操作。数据节点对cpu，内存，io要求较高， 在优化的时候需要监控数据节点的状态，当资源不够的时候，需要在集群中添加新的数据节点。
• 涉及到的elasticsearch.yml配置文件的主要配置项

cluster.name: "BoCloud_cluster"
node.name: data_1
node.data: true
http.port: 9200
transport.tcp.port: 9300
discovery.seed_hosts: ["dc_es1","dc_es2","dc_es3"]
cluster.initial_master_nodes: ["dc_es1","dc_es2","dc_es3"]

3. 多协调

• ElasticSearch默认每个node都是一个协调节点，但也允许手动设置协调节点，协调节作用就把客户端的请求转分配给最合适的节点来处理,简单来讲就是负载均衡的作用。集群中每个节点的负载情况和健康状况都不一样,有些节点可能已经超负荷了,有一部分甚至已经不健康了,这些不健康的节点就不该再接收请求,否则会导致失败的响应,协调节点知道集群中各个节点的状态。
• 协调节点主要提到负载均衡的作用
• 涉及到的elasticsearch.yml配置文件的主要配置项

cluster.name: "BoCloud_cluster"
node.name: condition_1
node.data: false
node.master: false
node.ingest: true
http.port: 9200
transport.tcp.port: 9300
discovery.seed_hosts: ["dc_es1","dc_es2","dc_es3"]
cluster.initial_master_nodes: ["dc_es1","dc_es2","dc_es3"]

• 协调节点没有节点数量限制，但建议为奇数，也可以根据实际情况进行调整

4. 多冷节点

• 冷节点用于不经常访问的read-only索引。作用跟数据库的只读库类似。 当索引不再被频繁查询时，可通过设置冷热数据将不经常使用的数据转移到冷节点，一旦设置这个属性，ElasticSearch会将索引合并到冷节点。同时，同时也可以在配置文件中设置 index.codec: best_compression 保证冷节点的数据压缩，减少空间
• 冷节点建议跟跟热节点数据节点数对等
• 涉及到的elasticsearch.yml配置文件的主要配置项

cluster.name: "BoCloud_cluster"
node.name: warm_1
node.data: true
http.port: 9200
node.attr.box_type:warm
transport.tcp.port: 9300
discovery.seed_hosts: ["dc_es1","dc_es2","dc_es3"]
cluster.initial_master_nodes: ["dc_es1","dc_es2","dc_es3"]

• 数据节点类型可以通过node.attr.box_type设置warm、hot值来标志冷热数据节点，同时在创建index的时候需要指定索引数据保存到数据节点的类型，通过index索引配置文件的index.routing.allocation.require.box_type设置数据存储的节点

{ 
 "settings": { 
   "index.routing.allocation.require.box_type": "hot",
   "index.number_of_replicas": "0"
 } 
}

• 在索引数据不再经常索引的时，可以属性值为warm使数据转存到冷节点