Elasticsearch集群管理之1——如何高效的添加、删除节点?

1、问题抛出

1.1 新增节点问题

我的群集具有黄色运行状况,因为它只有一个节点,因此副本保持未分配状态,我想要添加一个节点,该怎么弄?

1.2 删除节点问题

假设集群中有5个节点,我必须在运行时删除2个节点。 那么如何在不影响指数的情况下完成? 我有接近10 Gb/hour的连续数据流,这些数据正在连续写入并索引化。 重新平衡会对此有所影响吗?

本文就从上面两个问题说起,将相关知识点串起来,内容较长,阅读时间5分钟+。

2、知识点

2.1 Master节点的职责

主节点的主要作用之一是确定将哪些分片分配给哪些节点,以及何时在节点之间移动分片以重新平衡集群。

2.2 分片分配发生的时机

分片分配是将分片分配给节点的过程。 这可能发生在集群初始恢复,副本分配,重新平衡或添加或删除节点期间。

2.3 控制分配/重新平衡分片操作的常见设置

2.3.1 分配分片设置
  • cluster.routing.allocation.enable 目的:启用或禁用特定种类的分片的分配。

all - (默认值)允许为所有类型的分片分配分片。 primaries - 仅允许分配主分片的分片。 new_primaries -仅允许为新索引的主分片分配分片。 none - 任何索引都不允许任何类型的分配分片。

重新启动节点时,此设置不会影响本地主分片的恢复。 假设重新启动的节点的分配ID与群集状态中的某个活动分配ID匹配,若该节点具有未分配的主分片的副本,则会立即恢复该主分片,

2.3.2 平衡分片设置
  • cluster.routing.rebalance.enable 目的:为特定类型的分片启用或禁用重新平衡。 允许控制群集范围内允许的并发分片重新平衡数。默认为2.请注意,此设置仅控制由于群集中的不平衡而导致的并发分片重定位数。此设置不会因分配过滤或强制感知而限制分片重定位。
2.3.3 权重因子设置
  • cluster.routing.allocation.balance.shard 目的:定义节点(float)上分配的分片总数的权重因子。默认为0.45f。提高这一点会增加均衡群集中所有节点的分片数量的趋势。
  • cluster.routing.allocation.balance.index 目的:定义在特定节点(float)上分配的每个索引的分片数量的权重因子。默认为0.55f。提高这一点会增加在集群中所有节点上均衡每个索引的分片数的趋势。
  • cluster.routing.allocation.balance.threshold 目的:应执行的操作的最小优化值(非负浮点数)。默认为1.0f。提高此选项将导致群集在优化分片平衡方面不那么积极。

2.4 基于磁盘的分片分配

在确定是将新分片分配给该节点还是主动从该节点拷贝分片到其他节点之前,Elasticsearch会考虑节点上的可用磁盘空间。

2.5 磁盘的三个默认警戒水位线

  • cluster.routing.allocation.disk.watermark.low 低警戒水位线——默认为磁盘容量的85%。 Elasticsearch不会将分片分配给使用磁盘超过85%的节点。它也可以设置为绝对字节值(如500mb),以防止Elasticsearch在小于指定的可用空间量时分配分片。此设置不会影响新创建的索引的主分片,或者特别是之前任何从未分配过的分片。
  • cluster.routing.allocation.disk.watermark.high 高警戒水位线——默认为磁盘容量的90%。 Elasticsearch将尝试从磁盘使用率超过90%的节点重新分配分片。它也可以设置为绝对字节值,以便在节点小于指定的可用空间量时将其从节点重新分配。此设置会影响所有分片的分配,无论先前是否分配。
  • cluster.routing.allocation.disk.watermark.flood_stage 洪水警戒水位线——默认为磁盘容量的95%。 Elasticsearch对每个索引强制执行只读索引块(index.blocks.read_only_allow_delete)。这是防止节点耗尽磁盘空间的最后手段。一旦有足够的可用磁盘空间允许索引操作继续,就必须手动释放索引块。
  • cluster.info.update.interval Elasticsearch应该多久检查一次群集中每个节点的磁盘使用情况。 默认为30秒。

磁盘的分片分配综合样例配置如下:

1PUT _cluster/settings
2{
3  "transient": {
4    "cluster.routing.allocation.disk.watermark.low": "100gb",
5    "cluster.routing.allocation.disk.watermark.high": "50gb",
6    "cluster.routing.allocation.disk.watermark.flood_stage": "10gb",
7    "cluster.info.update.interval": "1m"
8  }
9}

2.6 索引/节点层面的分片分配

可用的动态集群设置如下,其中{attribute}指的是任意节点属性:

1cluster.routing.allocation.include.{attribute}——至少包含
2cluster.routing.allocation.require.{attribute}——全部包含
3cluster.routing.allocation.exclude.{attribute}——非、排除操作

3、添加节点

添加注意事项: ES必须版本号一致,举例:Elasticsearch V6.4.1。

和新配置过Elasticsearch节点一致,以下仅介绍最快的方法。 步骤1:拷贝原有节点的ES相关文件到新机器。 步骤2:修改核心配置文件jvm.options和elasticsearch.yml。

  • 注意1:jvm注意结合实际机器的内存进行合理化配置。取值:Min(32GB,机器内存一半)。
  • 注意2:根据分配的角色(Master/data/client)配置。
  • 注意3:集群名称必须和预先的机器一致。
  • 注意4:避免脑裂,合理化如下配置
1curl -XPUT 'localhost:9200/_cluster/settings' -d'
2{
3  "transient": {
4    "discovery.zen.minimum_master_nodes": 3
5  }
6}

  • 注意5:启动报错,根据出错做相关修改。

步骤3:访问9200端口验证成功与否。

4、删除节点

注意事项: 1、节点数目少的时候,一定要注意脑裂问题。 2、脑裂问题必要的时候需要更新:elasticsearch.yml 中的 minimum_master_nodes。

4.1 方案一——停启集群分片自动分配

步骤1:暂停数据写入程序
步骤2:关闭集群shard allocation
1#关闭集群分片自动分配
2
3PUT _cluster/settings
4{
5  "persistent": {
6    "cluster.routing.allocation.enable": "none"
7  }
8}
步骤3:手动执行POST /_flush/synced
1#打开集群分片自动分配
2POST /_flush/synced
步骤4:重启结点
步骤5:重新开启集群shard allocation
1#打开集群分片自动分配
2PUT _cluster/settings
3{
4  "persistent": {
5    "cluster.routing.allocation.enable": "all"
6  }
7}
步骤6:等待recovery完成,集群health status变成green
步骤7:重新开启数据写入程序

以上7步骤系参考Wood大叔总结。

4.2 方案二——排除停用节点

步骤1 排除停用节点

您可以通过告知群集将其从分配中排除来停用节点。

1PUT _cluster/settings
2{
3  "transient" : {
4    "cluster.routing.allocation.exclude._ip" : "10.0.0.1"
5  }
6}

这将导致Elasticsearch将该节点上的分片分配给其余节点,而不会将群集状态更改为黄色或红色(即使您的副本数设置为0)。 重新分配所有分片后,您可以关闭节点并执行您需要执行的任何操作。 完成后,Elasticsearch将再剩余节点上再次重新平衡分片。

步骤2 检查集群健康状态

1curl -XGET 'http://ES_SERVER:9200/_cluster/health?pretty'

如果没有节点relocating,则排除节点已经被安全剔除,可以考虑关闭节点。

步骤3 判定数据是否还存在

查看节点上是否还有文档存在。

1curl -XGET 'http://ES_SERVER:9200/_nodes/NODE_NAME/stats/indices?pretty'

上述三步,能保证节点稳妥删除。

5、小结

知识的融会贯通唯有多看、多思、多总结、多实践。

参考: http://t.cn/EzR3rhf http://t.cn/R9SsrK2 http://t.cn/EzR1Mor

原文发布于微信公众号 - 铭毅天下(gh_0475cf887cf7)

原文发表时间:2018-10-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Linyb极客之路

写代码怎能不会这些 Linux 命令?

当你将Dos系统中的文件复制到Unix/Linux后,这个文件每行都会以\r\n结尾,sed可以轻易将其转换为Unix格式的文件,使用\n结尾的文件

1332
来自专栏蓝天

MOOON-server新消息处理接口

    MOOON-server提供了一个通用的TCP框架,并对包的解析抽象出了IPacketHandler接口,这个接口提供了无限制的宽容度,支持任何协议,但...

892
来自专栏张首富-小白的成长历程

Nginx

直接去官网(www.nginx.org)查找源码包,直接复制链接地址下载,我们一般选择stable(稳定版),不选择最新版本

60922
来自专栏陈树义

1.Redis 的安装

一、Redis 介绍 Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。...

3009
来自专栏我是攻城师

最近工作中遇到ElasticSearch一些问题总结

57310
来自专栏Golang语言社区

游戏服务器之多线程发送(上)

本文讨论的游戏架构设计中,分为两进程(逻辑服务器进程和数据服务器进程),其中逻辑服务器进程包含多个逻辑网关,单个逻辑网关中含4类线程,发送线程是其中一种并在一个...

3303
来自专栏北京马哥教育

最全服务器模型详解——从单线程阻塞到多线程非阻塞

前言的前言 服务器模型涉及到线程模式和IO模式,搞清楚这些就能针对各种场景有的放矢。该系列分成三部分: 单线程/多线程阻塞I/O模型 单线程非阻塞I/O模型...

4365
来自专栏抠抠空间

Linux用户权限

1750

使用chmod修改文件权限

类Unix系统,包括在Linode平台上运行的Linux系统,具有非常强大的访问控制系统,允许系统管理员有效地配置多个用户的访问权限,而无需给予每个用户...

5403
来自专栏我有一个梦想

Python 项目实践三(Web应用程序)第二篇

接着上节的继续学习,使用Django创建网页的过程通常分三个阶段:定义URL、编写视图和编写模板。首先,你必须定义URL模式,每个URL都被映射到特定的视图——...

31510

扫码关注云+社区

领取腾讯云代金券