kibana 无法开启集群monitor监控功能

前言|

ES 6.6以后，ES默认开放了xpack监控功能。用户可以使用该服务监控集群各节点状态信息、索引信息。此功能免费开放。今天介绍一种导致ES集群监控服务异常的情况、并给出分析、解决办法。

一、实际问题、故障现象

客户通过kibana去查看集群监控信息的时候，出现如下错误：怀疑metricbeat服务中断。截图如下：

kibana监控报错

kibana 监控界面报错

二、解决过程

遇见此类问题，首先查看集群运行日志，我们可以定位到如下信息：

故障定位日志截图

日志大概意思是：当前集群的可以打开的最大分片数为3000，而目前有2个分片正在写入，并且失败。同时我们查看集群其他使用情况均正常。确实集群当前分片数为3002个。结合客户集群ES版本属于ES7.5.1.我们可以知道。ES7默认每个节点的分片数最大支持1000.可能故障原因就出在这里。于是我们可以尝试把该默认值调大一下。通过如下API

PUT /_cluster/settings

{

"transient": {

"cluster":{

"max_shards_per_node": 5000

}

}

}

过了10分钟不到。重新refreshkibana界面，监控恢复正常。如下：

kibana监控恢复正常

三、总结

kibana只是一个展示UI界面。kibana出现问题多半是ES集群出现问题。一般都得从这方面排查下手。需要指出得是：

ES 7.x取消了type的概念，写入时候只能指定为_doc。ES8将废弃type概念。

ES7每个节点得分片数默认是1000.