腾讯云 Elasticsearch 磁盘存储超90%处理建议
原创
es 集群的磁盘存储过小的话，常常会遇到磁盘存储超90%，甚至100%。此时就需要清理一部分过期的数据释放磁盘空间，或者扩容磁盘容量。
image.png
清理索引
通过kibana
可以通过登录腾讯云es控制台 ，点击对应es集群的 Kibana
image.png
进入Kibana 登录页面，输入用户名和密码
image.png
再点击 Dev Tools （一个扳手的图标）
image.png
通过命令查看es集群中的索引
#查看es集群中的全部索引
GET _cat/indices?v
#其中参数 v 表示返回详细的输出
#查看es集群中按照索引排序后的全部索引
GET _cat/indices?v&s=index:asc
#其中参数 s 表示输出的列进行排序，默认按照升序排序。其中desc 为倒叙
image.png
清理索引命令
#清理单个索引
DELETE nginx-log_2020.01.22
#清理通配符匹配到的索引,清理前需要开启通配符
DELETE nginx-log_2020.01.*
#开启使用通配符
PUT _cluster/settings
{
"transient": {
"action.destructive_requires_name": "false"
}
}
image.png
查看磁盘存储
清理后查看集群各个节点的磁盘存储情况，建议最少清理到80%以下。
#查看集群各个节点的名字、ip、磁盘使用率
GET _cat/nodes?v&h=name,ip,disk.used_percent
image.png
通过CVM
通过登录腾讯云es控制台 ，点击对应集群，在访问控制 中可以看到内网访问地址。
image.png
登录一台能访问到es集群，先测试联通性
curl es内网ip:9200
image.png
测试成功后，查看es集群中的索引
通过命令查看es集群中的索引
#查看es集群中的全部索引
curl -u '用户名:密码' -H "Content-type: application/json" -XGET 'es内网ip:9200/_cat/indices?v '
#查看es集群中按照索引排序后的全部索引
curl -u '用户名:密码' -H "Content-type: application/json" -XGET 'es内网ip:9200/_cat/indices?v&s=index:asc '
image.png
清理索引命令
#清理单个索引
curl -u '用户名:密码' -H "Content-type: application/json" -XDELETE 'es内网ip:9200/nginx-log_2020.01.22 '
#清理通配符匹配到的索引,清理前需要开启通配符
curl -u '用户名:密码' -H "Content-type: application/json" -XDELETE 'es内网ip:9200/nginx-log_2020.01.* '
#开启使用通配符
curl -u '用户名:密码' -H "Content-type: application/json" -XPUT 'es内网ip:9200/_cluster/settings ' -d '{
"transient": {
"action.destructive_requires_name": "false"
}
}'
image.png
查看磁盘存储
#查看集群各个节点的名字、ip、磁盘使用率
GET _cat/nodes?v&h=name,ip,disk.used_percent
image.png
注，如果清理磁盘后发现有个别节点磁盘存储率是100%，请提交工单联系腾讯云。
image.png
扩容磁盘
登录腾讯云es控制台 ，点击进入要扩容磁盘的集群
image.png
点击进入调整配置
image.png
调整磁盘容量，调整后点击下一步
image.png
选择默认的直调模式，确认后进入商品清理页面
image.png
点击提交订单付费后，几分钟内就能完成磁盘扩容。
image.png
其他
- 5、6版本的es集群触发只读后，需要手动取消只读；
- 关闭索引只读状态：
PUT _all/_settings
{
"index.blocks.read_only_allow_delete": null
}- 关闭集群只读状态：
PUT _cluster/settings
{
"persistent": {
"cluster.blocks.read_only_allow_delete": null
},
"transient":{
"cluster.blocks.read_only_allow_delete": null
}
}2. 此时如果磁盘使用没超过95%，并且不能立刻清理索引或者扩容磁盘。可以临时调整水位线，确保集群或者索引不进入只读状态。
PUT _cluster/settings
{
"transient": {
"cluster.routing.allocation.disk.watermark.flood_stage": "98%",
"cluster.routing.allocation.disk.watermark.high": "97%",
"cluster.routing.allocation.disk.watermark.low": "95%"
}
}3. 此时如果磁盘使用超过95%，并且不能立刻清理索引或者扩容磁盘。可以调整索引副本个数来降低磁盘使用率，确保集群或者索引不进入只读状态。此时找一些不重要的索引调整副本数为0，磁盘空间正常后再决定是否要恢复副本数。
PUT index*/_settings
{
"index.blocks.read_only_allow_delete": null,
"number_of_replicas": "0"
}原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
评论
登录后参与评论
推荐阅读
目录
相关产品与服务
Elasticsearch Service
腾讯云 Elasticsearch Service（ES）是云端全托管海量数据检索分析服务，拥有高性能自研内核，集成X-Pack。ES 支持通过自治索引、存算分离、集群巡检等特性轻松管理集群，也支持免运维、自动弹性、按需使用的 Serverless 模式。使用 ES 您可以高效构建信息检索、日志分析、运维监控等服务，它独特的向量检索还可助您构建基于语义、图像的AI深度应用。
腾讯云开发者
