Logstash 索引数据按周归档
背景
日志分析平台对网络设备和服务器日志进行收集时发现索引数据按天归档单个索引的大小能控制在1G 以内，ELk集群产生的索引数量过多，于是决定将索引数据归档规则改为按周归档。
索引按天归档
index => "networklogs-%{+YYYY.MM.dd}"索引按周归档
index => "ism-prod-networklogs-%{+YYYY.ww}"数据格式
Today is 2020年12月23日，2020年的第52个周！
索引管理
使用 shell 进行索引周期管理（删除两周前的索引）
#!/usr/bin/bash
t1=`date -d "-2 week" +"%V"`
date=`date +%Y`
curl -u elastic:R4a873O589Xt4HKcFPY2 -XGET http://192.168.99.185:9200/_cat/indices | awk -F" " '{print $3}' | awk -F"-" '{print $NF}' | egrep -v "[0-9]*\.[0-9]*\.[0-9]*" | sort | uniq | egrep "[0-9]*\.[0-9]" | awk -F"." '{print $2}' | while read LINE
do
if [ $LINE -le $t1 ]; then
echo "$LINE时间早于$t1，进行索引删除"
curl -u elastic:R4a873O589Xt4HKcFPY2 -XDELETE http://192.168.99.185:9200/*-$date.$LINE
fi
done删除前
运行bash 脚本
删除后
本文参与 腾讯云自媒体分享计划，分享自微信公众号。
原始发表：2020-12-23，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
相关产品与服务
Elasticsearch Service
腾讯云 Elasticsearch Service（ES）是云端全托管海量数据检索分析服务，拥有高性能自研内核，集成X-Pack。ES 支持通过自治索引、存算分离、集群巡检等特性轻松管理集群，也支持免运维、自动弹性、按需使用的 Serverless 模式。使用 ES 您可以高效构建信息检索、日志分析、运维监控等服务，它独特的向量检索还可助您构建基于语义、图像的AI深度应用。