Elasticsearch索引增量统计及定时邮件实现

0、需求

随着ELKStack在应用系统中的数据规模的急剧增长,每天千万级别数据量(存储大小:10000000*10k/1024/1024=95.37GB,假设单条数据10kB,实际远大于10KB)的累积成为日常需求。 如何以相对简单的图形化效果展示数据的增量呢? 本文给出思路和实现。

1、问题分解

1.1 ES集群的数据量统计

ES自带的命令行统计举例:

 curl 'localhost:9200/_cat/indices?v'

1.2 如何实现增量?

简化思路: 1)每天的固定时间,如早晨00:00统计一次当天的数据量,形成日志文件存储如:20180228-00:00.log 2)20180228的增量为:20180229-00:00.log的数据值-20180228-00:00.log的数据量。(下一天-前一天)

1.3 如何实现统计

简化思路: 1)shell脚本获取每天统计的数据量 2)Excel公式简单计算增量

1.4 如何实现定时邮件统计

简化思路: 1)java + 邮件程序 + 读取脚本实现。 2)crontab实现定时任务处理。

2、具体实现

2.1 单日数据量统计

返回结果如下:

2.2 Java读取Shell脚本

2.3 增量数据统计

步骤1:单日数据统计。

步骤2:增量数据统计。

步骤1,步骤2数据可以Excel统计得出。

其中单日数据的拷贝shell脚本如下:

步骤3:Excel生成图表。

3、难点

4、小结

通过shell脚本+Excel数据统计,简单实现了数据增量可视化。 通过java+邮件处理+定时任务,实现了数据的定时统计以及定时邮件预警功能。 可以,在此基础上,做更多的扩展应用,比如:

  • 1)集群监控状态监控;
  • 2)集群堆内存使用监控;
  • 3)开发中其他相关物理机器内存、CPU、磁盘读写性能等指标的监控等。

原文发布于微信公众号 - 铭毅天下(gh_0475cf887cf7)

原文发表时间:2018-03-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Zchannel

Logstalgia – 可视化网站日志分析软件

1722
来自专栏向治洪

TCP/IP滑动窗口

T C P使用一种窗口(w i n d o w)机制来控制数据流。当一个连接建立时,连接的每一端分配一个缓冲区来保存输入的数据,并将缓冲区的尺寸发送给另一端。...

2355
来自专栏linux驱动个人学习

dm-verity

一、Device Mapper: dm-verity是内核子系统的Device Mapper中的一个子模块,所以在介绍dm-verity之前先要介绍一下Devi...

4416
来自专栏FreeBuf

我们要在任何可能的地方测试XSS漏洞

在这篇文章中,我准备跟大家讨论几种不同的场景,在这些场景中,不同的服务都会收集各种各样的数据,但它们又无法正确地去处理这些数据。在某些情况下,数据采用的是安全格...

4055
来自专栏程序员互动联盟

【专业技术】Android 启动性能优化 - kernel篇

题目有点大,其实kernel的启动性能调整和android基本没什么关系,我想应该适用所有使用linux的嵌入式设备。 时间测量 说到性能调整,第一件该干的的事...

4078
来自专栏用户2442861的专栏

第一章 Web MVC简介 —— 跟开涛学SpringMVC

1、  Web浏览器(如IE)发起请求,如访问http://sishuok.com

1121
来自专栏专注数据中心高性能网络技术研发

chrome浏览器超方便插件

传统的鼠标加键盘的操作方式对于时常需要在鼠标和键盘之间进行切换的人来说非常麻烦,尤其是在看文献遇到很多的英文单词需要不停地查询时,如果在文献和电脑查词之间频繁的...

3088
来自专栏菜鸟计划

webpack学习(七)打包压缩图片

使用插件webpack-spritesmith生成雪碧图 1、安装webpack-spritesmith; npm install --save-dev web...

1.4K7
来自专栏技术控

什么是IPFS / IPNS?

  IPFS,即星际文件系统,是一个内容可寻址的网络。这意味着,您不是要求网络查询特定网站或域名(例如www.ipfsfirst.com),而是要求提供特定内容...

5521
来自专栏北京马哥教育

Linux终端下 dstat 监控工具

关于dstat dstat 是一个可以取代vmstat,iostat,netstat和ifstat这些命令的多功能产品。dstat克服了这些命令的局限并增加了...

3016

扫码关注云+社区

领取腾讯云代金券