专栏首页Zabbix中国官方如何应对高频监控?利用预处理和仅存储趋势数据

如何应对高频监控?利用预处理和仅存储趋势数据

王 军|Zabbix高级认证工程师ZCP

感谢译者王军,欢迎更多资深用户翻译官方博文并分享!

当我们在监控环境中,构建高频率监控时,有许多设计选择需要考虑。要考虑如何减少性能影响?存储空间的数据保留策略是什么?有哪些现成的功能可以解决这些潜在的问题?

在本文中,我们将讨论什么时候应该使用预处理,什么时候适合使用“不保存历史记录”选项,以及这两种方法的优缺点。

数据节流以及其他预处理步骤

我们之前讨论过,数据节流是高频监测的首选方法。使用数据节流,你可以丢弃重复的值,并且也可以设置丢弃重复值的心跳间隔。这对于离散值的监控项非常有用,例如:服务状态,网络端口状态等等。

有心跳设置和无心跳设置的节流示例

另外,从Zabbix4.2开始所有的预处理都可以由Zabbix proxies来处理。这意味着我们可以在重复的值到达Zabbix Server之前丢弃它们。它可以帮助我们提高性能(在 Zabbix Server的数据库中插入的指标变少)并减少 DB 大小(DB 中存储的指标变少,有助于提高 Zabbix 的整体性能)。

这种方法有一些需要注意的事项,因为监控项值在到达 Zabbix Server之前就被丢弃了,所以触发器不会触发(这就是设置心跳检查的作用)。而且,由于 Zabbix Server根据接收到的历史数据计算趋势,所以可能缺少这些监控项的趋势信息。需要注意的是,这不光适用于数据节流的预处理规则——任何预处理都可以在代理上完成,任何预处理规则都可以进行数据转换。

理解“不保留历史记录”选项

数据节流和我们在配置监控项时设置“不保存历史记录”的行为有点不同。如果我们通过Proxy来采集一个监控项并设置了“不保存历史记录”,历史数据并不总是被丢弃。原因如下:

  • 首先,我们不要忘了有些值可以填入主机资产中!如果特定监控项值被配置填充到主机资产字段里了-它会被转发到Zabbix Server,但是它不会被存入历史表中。
  • 如果监控项没有被填入主机资产字段中-文本数据,例如:字符,日志和文本,在达到Zabbix Server之前会被丢弃,但数值类型的-浮点数和整型,将被转发到Zabbix Server。这样做的原因是为了从数值中推算出趋势信息。注意,数值型数据不会存入历史表中,只有趋势数据会保留。

注意:从Zabbix 5.2开始,就实现了这个功能。参考:ZBX-17548

为监控项设置“不保存历史记录”

利用趋势函数进行高频监控

记住"不保存历史数据"的具体内容,我们回想一下,从Zabbix 5.2开始,就提供了一些趋势函数!

我们可以通过历史函数例如trendavg,trendcount,trendmax,trendmin,trendsum来执行不同类型的趋势计算,对一段时间内的趋势数据进行统计并计算出最小(min)/最大(max)/平均(avg)趋势值。

如果我们只需要特定时间段(小时、天、周等)的指标趋势数据,我们就可以使用这些趋势函数并结合“不保存历史数据”选项,来丢弃不必要的数据,提高 Zabbix 服务器的性能!

使用趋势函数的方法有两种:

  • 如果你想采集并展示趋势数据,你需要创建一个监控项来采集指标(例如:通过Agent类型的监控项net.if.in来采集网络入口流量)并创建一个单独的可计算类型监控项,对这个可计算型监控项使用趋势函数来计算一段时间内趋势数据的平均(avg)/最小(min)/最大(max)值。原始监控项可以选择“不保存历史数据”。

trendavg监控项——从监控项net.if.in[ifHCInOctets.5]中计算每小时的趋势数据

  • 如果你想要对一段趋势数据定义触发器,而不需要收集趋势数据,那么你可以不创建可计算监控项,直接在原始监控项中使用趋势函数来创建触发器。

如果每小时平均趋势值超过100m,这个触发器就会触发。提示:在这种情况下,只需要原始监控项。

在我们的环境中结合这些预处理方法(丢弃或转换数据),并且选择不保存历史数据,在一定程度上,我们就可以降低对Zabbix的性能影响。在此基础上添加一层分布式 Zabbix Proxies,你就可以真正实现一个大型的、可伸缩的 Zabbix 架构,该架构经过优化,可以快速地获取和处理数据。

文章分享自微信公众号:
Zabbix开源社区

本文参与 腾讯云自媒体分享计划 ,欢迎热爱写作的你一起参与!

作者:Zabbix开源社区
原始发表时间:2022-05-18
如有侵权,请联系 cloudcommunity@tencent.com 删除。
登录 后参与评论
0 条评论

相关文章

  • Zabbix 4.2 正式发布!What's New?

    Zabbix团队很高兴在此宣布4.2正式发布!Zabbix集众多现代化监控系统的优秀功能于一身:数据采集和处理、分布式监控、实时问题和异常检查、告警升级、可视化...

    Zabbix
  • Zabbix如何实现对大流量监控数据的高效处理?

    大家好,我是鲍光亚,我分享的主题是Zabbix对大流量监控数据的高效处理。首先总结Zabbix监控数据的两个特点,再分析Zabbix如何利用监控数据的特点实现大...

    Zabbix
  • 分析世界新闻:通过谷歌查询系统探索GDELT项目

    用全球新闻报道去分析、观察乃至预测人类社会是一种什么样的情况? 由谷歌理念所倡导的GDELT项目旨在创建一个实时、开放的世界新媒体资料索引库,与全世界一同分享以...

    灯塔大数据
  • 外卖订单量预测异常报警模型实践

    前言 外卖业务的快速发展对系统稳定性提出了更高的要求,每一次订单量大盘的异常波动,都需要做出及时的应对,以保证系统的整体稳定性。如何做出较为准确的波动预警,显得...

    美团技术团队
  • 干货 | 一个数据分析师眼中的数据预测与监控

    束开亮,携程大市场部BI团队,负责数据分析与挖掘。同济应用数学硕士,金融数学方向,法国统计学工程师,主修风险管理与金融工程。

    携程技术
  • 数道云浅析:基于Hadoop分布式集群搭建政企大数据计算存储服务平台

    今天,小编就据目前互联网行业的发展,以及大数据Hadoop分布式集群等等来讲解一下,政企如何搭建大数据计算服务平台。

    数道云大数据
  • 持续风险监测体系实践:基于ATT&CK的APT高频技术分析

    ATT&CK作为一套反映网络安全攻击的知识模型,自2013年提出以来越来越受到安全行业的关注,已逐渐成为网络攻击事件分析的新标准,在众多APT事件分析中得到广泛...

    FB客服
  • 边缘计算和视频监控

    随着我国政府对平安城市、“雪亮工程”以及交通运输等领域的投入,对于安防产品的需求不断提升,安防市场规模也在随之不断扩大。视频监控是整个安防系统最重要的物理基础,...

    边缘计算
  • 基于边缘计算的大规模传感器高频采集系统研究

    【摘要】基于边缘计算研究传感器高频次采集数据的传输、存储和处理技术架构,提出了传感器高频采集设备的软硬件模块组成,并形成通用数据分析处理软件框架,以长时间综合分...

    边缘计算
  • 腾讯安全发布《2021年全球DDoS威胁报告》:DDoS威胁成犯罪团伙首选勒索手段

    后疫情时代,企业对数字化工具需求增加,用户生活消费习惯向线上转移,互联网行业迎来持续高速增长。同时,DDoS攻击因溯源难度大,讹诈成本低,产业链条成熟成为犯罪团...

    腾讯安全
  • 预告!Zabbix6.0 十大新功能详解!

    Zabbix 6.0 LTS 包含许多新的企业级功能和改进。加入 Artūrs Lontons,了解 Zabbix 6.0 LTS 发布后将要提供的一些主要功能...

    Zabbix
  • 从一天放贷10亿元,到全新的“Modern架构”

    1天放贷10亿元,1年放贷3千亿……平安普惠“三分钟放贷”的效率不止让传统金融业惊诧;即便在当下互联网金融领域,这也是一个不小的成就——要知道,这一由APP支持...

    IT创事记
  • 从WannaCry搞瘫全球到美国进入紧急状态,企业该如何应对勒索病毒?

    勒索病毒再度成为全球焦点。今天,美国最大的成品油管道运营商Colonial Pipeline受到勒索软件攻击,被迫关闭其美国东部沿海各州供油的关键燃油网络。事实...

    腾讯安全
  • 云端微服务架构下的运维思考

    本文围绕微服务架构的特点与发展趋势,结合微信业务在微服务架构上的探索、应用、改进与提升,阐述运维如何应对业务在微服务架构环境下的各种挑战。

    Frank
  • ​如何实现简单高效的移动剪辑框架

    https://www2.tutormeetplus.com/v2/render/playback?mode=playback&token=1b6ec621bb...

    LiveVideoStack
  • 失真对编码性能的影响研究

    近几年来,视频流的技术环境发生了巨大的变化,互联网上的视频流量急剧增加。根据 Cisco 公司的报告的预测,视频流量将超过整个互联网使用量的 80%。这也使得人...

    用户1324186
  • 揭秘腾讯云Supermind智能网络,百万级设备的网络高效运维

    网络数据中心正在不断向人工智能(AI)时代演进,在Gartner发布的《2017数据中心网络魔力象限报告》中,将分析和基于意图的网络(Analytics and...

    腾讯云开发者社区

扫码关注腾讯云开发者

领取腾讯云代金券