文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Zabbix后端存储ES的优化实践

场景分析▼ 由于公司zabbix的历史数据存储在elasticsearch中，有个需求是尽可能地把监控的历史数 据存储的长一点，最好是一年，目前的情况是三台ES节点，每天监控历史数据量有5G，目前最多可存储一个月的数据...优化思路 ▼ 对数据mapping重新建模，对str类型的数据不进行分词，采用冷热节点对数据进行存储， 前七天数据的索引分片设计为2主1副，索引存储在热节点上，超过七天的数据将被存储在 冷节点，超过30...Zabbix与ES的对接操作▼ 1.修改/etc/zabbix/zabbix_server. conf，添加如下内容 ES地址填写集群中任意一个节点就可以 ?...2.修改/etc/zabbix/web/zabbix.conf. php 添加如下内容 ? ?...5.修改完成后重启zabbix,并查看zabbix是否有数据 ?

1.2K20
您找到你想要的搜索结果了吗？
是的
没有找到

【Z投稿】Zabbix后端存储ES的优化实践

作者简介 ▼ Wanger，Zabbix运维工程师，熟悉Zabbix开源监控系统的架构，乐于分享Zabbix运维经验，个人公众号“没有故事的陈师傅” 擅长领域：Zabbix基础设施运维以及Zabbix图形化展示...场景分析 ▼ 由于公司zabbix的历史数据存储在elasticsearch中，有个需求是尽可能地把监控的历史数 据存储的长一点，最好是一年，目前的情况是三台ES节点，每天监控历史数据量有5G，目前最多可存储一个月的数据...节点规划 ▼ 为了让ES能存储更长的历史数据，以及考虑到后续监控项添加导致数据的增长，我将节点 数量增加至4节点，并将部分节点内存提高，部分节点采用SSD存储 ?...优化思路 ▼ 对数据mapping重新建模，对str类型的数据不进行分词，采用冷热节点对数据进行存储， 前七天数据的索引分片设计为2主1副，索引存储在热节点上，超过七天的数据将被存储在 冷节点，超过30...5.修改完成后重启zabbix,并查看zabbix是否有数据 ?

56210

容器化RDS｜计算存储分离 or 本地存储？

因此存储架构的选型至关重要。到底是选择计算存储分离还是本地存储？...本文就这个问题，从以下几点展开： 回顾：计算存储分离, 本地存储优缺点 MySQL 基于本地存储实现数据零丢失 性能对比 基于 Docker + Kubernetes 的实现 来分享个人理解。...回顾：计算存储分离，本地存储优缺点 ? 还是从计算存储分离说起。 计算存储分离 ?...先说优点： 架构清晰 计算资源 / 存储资源独立扩展 提升实例密度，优化硬件利用率 简化实例切换流程：将有状态的数据下沉到存储层，Scheduler 调度时，无需感知计算节点的存储介质，只需调度到满足计算资源要求的...性能对比3：本地存储 / 计算存储分离 为了对比本地存储和计算存储分离，专门使用 MGR + 本地存储架构和 基于分布式存储的计算存储分离架构做性能对比。

3.5K22

容器化RDS｜计算存储分离 or 本地存储

数据库服务的需求可以简化为: 实现数据零丢失的前提下,提供可接受的服务能力 因此存储架构的选型至关重要. 到底是选择计算存储分离还是本地存储?...回顾 : 计算存储分离, 本地存储优缺点 还是从计算存储分离说起, 计算存储分离 先说优点 : ●架构清晰 ●计算资源 / 存储资源独立扩展 ●提升实例密度, 优化硬件利用率 ●简化实例切换流程...: 将有状态的数据下沉到存储层, Scheduler 调度时, 无需感知计算节点的存储介质, 只需调度到满足计算资源要求的 Node, 数据库实例启动时, 只需在分布式文件系统挂载 mapping volume...本地存储 如果在意计算存储分离架构中提到的缺点, 本地存储可以有效的打消类似顾虑, 无需引入分布式存储, 避免Storage Verdor Lock In 风险, 所有问题都由DBA 闭环解决,....性能对比3 : 本地存储 / 计算存储分离 为了对比本地存储和计算存储分离, 专门使用 MGR + 本地存储架构 和 基于分布式存储的计算存储分离架构做性能对比.

9.5K80

聊聊计算和存储分离

“计算和存储分离” 2.何为计算？...何为存储？ 要了解计算和存储分离到底是什么，那么我们就需要理解什么是计算，什么是存储。 计算这个单词有运算之义，和数学的关系密不可分。...但其实在我们的计算机计算过程中和存储是密不可分的，我们知道CPU是由控制器、运算器和寄存器组成的，我们在运行一段程序的时候我们的指令是存储在我们的存储器的，我们所执行的每一个步骤都和存储分离不开。...这个时候谷歌摒弃了之前的观念“移动存储到计算”，采取了“移动计算到存储的观念”，将计算和存储耦合了，因为当时的网络速度对比现在来说慢了几百倍，网络速度跟不上我们的需要。...由于计算和存储耦合的缺点越来越多，并且网络速度越来越快，现在架构又在重新向计算和存储分离这一方向重新开始发展。

4.3K11

云计算——常见存储类型

作者简介：一名云计算网络运维人员、每天分享网络与运维的技术与干货。   ...座右铭：低头赶路，敬事如仪 个人主页：网络豆的主页​​​​​  前言 本章将会讲解云计算中常见的存储类型 ----  一.存储类型 现网中的存储设备为存储虚拟化的实现提供了资源基础。...常见的存储类型有： 本地磁盘 DAS NAS SAN ---- 1.本地磁盘 云计算虚拟化场景下的本地磁盘是指使用服务器本地的磁盘资源，经过RAID（磁盘阵列）化后提供给虚拟化平台进行使用。...是一种高速的、专门用于存储操作的网络，通常独立于计算机局域网。...---- 总结： 本地磁盘：最常见的存储 本地磁盘适用于许多场景，例如个人计算机、工作站、台式服务器和一些小型企业服务器。对于需要快速数据访问、较低成本和较少复杂性的应用，本地磁盘是一种理想的选择。

29610

如何计算云存储成本

计算云存储成本似乎看起来很简单。当用户查看云计算供应商提供的存储服务的定价时，显而易见的成本是数据的存储成本。但是如果深入研究的话，就会发现与云存储成本相关的其他各种费用。...在云中存储数据的总拥有成本（TCO）通常比简单的存储费用高出许多。 云存储成本的增加可能比组织意识到的还要快，并且出乎意料。 计算云存储成本似乎看起来很简单。...在云中存储数据的总拥有成本(TCO)通常比简单的存储费用高出许多。 考虑到这一点，需要了解如何计算云存储的总拥有成本(TCO)。...尽管如此，在考虑将数据存储在公共云中是否是正确选择时，用户应该评估最终要付出多少存储间接成本。 主要的云存储间接成本包括： 云计算数据监控：为了防止意外，监控基于云计算的数据至关重要。...尽管可能无法精确地量化这些类型的云存储成本，但是用户可以通过确定员工的工作时间和支出大致了解云存储的间接费用。使用该数字，以及用于管理云计算数据的许可软件工具的费用，可以计算出上述各种任务的成本。

3.6K10

计算机存储设备简介

一、计算机系统的基本结构 冯·诺伊曼定义了计算机的基本结构:中央处理器(CPU)、内存和输入/输出设备(IO)。数据和程序都存储在内存中，内存中的内容是按位置寻址的。...计算机系统的主要功能是执行一个程序，一组指令。CPU负责执行指令并与内存交换数据。这些指令被翻译成机器语言并执行，处理已经装入计算机存储器中的数据。输入设备用于将数据输入到存储器中。...二、计算机系统内部的存储设备 计算机的存储器被组织成一个层次结构。最上层是处理器的寄存器，后面是一个或多个缓存。大多数时候，如果缓存设计正确，处理器需要的内存数据就已经在缓存中了。...三、计算机系统外部的存储设备 外置存储设备是指除计算机内存和CPU缓存外，在掉电后仍能保存数据的存储设备。常用的外置存储设备有磁盘、磁带、光盘等。 磁盘有两种类型:软盘和硬盘。...固态硬盘(SSD)是一种使用集成电路组件持久存储数据的固态存储设备，通常使用闪存，在计算机存储层次结构中充当二级存储。

2.6K20

Swift计算属性和存储属性

解读 1、声明一个存储属性，通过闭包运算赋值。 2、3 作用相同，2是3 的简化形式。声明一个计算属性。只读。 4、声明一个计算属性，可读可写。 由此看出，存储属性可以直接读写赋值。...计算属性不能直接对其操作，其本身只起计算作用，没有具体的值。 存储属性和计算属性比较 1 .计算属性可以用于类、结构体和枚举，存储属性只能用于类和结构体。...2.存储属性可以是变量存储属性(用关键字 var 定义)，也可以是常量存储属性(用关键字 let 定义)。计算属性只能(用关键字 var 定义)。...3.计算属性不直接存储值，而是提供一个 getter 和一个可 选的 setter，来间接获取和设置其他属性或变量的值。...4.可以为除了延迟存储属性之外的其他存储属性添加属性观察器，也可以通过重写属性的方式为继承的属性(包括 存储属性和计算属性)添加属性观察器。

2.1K10

数据SCT定律：存储，计算，时间

不过呢，从大数据这个行业来说，我们始终都是在存储，计算和时间进行权衡，博弈以及突破。某种程度上来说，当拥有其中两者，可能很难兼顾第三者。...比如为了加快计算，我们会通过构建Cube,物化视图或者中间表（数仓里的分层）来完成，但这样对存储的要求会更高，要能支撑更大的存储量，同时需要支持更新，而且在覆盖写的时候，读不受影响。...这个过程中会触发时间问题（也就是数据可见性的延时），也会触发计算的额外消耗，这些计算来源于同步以及涉及到Kafka,MySQL等各个子系统的消耗。...有了存储上的支持，很多其他的事情就会变得简单。...其次是同步方面的问题，我们希望解决的是延时上的问题（时间），传统的模式是利用canal等工具读取binlog到kafka,然后kafka后面接一个计算系统，将数据写入到一个可更新的存储，比如hbase,

95240

计算应该与存储分离吗？

，计算与存储应该分离吗？...计算与存储的关系 在聊计算与存储分离这个话题，先来看看计算与存储的关系。计算机语言中的计算和存储其实来源于数学。...在计算机中，计算与存储实际上是不可分离的，计算需要存储在某个地方的数据，而数据没有经过计算只会是毫无价值的数字。...再聊计算与存储 在不考虑计算机与计算机交互之前，计算与存储的交互都是发生在一台机器上的，通过计算机内部高速的缓存机制实现 CPU（计算的大脑）和硬盘（数据存储的地方）之间的交互。...总结 计算与存储分离发展成了“云原生”，成为了云数据库的标配，比如 TiDB 严格的存储归存储，计算归计算；当然也有像 CockroachDB 一样的数据库，坚持存储与计算不分离。

2.3K10

计算机存储技术入门

02 磁鼓存储器 1950,60年代，有个类似技术是 "磁鼓存储器"，有金属圆筒，盖满了磁性材料以记录数据，滚筒会持续旋转，周围有数十个读写头，等滚筒转到正确的位置读写头会读或写 1 位(bit) 数据...IBM 对世上第一台磁盘计算机就是这样做的（RAMAC 305），它有 50 张 24 英寸直径的磁盘，总共能存 5 MB 左右，太棒啦! 终于能存一张现代手机的照片了！这年是 1956 年。...就像磁鼓存储器一样，磁盘也会高速旋转，所以读写头要等到正确的部分转过来。...RAMAC 305 访问任意数据，平均只要六分之一秒左右，也叫寻道时间，虽然六分之一秒对存储器来说算不错，但对内存来说还不够快，所以 RAMAC 305 还有"磁鼓存储器"和"磁芯存储器"。...但还是比 RAM 慢很多倍，所以现代计算机 仍然用存储层次结构。

83720

云计算——存储虚拟化功能

作者简介：一名云计算网络运维人员、每天分享网络与运维的技术与干货。   ...座右铭：低头赶路，敬事如仪 个人主页：网络豆的主页​​​​​ ---- 前言 本章将会讲解云计算中存储虚拟化功能 ---- 一.存储虚拟化功能 存储虚拟化可以提高硬件资源的使用效率，简化系统管理的复杂度...，增强云存储平台的可靠性。...多次快照之间保存差量数据，节约存储空间。 ---- （1） 快照方式 创建快照是会生成一个新的差分卷，虚拟机会挂载这个差分卷作为磁盘文件。...----  5.虚拟磁盘文件迁移 将虚拟机的磁盘从一个数据存储迁移到另一个数据存储。可以将虚拟机的所有磁盘整体迁移，也可以单个磁盘分别迁移。

21730

云计算——存储虚拟化简介 与 存储模式及方法

作者简介：一名云计算网络运维人员、每天分享网络与运维的技术与干货。   ...座右铭：低头赶路，敬事如仪 个人主页：网络豆的主页​​​​​ ---- 前言 本章将会讲解云计算存储虚拟化与存储模式的讲解 ---- 一.存储虚拟化介绍 把多个存储介质（如硬盘，RAID）通过一定的技术将他们集中起来...---- 1.云计算存储基本概念 存储资源 表示实际的物理存储设备，例如DAS（直连存储），NAS（网络附加存储），SAN（存储区域网络）等。...---- 2.云计算存储模型 ---- 3.创建虚拟存储流程 在主机软件界面添加存储资源（SAN,DAS等），对主机的启动进行配置。...----  二.存储模式及方法 存储模式分类 在存储虚拟化中，以是否使用虚拟化技术将存储模式分为： 非虚拟化存储 虚拟化存储 裸设备映射 ---- 非虚拟化存储 传统的存储模式，就是把磁盘进行分区，分割成不同的逻辑卷

39220

【Zabbix3.4新功能】使用Elasticsearch作为历史数据存储

点击跳转，查看更多哦） 18 1-2018 #Zabbix3.4#使用Elasticsearch作为历史数据存储 Geewolf zabbix3.4新功能（三） 使用Elasticsearch作为历史数据存储...Geekwolf，现就职网易， 博客: http://www.simlinux.com 《FastDFS分布式存储实战》作者，国内第一本《Ansible中文手册》译者、Flamingo、FMS作者 RHCA.../RHCVA，混迹开源社区，专注高效运维、DevOps、Docker、MySQL 特性功能 Zabbix自3.4.5rc1版本开始支持Elasticsearch作为历史数据存储，17年12月28日发布了...2 tar xf zabbix-3.4.5.tar.gz 3 cd zabbix-3.4.5 4 ....，根据新的zabbix.conf.php.example重新配置 重启Zabbix Server 1 /etc/init.d/zabbix_server start 2 此时可以通过观察日志

66420
点击加载更多

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

更多标签

活动推荐

    运营活动

    活动名称
    广告关闭

    腾讯云开发者

    扫码关注腾讯云开发者

    扫码关注腾讯云开发者

    领取腾讯云代金券

    热门产品

    热门推荐

    更多推荐

    Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

    深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

    腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

    领券