首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Zabbix后端存储ES的优化实践

场景分析▼ 由于公司zabbix的历史数据存储在elasticsearch中,有个需求是尽可能地把监控的历史数 据存储的长一点,最好是一年,目前的情况是三台ES节点,每天监控历史数据量有5G,目前最多可存储一个月的数据...节点规划▼ 为了让ES存储更长的历史数据,以及考虑到后续监控项添加导致数据的增长,我将节点 数量增加至4节点,并将部分节点内存提高,部分节点采用SSD存储 ?...优化思路 ▼ 对数据mapping重新建模,对str类型的数据不进行分词,采用冷热节点对数据进行存储, 前七天数据的索引分片设计为2主1副,索引存储在热节点上,超过七天的数据将被存储在 冷节点,超过30...以上操作均使用ES的管理工具curator来定时执行。...Zabbix与ES的对接操作▼ 1.修改/etc/zabbix/zabbix_server. conf,添加如下内容 ES地址填写集群中任意一个节点就可以 ?

1.2K20

SpringBoot集成ES实现存储、查询

5分钟_SpringBoot集成ES实现存储、查询 当前文章使用ES版本为6.4.3, SpringBoot版本为:2.1.8.RELEASE spring-boot-starter-data-elasticsearch...RELEASE spring-boot-starter-data-elasticsearch介绍 spring-boot-starter-data-elasticsearch:是springboot整合es...同样的这个快速开发包也是大大简化了Java使用es的流程。 ik分词器 IKAnalyzer是一个开源的,基于java语言开发的轻量级的中文分词工具包。...也可以引入其他的中文分词器,本文使用IK分词器,注意:IK分词器的版本号,要与ES的版本一致,如不一致则无法启动。如果不引入中文分词器,那么ES会默认将每一个中文都会进行分词,不会智能组词。...结语 这就是SpringBoot集成ES的基本步骤,相比较于自己引入ES的依赖要简单的很多。如果对你有帮助,请分享出去吧。对于更多的JPA的方法命名规则请查看JPA官方介绍。

3.9K20

ES日志存储以及备份压缩到COS

导语 为了满足用户日益增长的日志存储大小,不影响用户的写入和查询性能。满足不同用户写入流量。同时用户日志长期保存,日志存储比较占用空间和成本。ES集群规格配置高,消耗资源和成本。...ES集群设计 为了避免 ES 集群出现单点问题,以及配置不断增加带来的运维风险, ES 集群设计时主要通过将不同规格的用户日志写入不同配置的ES集群,并且使用自动扩容技术来实现集群的可扩展性。...ES数据备份到COS 创建备份流程 在 ES 备份流程中,为了保证备份的正确性和完整性,可以按照如下步骤执行: 创建一个仓库来存储备份数据。 创建一个快照任务,将ES中的数据备份到指定的仓库中。...ES提供了API接口来查询快照的状态和进度,可以根据查询结果来判断备份是否已经完成。 调用 COS 提供的压缩函数对备份数据进行压缩,以减小备份数据所占用的存储空间。...通过备份和压缩到 COS  可以将 ES 存储的数据缩小到 1/4 的大小,并且通过 COS 的海量分布式存储服务,可以提供低成本、弹性的云存储服务。

55240

【Z投稿】Zabbix后端存储ES的优化实践

elasticsearch中,有个需求是尽可能地把监控的历史数 据存储的长一点,最好是一年,目前的情况是三台ES节点,每天监控历史数据量有5G,目前最多可存储一个月的数据,超过30天的会被定时删除,每台内存分了...节点规划 ▼ 为了让ES存储更长的历史数据,以及考虑到后续监控项添加导致数据的增长,我将节点 数量增加至4节点,并将部分节点内存提高,部分节点采用SSD存储 ?...优化思路 ▼ 对数据mapping重新建模,对str类型的数据不进行分词,采用冷热节点对数据进行存储, 前七天数据的索引分片设计为2主1副,索引存储在热节点上,超过七天的数据将被存储在 冷节点,超过30...以上操作均使用ES的管理工具curator来定时执行。...Zabbix与ES的对接操作 ▼ 1.修改/etc/zabbix/zabbix_server. conf,添加如下内容 ES地址填写集群中任意一个节点就可以 ?

56210

ES数据存储与查询基本原理

:与传统关系型数据库相比, ES提供了全文检索、同义词处理、相关度排名、复杂数据分析、海量数据的近实时处理等功能 总而言之,ES是: 一个分布式的实时文档存储引擎,每个字段都可以被索引与搜索 一个分布式实时分析搜索引擎...分片(Shard) 单个节点无法存储大量数据,ES将一个索引中的数据切分为多个分片(Shard),分布式地存储在多个节点上。...因此,ES基于shard的概念来横向扩展,以存储更多的数据,并且让存储、索引和分析等操作分布到多个节点上执行,分而治之,进而提升吞吐量和性能。 是线上,每一个分片都是一个lucene的index。...副本(replica) 任何一个节点都有可能故障或者宕机,此时该节点的shard无法存储或查询,为保证高可用,ES为每个shard创建多个replica副本,分布在不同节点上。...ES存储数据的基本单位是索引,回想第一节简介里的介绍,索引的结构大致如下: index -> type -> mapping -> document -> field 一个索引可以拆分为多个shard,

9510

5分钟_SpringBoot集成ES实现存储、查询

5分钟_SpringBoot集成ES实现存储、查询 当前文章使用ES版本为6.4.3,SpringBoot版本为:2.1.8.RELEASE spring-boot-starter-data-elasticsearch...RELEASE spring-boot-starter-data-elasticsearch介绍 spring-boot-starter-data-elasticsearch:是springboot整合es...同样的这个快速开发包也是大大简化了Java使用es的流程。 ik分词器 IKAnalyzer是一个开源的,基于java语言开发的轻量级的中文分词工具包。...也可以引入其他的中文分词器,本文使用IK分词器,注意:IK分词器的版本号,要与ES的版本一致,如不一致则无法启动。 如果不引入中文分词器,那么ES会默认将每一个中文都会进行分词,不会智能组词。...text=浩[1] 查询名字中或者desc中含有“浩”的数据 结语 这就是SpringBoot集成ES的基本步骤,相比较于自己引入ES的依赖要简单的很多。如果对你有帮助,请分享出去吧。

17320

OpenGLOpenGL ES 渲染流程以及固定存储着色器

作者:佐笾 https://juejin.im/post/5cdae5486fb9a0323e3ade57 一 本篇目标 OpenGL 渲染流程图解析 OpenGL 固定存储着⾊器理解 二 OpenGL...三 固定存储着色器的分类 存储着色器的使用 GLShaderManager的初始化 // GLShaderManager初始化 GLShaderManager shaderManager; shaderManager.InitializeStockShaders...需要设置存储着色器的GLT_ATTRIBUTE_VERTEX(顶点分量)和GLT_ATTRIBUTE_NORMAL(表面法线)。...同样需要设置存储着色器的GLT_ATTRIBUTE_VERTEX(顶点分量)和GLT_ATTRIBUTE_NORMAL(表面法线)。...参数1:存储着色器种类 - 纹理光源着色器 参数2:模型4x4矩阵 参数3:投影4x4矩阵 参数4:点光源位置 参数5:颜色值(几何图形的基本色) 参数6:纹理单元

84240

5分钟_SpringBoot集成ES实现存储、查询

5分钟_SpringBoot集成ES实现存储、查询 当前文章使用ES版本为6.4.3,SpringBoot版本为: spring-boot-starter-data-elasticsearch介绍 spring-boot-starter-data-elasticsearch:是springboot整合es...同样的这个快速开发包也是大大简化了Java使用es的流程。 ik分词器 IKAnalyzer是一个开源的,基于java语言开发的轻量级的中文分词工具包。...也可以引入其他的中文分词器,本文使用IK分词器,注意:IK分词器的版本号,要与ES的版本一致,如不一致则无法启动。 如果不引入中文分词器,那么ES会默认将每一个中文都会进行分词,不会智能组词。...text=浩 查询名字中或者desc中含有“浩”的数据 [在这里插入图片描述] 结语 这就是SpringBoot集成ES的基本步骤,相比较于自己引入ES的依赖要简单的很多。

4.3K10

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

    运营活动

    活动名称
    广告关闭
    领券