腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

铭毅天下

专栏作者

306

文章

618476

阅读量

140

订阅数

干货 | Elasticsearch Reindex性能提升10倍+实战

reindex和snapshot的速率比用filebeat或者kafka到es的写入速率慢好几个数量级（集群写入性能不存在瓶颈），reindex/snapshot的时候CPU还是IO使用率都很低，是不是集群受什么参数限制了reindex和snapshot的速率？

2018-08-14

3.3K0

干货 | Elasticsearch索引生命周期管理探索

es 2 架构设计存储

Elasticsearch上海Meetup中ebay工程师提了索引生命周期管理的概念。的确，在Demo级别的验证阶段我们数据量比较小，不太需要关注索引的生命周期，一个或几个索引基本就能满足需要。所以，这也会产生一种假象，认为：“Elasticsearch不就是增删改查，毛毛雨啦”的荒诞的假象。

2018-08-14

2K0

探究 | Elasticsearch不支持事务有什么好的弥补方案吗？

es 2 hive 云数据库 SQL Server 数据库

源自星球同学的提问：es如何与hive或mysql结合使用？es不支持事务有什么好的弥补方案吗？

2018-07-26

3.3K0

干货 | Elasticsearch 趋势科技实战分享笔记

单一索引的问题： 1）不能更新Mapping。比如：主分片数不可以修改（除非reindex）。 2）无法灵活、快速地扩展。 3）更适合固定、小型数据集。

2018-07-26

8280

严选 | Elasticsearch史上最全最常用工具清单

es 2 运维 json github

工欲善其事必先利其器，ELK Stack的学习和实战更是如此，特将工作中用到的“高效”工具分享给大家。

2018-07-26

10.6K0

干货 | Elasticsearch 布道者Medcl对话携程Wood大叔核心笔记

2014年，ES0.9版本。选型对比：MongoDB——数据量级大了以后，出现性能瓶颈。调研后，选型：ELK（Elasticsearch、Logstash、Kibana）。实现效果：实时看效果、查询、聚合。

2018-07-26

1.1K0

干货 | 吃透Elasticsearch 堆内存

1、什么是堆内存？ Java 中的堆是 JVM 所管理的最大的一块内存空间，主要用于存放各种类的实例对象。在 Java 中，堆被划分成两个不同的区域：新生代 ( Young )、老年代 ( Old )。新生代 ( Young ) 又被划分为三个区域 Eden、 From Survivor、 To Survivor。这样划分的目的是为了使 JVM 能够更好的管理堆内存中的对象，包括内存的分配以及回收。 2、堆内存的作用是什么？在虚拟机启动时创建。堆内存的唯一目的就是创建对象实例，所有的对象实例

2018-04-24

2.8K0

Elasticsearch6.X 去重详解

es 2 云数据库 SQL Server

1、题记 Elasticsearch有没有类似mysql的distinct的去重功能呢？ 1）如何去重计数？类似mysql: select distinct(count(1)) from my_table; 2）如何获取去重结果。类似mysql：SELECT DISTINCT name,age FROM users; 2、需求 1）对ES的检索结果进行去重统计计数。 2）对ES的检索结果去重后显示。 3、分析 1）统计计数需要借助ES聚合功能结合cardinality实现。 2）去重显示结果有两种方式：

2018-04-24

2.8K0

Elasticsearch 6.X 新类型Join深入详解

es 2 存储云数据库 SQL Server 数据库

0、ES6.X 一对多、多对多的数据该如何存储和实现呢？引出问题： “某头条新闻APP”新闻内容和新闻评论是1对多的关系？在ES6.X该如何存储、如何进行高效检索、聚合操作呢？相信阅读本文，你就能得到答案！ 1、ES6.X 新类型Join 产生背景 Mysql中多表关联，我们可以通过left join 或者Join等实现； ES5.X版本，借助父子文档实现多表关联，类似数据库中Join的功能；实现的核心是借助于ES5.X支持1个索引(index)下多个类型(type)。 ES6.X版本，由于每个索引下

2018-04-24

8.2K0

干货 |《深入理解Elasticsearch》读书笔记

题记由于之前已经梳理过Elasticsearch基础概念且在项目中实战过Elasticsearch的增删改查、聚类、排序等相关操作，对ES算是有了一定的认知。但是，仍然对于一些底层的原理认知模糊

2018-03-20

2.1K0

Elasticsearch索引增量统计及定时邮件实现

es 2 存储 shell

0、需求随着ELKStack在应用系统中的数据规模的急剧增长，每天千万级别数据量（存储大小：10000000*10k/1024/1024=95.37GB，假设单条数据10kB，实际远大于10KB）的

2018-03-20

1.6K0

Elasticsearch实战 | 必要的时候，还得空间换时间!

1、应用场景实时数据流通过kafka后，根据业务需求，一部分直接借助kafka-connector入Elasticsearch不同的索引中。另外一部分，则需要先做聚类、分类处理，将聚合出的分类结果

2018-03-20

1.2K0

实战 | Elasticsearch打造知识库检索系统

题记源自“死磕Elasticsearch”技术群里的讨论问题： ——我想用es做个类似于知识库的东西,所以需要索引一些pdf、word之类的文件，这个你之前有试过吗？能给个方向吗？我的思考如

2018-03-20

3.2K0

Elasticsearch聚合优化 | 聚合速度提升5倍！

1、聚合为什么慢？大多数时候对单个字段的聚合查询还是非常快的，但是当需要同时聚合多个字段时，就可能会产生大量的分组，最终结果就是占用 Elasticsearch大量内存，从而导致 OOM 的情况

2018-03-20

4.5K0

Elasticsearch全文检索实战小结——复盘我带的第二个项目

一、项目概述这是一个被我称之为“没有枪、没有炮，硬着头皮自己造”的项目。项目是和其它公司合作的三个核心模块开发。使用ES的目的是： 1）、采集数据、网站数据清洗后存入ES； 2）、对外提供精

2018-03-20

1.9K0

Elasticsearch究竟要设置多少分片数？

0、引言本文翻译自Elasticsearch20170918热乎的官方博客，原作者：Christian Dahlqvist。在构建Elasticsearch集群的初期如果集群分片设置不合理，可能在项目的中后期就会出现性能问题。 Elasticsearch是一个非常通用的平台，支持各种各样的用例，并且为数据组织和复制策略提供了巨大灵活性。这种灵活性使得作为ELK新手的你将数据组织成索引和分片变得困难。虽然不一定会在首次启动时出现问题，但由于数据量随时间的推移，可能会导致性能问题。集群所拥有的数据越多，纠正

2018-03-20

5K0

刨根问底 | Elasticsearch 5.X集群多节点角色配置深入详解

1、问题引出 ES5.X节点类型多了ingest节点类型。针对3个节点、5个节点或更多节点的集群，如何配置节点角色才能使得系统性能最优呢？ 2、ES2.X及之前版本节点角色概述 3、ES5.

2018-03-20

1.3K0

干货 | Elasticsearch5.X Mapping万能模板

0、引言在关系型数据库如Mysql中，设计库表需要注意的是： 1）需要几个表； 2）每个表有哪些字段； 3）表的主键及外键的设定——便于有效关联。表的设计遵守范式约束，考虑表的可扩展性，避免开发后期对表做大的改动。 Mysql或者Oracle中，修改数据类型相对比较简单，通过命令行或者navicat、sqldeveloper等可视化工具直接修改。即便千万级别数据量，多等点时间，也能修改好。而在Elasticsearch非关系型数据存储的搜索引擎中，设计表对应的就是Mapping的设计。且ES中一旦

2018-03-20

3K0

Elasticsearch检索分类深入详解—基础篇

Elasticsearch中当我们设置Mapping（分词器、字段类型）完毕后，就可以按照设定的方式导入数据。有了数据后，我们就需要对数据进行检索操作。根据实际开发需要，往往我们需要支持包含但不限于以下类型的检索： 1）精确匹配，类似mysql中的 “=”操作； 2）模糊匹配，类似mysql中的”like %关键词% “查询操作； 3）前缀匹配； 4）通配符匹配； 5）正则表达式匹配； 6）跨索引匹配； 7）提升精读匹配。细数一下，我们的痛点在于： 1）ES究竟支持哪些检索操作？ 2）

2018-03-20

1.5K0

Elasticsearch全文检索实战小结——复盘我带的第二个项目

一、项目概述这是一个被我称之为“没有枪、没有炮，硬着头皮自己造”的项目。项目是和其它公司合作的三个核心模块开发。使用ES的目的是： 1）、采集数据、网站数据清洗后存入ES； 2）、对外提供精

2018-03-20

2.7K0

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态