腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

我是攻城师

专栏作者

492

文章

956713

阅读量

119

订阅数

理解Java中锁的状态与优化

java nosql es 2 数据库

关于锁的知识，按大类来说，通常我们只分乐观锁和悲观锁。但在Java语言里对同步锁的状态又进行了细化通常有无锁状态，偏向锁，自旋锁，轻量级锁，重量级锁，这么做的目的主要还是为了提高并发性能。

我是攻城师

2018-07-23

5250

如何在Elasticsearch里面使用索引别名

es 2 搜索引擎

在elasticsearch里面给index起一个aliases（别名）能非常优雅的解决两个索引无缝切换的问题，这个功能在某些场景下非常使用。比如电商的核心商品索引库，除了实时增量数据外，每天都要重建一遍索引，避免index里面的数据和db里面的数据不一致，因为index分shard了，所以要一个一个的shard做全量替换，直到所有的shard替换完毕，才能宣布重建成功。整个过程其实还是风险挺大的，虽然每次只替换一个shard把风险量降到最低，但如果第3个或第4个shard重建有问题，有可能要回滚整个索引

我是攻城师

2018-05-15

8.5K3

如何在elasticsearch里面使用深度分页功能

前面的文章提到过es默认的from+size的分页方式返回的结果数据集不能超过1万点，超过之后返回的数据越多性能就越低。这是因为es要计算相似度排名，需要排序整个整个结果集，假设我们有一个index它有5个shard，现在要读取1000到1010之间的这10条数据，es内部会在每个shard上读取1010条数据，然后返回给计算节点，这里有朋友可能问为啥不是10条数据而是1010条呢？这是因为某个shard上的10条数据，可能还没有另一个shard上top10之后的数据相似度高，所以必须全部返回，然后在计算

我是攻城师

2018-05-15

2.5K5

elasticsearch的查询流程分析

es 2 分布式存储

我们都知道es是一个分布式的存储和检索系统，在存储的时候默认是根据每条记录的_id字段做路由分发的，这意味着es服务端是准确知道每个document分布在那个shard上的。相对比于CURD上操作，search一个比较复杂的执行模式，因为我们不知道那些document会被匹配到，任何一个shard上都有可能，所以一个search请求必须查询一个索引或多个索引里面的所有shard才能完整的查询到我们想要的结果。找到所有匹配的结果是查询的第一步，来自多个shard上的数据集在分页返回到客户端的之前会被合并到

我是攻城师

2018-05-15

2.6K0

elasticsearch里面的关于批量读取mget的用法

es 2 api json 存储

es的api除了提供了基本的curd操作外，还有两个针对批量的操作分别是： 1，批量的读取操作（mget） 2，批量的写入操作（bulk）本篇文章先介绍mget的用法 Multi Get api 简称（mget）它允许我们一次get大量的document，与get单条数据的api get方法类似，mget查询是基于index，type（可选），id三个条件进行的，比如我们可以一次mget 50条数据，这50条数据可以是在50个不同index中，并且每一个get都可以单独指定它的路由查询信息，或者返回的字段

我是攻城师

2018-05-15

2.4K3

elasticsearch里面bulk的用法

上篇文章介绍了在es里面批量读取数据的方法mget，本篇我们来看下关于批量写入的方法bulk。 bulk api可以在单个请求中一次执行多个索引或者删除操作，使用这种方式可以极大的提升索引性能。 bulk的语法格式是： action and meta_data \n optional source \n action and meta_data \n optional source \n action and meta_data \n optional source \n ` 从上面能够看到，两行数据构

我是攻城师

2018-05-15

1.5K0

Elasticsearch如何检索数据

es 2 数据库搜索引擎

我们都知道Elasticsearch是一个全文检索引擎，那么它是如何实现快速的检索呢？传统的数据库给每个字段都存储成一个单个值，对于全文检索而言，这样的存储是低效的。举个例子，我有一个大文本字段，存到数据库里面只能是一个值，如果想要检索这个大文本字段里面的任何一个词，数据库如何实现？只能通过like模糊查询来实现，先不说性能低，这对于一个搜索引擎是远远不够的。针对上面数据库的不足，所以才出现了Lucene这种全文检索框架而它的核心就在于采用了倒排索引（Inverted Index）的数据结构，不同于数

我是攻城师

2018-05-15

9880

Elasticsearch如何动态维护一个不可变的倒排索引

es 2 数据结构存储大数据

上一篇文章中介绍了Elasticsearch中是如何搜索文本的，同时也简述了在es里面索引数据结构的特点不可变性。索引不可变性的缺点限制了单个索引存储的最大数据量以及更新的频次，所以es面临的问题是如何解决倒排索引不可更新的特点而同时仍然保持不可变特性带来的好处。答案就是使用多个索引代替原来的每次重写整个索引，es里面采用方式是增加新的索引来反映最近的变化，然后查询的时候一次查询所有的倒排索引，从最早的一直到最新的，然后在合并结果返回。在lucene里面一个索引是多个segment加上一个commi

我是攻城师

2018-05-15

1.6K0

为什么说Elasticsearch搜索是近实时的？

通过前面两篇文章的介绍，我们大概已经知道了 Elasticsearch处理数据的流程，其中在Elasticsearch和磁盘之间还有一层称为FileSystem Cache的系统缓存，正是由于这层cache的存在才使得es能够拥有更快搜索响应能力。我们都知道一个index是由若干个segment组成，随着每个segment的不断增长，我们索引一条数据后可能要经过分钟级别的延迟才能被搜索，为什么有种这么大的延迟，这里面的瓶颈点主要在磁盘。持久化一个segment需要fsync操作用来确保segment能够

我是攻城师

2018-05-15

3.7K0

Elasticsearch如何保证数据不丢失？

上篇文章提到过，在elasticsearch和磁盘之间还有一层cache也就是filesystem cache，大部分新增或者修改，删除的数据都在这层cache中，如果没有flush操作，那么就不能100%保证系统的数据不会丢失，比如突然断电或者机器宕机了，但实际情况是es中默认是30分钟才flush一次磁盘，这么长的时间内，如果发生不可控的故障，那么是不是必定会丢失数据呢？很显然es的设计者早就考虑了这个问题，在两次full commit操作（flush）之间，如果发生故障也不能丢失数据，那么es是如何

我是攻城师

2018-05-15

5.7K0

Elasticsearch里面的segment合并

通过前面的文章，我们已经知道在elasticsearch中每个shard每隔1秒都会refresh一次，每次refresh都会生成一个新的segment，按照这个速度过不了多久segment的数量就会爆炸，所以存在太多的segment是一个大问题，因为每一个segment都会占用文件句柄，内存资源，cpu资源，更加重要的是每一个搜索请求都必须访问每一个segment，这就意味着存在的segment越多，搜索请求就会变的更慢。那么elaticsearch是如何解决这个问题呢？实际上elasticsearc

我是攻城师

2018-05-14

4.5K0

关于elaticsearch中更新数据的几种方式

作为一个成熟的框架，Elasticsearch里面提供了丰富的操作数据的api，本篇我们就来学习一下在es中更新数据的几种方式。（一）普通更新（1）修改某个字段 java api：注意部分更新功

我是攻城师

2018-05-14

3K0

如何优雅的全量读取Elasticsearch索引里面的数据

（一）scroll的介绍有时候我们可能想要读取整个es索引的数据或者其中的大部分数据，来重建索引或者加工数据，相信大多数人都会说这很简单啊直接用from+size就能搞定，但实际情况是from+size的分页方法不适合用于这种全量数据的抽取，越到后面这种方法的性能就越低，这也是es里面为什么限制了单次查询结果的数据不能超过1万条数据的原因。 es里面提供了scroll的方式来全量读取索引数据其与数据库里面的游标（cursor）的概念非常类似，使用scroll读取数据的时候，只需要发送一次查询请求，然后es

我是攻城师

2018-05-14

15.4K0

如何备份ElasticSearch索引数据到HDFS上

es 2 存储 jdk

在ElasticSearch里面备份策略已经比较成熟了目前在ES5.x中备份支持的存储方式有如下几种：在这里我们主要介绍如何备份索引数据到HDFS上。首先，我们先从名词概念上理解下备份相关术语：

我是攻城师

2018-05-14

1.6K0

kafka版本不一致导致的一个小问题（二）

背景介绍：我们公司的实时流项目现在用的spark streaming比较多，这里再说下版本： spark streaming2.1.0 kafka 0.9.0.0 spark streaming如果

我是攻城师

2018-05-14

2.2K0

使用Java Rest Client操作Elasticsearch

java es 2 开源 php

Elasticsearch作为一个成熟的开源框架，对主流的多种客户端语言都支持，比如Java，JavaScript ，PHP，.Net，Python，Ruby，CURL当然还有一些小众的语言，虽然es官网没支持，但是个人开发者也有一些开源的，具体的可在es官网clients地址查看： https://www.elastic.co/guide/en/elasticsearch/client/index.html 开发过程中，基本最常用的就是Java和curl的方式了，因为es本身就是使用java语言开发的，

我是攻城师

2018-05-14

2.8K0

简述ElasticSearch里面复杂关系数据的存储方式

es 2 存储数据库 nosql lucene/solr

在传统的数据库里面，对数据关系描述无外乎三种，一对一，一对多和多对多的关系，如果有关联关系的数据，通常我们在建表的时候会添加主外键来建立数据联系，然后在查询或者统计时候通过join来还原或者补全数据，最终得到我们需要的结果数据，那么转化到ElasticSearch里面，如何或者怎样来处理这些带有关系的数据。我们都知道ElasticSearch是一个NoSQL类型的数据库，本身是弱化了对关系的处理，因为像lucene，es，solr这样的全文检索框架对性能要求都是比较高的，一旦出现join这样的操作，性能会

我是攻城师

2018-05-14

5K0

理解elasticsearch的parent-child关系

前面文章介绍了，在es里面的几种数据组织关系，包括array[object]，nested，以及今天要说的Parent-Child。 Parent-Child与Nested非常类似，都可以用来处理一对多的关系，如果多对多的关系，那就拆分成一对多在处理。前面提到nested的缺点是对数据的更新需要reindex整个nested结构下的所有数据，所以注定了它的使用场景一定是查询多更新少的场景，如果是更新多的场景，那么nested的性能未必会很好，而Parent-Child就非常适合在更新多的场景，因为Paren

我是攻城师

2018-05-14

2.7K0

ElasticSearch的一些删除用法笔记

前面关于es的文章基本上都是添加，修改，更新操作，删除的例子仅仅有根据id删除单条数据的。但作为一个重度使用es的用户，我们肯定得了解所有相关删除操作的命令，才能更加方便的使用和维护es。通常情况下，删除操作是非常敏感的，这一点不论在关系型数据库，还是nosql数据库都是同样的道理。在es里面也是如此，虽然es大部分时候都是读多写少的系统。在es里面常用的删除需求，通常如下：（1）根据某个主键id删除单条数据（2）根据某个查询条件删除一批数据（3）删除某个type的数据（4）删除某个index的

我是攻城师

2018-05-14

1.9K0

关于Elasticsearch里面聚合group的坑

es 2 分布式搜索引擎

原来知道Elasticsearch在分组聚合时有一些坑但没有细究，今天又看了遍顺便做个笔记和大家分享一下。我们都知道Elasticsearch是一个分布式的搜索引擎，每个索引都可以有多个分片，用来将一份大索引的数据切分成多个小的物理索引，解决单个索引数据量过大导致的性能问题，另外每个shard还可以配置多个副本，来保证高可靠以及更好的抗并发的能力。将一个索引切分成多个shard，大多数时候是没有问题的，但是在es里面如果索引被切分成多个shard，在使用group进行聚合时，可能会出现问题，这个在官网文

我是攻城师

2018-05-14

2.5K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态