触类旁通Elasticsearch:简介

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/85613919

目录

一、概念

1. 基本概念

2. 分布式相关概念

二、功能特性总结

三、ES架构


准备写一个Elasticsearch的专题,记录和总结一下这段时间对Elasticsearch的学习过程。之所以叫做触类旁通,是希望和RDBMS作比较,这里的“类”指的就是数据库。当然刚看了一个月,“通”是不敢说了,只是借用这个词而已。Elasticsearch的强项是解决搜索问题,但是在使用场景有严格约束的情况下,也可以将它用作数据库查询,其实这样使用的用户应该也不少。

必须强调本专题的所有DSL语句都只在ES 6.4.3版本上执行通过,而不保证在其它版本上能执行。对于ES最深的印象是其版本升级的随意性。几周升级一个新版本,而在大版本迭代时,其API语法、数据类型、实现方式等等方面变化之大,大到让我感觉就没有“向后兼容”这回事儿的存在。如此任性的做法,到底是说明开发者的水平高,还是这东西本身就缺乏体系、标准与规范呢?要用ES,就做好绑死一个版本的准备吧,无论是只用它做搜索,还是当DB使。别想着版本升级、数据迁移这些事儿了,除非你想“从头再来”。

一、概念

1. 基本概念

如前所述,我们对比DB来理解ES的相关概念。虽然在有些方面不具有可比性(比如事务),但这样入手对于DBA来说会相对容易些。ES是构建在Apache Lucene之上的开源分布式搜索引擎。Lucene是开源的搜索引擎包,允许用户通过自己的Java应用程序实现搜索功能。ES充分利用Lucene,并对其功能进行了扩展,并且是正如名字中的“elastic”所示,ES是灵活、有弹性、易扩展的系统。

(1)索引 索引是ES最重要的概念。我理解ES的“索引”有两层含义,用作名词时,索引类似于DB中的表。此时索引是一种数据结构,它依据数据建造,最终提供快速搜索功能。ES的低层是Lucene,而Lucene使用的是倒排索引。倒排索引类似于DB中的位图索引。DB中的普通索引通常是用尽量小的键值查找记录。例如,通过文章ID查找其标签或其它属性。而倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引中的每一项都包括一个属性值(如标签)和具有该属性值的各记录的地址(如文章ID)。由于不是由记录来确定属性值,而是由属性值来确定记录的位置,因而称为倒排索引(inverted index)。带有倒排索引的文件称为倒排索引文件,简称倒排文件(inverted file)。

在ES中,当索引一词用作动词时,指的是类似于DB中的insert操作。“索引”一篇文档基本就是指将文档PUT到索引中,在此过程中将生成该文档的倒排索引。

(2)文档 一个文档是一个可被索引的基础信息单元。如果说将ES索引比作DB的表,那么ES的文档就是表中的记录,记录中的包含的字段对应文档的属性。但需要注意,DB的一个表中的所有记录都必须具有严格的固定的字段定义。而ES中的文档是no-schema的,也就是说一个索引中的文档结构是松散的,不同文档允许拥有不同的属性,不必须象表记录那样严格。

(3)搜索 ES的搜索类比于DB中的select操作,当然两者的差别还是很明显的。DB的查询功能是利用关键字、组合条件对表中数据的相关信息进行查找。可以根据系统表单中设定的字段对指定的关键字进行排查,处理的主要对象是结构化数据。搜索主要指对非结构化的文本内容进行查找和匹配。

DB与ES相关概念类比如下表所示:

DB

ES

Table

Index

Row

Document

Column

Field

Index

倒排索引,每个字段均可被索引

Schema

Mapping

SQL

DSL

2. 分布式相关概念

(1)集群 一个集群(cluster)将一个或多个节点组织在一起,它们共同持有整个索引的数据,并一起提供索引和搜索功能。一个集群由一个唯一的名字标识,节点通过集群名加入到ES集群中的。集群中可以包含一个或多个节点。其中有一个为主节点,这个主节点是通过选举产生的。主从节点是对于集群内部来说的。ES的一个概念就是去中心化,字面上理解就是无中心节点,这是对于集群外部来说的。从外部来看ES集群,在逻辑上是个整体,与任何一个节点的通信和与整个ES集群通信是等价的。

(2)节点 一个ES实例即为一个节点(node)。一个节点是集群中的一个服务器,作为集群的一部分,它存储数据,参与集群的索引和搜索功能。和集群类似,一个节点也是由一个名字来标识的。

一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下,每个节点都会被安排加入到一个叫做“elasticsearch”的集群中。这意味着,如果在网络中启动了若干个节点,并假定它们能够相互发现彼此(多播方式),它们将会自动地形成并加入到一个叫做“elasticsearch”的集群中。

一个集群里可以拥有任意多个节点。而且,如果当前网络中没有运行任何Elasticsearch节点,这时启动一个节点,会默认创建并加入一个叫做“elasticsearch”的集群。

(3)分片 一个索引可以存储超出单个结点硬件限制的大量数据。比如,一个具有10亿文档的索引占据1TB的磁盘空间,而任一节点都没有这样大的磁盘空间;或者单个节点处理搜索请求,响应太慢。为了解决这个问题,Elasticsearch提供了将索引划分成多份的能力,这些份就叫做分片(shard)。

ES可以把一个完整的索引分成多个分片,这样的好处是可以把一个大的索引拆分成多个,分布到不同的节点上。分片的数量只能在索引创建时指定,并且索引创建后分片数量不能更改。一个分片即为一个Lucene实例。每个分片本身也是一个功能完善并且独立的“索引”,这个“索引”可以被放置到集群中的任何节点上。

分片很重要,主要有两方面的原因:

  • 允许水平分割/扩展容量。
  • 允许在位于多个节点上的分片之上进行分布式的、并行的操作,进而提高性能/吞吐量。

至于一个分片怎样分布,它的文档怎样聚合回搜索请求,完全由ES管理,对于用户来说是透明的。

(4)副本 在一个网络环境里,失败随时都可能发生,有一个故障转移机制是非常有用并且是强烈推荐的。为此目的,ES允许创建分片的一份或多份拷贝,这些拷贝叫做副本分片,或者直接叫副本(replicas)。副本分片和对应的主分片不能存储于同一节点上。默认情况下,ES中的每个索引被分成5个主分片,每个主分片1个副本,副本数量允许在索引创建后进行修改。副本的作用一是提高系统的容错性,当个某个节点某个分片损坏或丢失时可以从副本中搜索。二是提高查询效率,ES会自动对搜索请求进行负载均衡。

二、功能特性总结

  • 提供接近实时(NRT)查询。ES是一个接近实时的搜索平台。这意味着,从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟(通常是1秒)。
  • 缺省通过TF-IDF算法计算相关性得分(relevancy score),确保结果相关性。
  • 超越精确匹配。ES支持容错(如拼写错误)、变体(如相同词干搜索)、统计信息和自动提示。
  • 将文档分布到不同的容器或者分片中,分片可以存在于一个或多个节点中。
  • 将分片均匀的分配到各个节点,对索引和搜索做负载均衡。
  • 冗余每一个分片,防止硬件故障造成的数据丢失。
  • 通过文档ID的哈希值,将集群中任意一个节点上的请求路由到相应数据所在的节点。
  • 无论是增加节点,还是移除节点,分片都可以做到无缝的扩展和迁移。

三、ES架构

  • Gateway是ES用来存储索引的文件系统,支持多种类型。
  • Gateway的上层是一个分布式的Lucene框架。
  • Lucene之上是ES的模块,包括:索引模块、搜索模块、映射解析模块等。
  • ES模块之上是 Discovery、Scripting和第三方插件。Discovery是ES的节点发现模块,不同机器上的ES节点要组成集群需要进行消息通信,集群内部需要选举master节点,这些工作都是由Discovery模块完成。支持多种发现机制,如 Zen 、EC2、gce、Azure。Scripting用来支持在查询语句中插入javascript、python等脚本语言,scripting模块负责解析这些脚本,使用脚本语句性能稍低。ES也支持多种第三方插件。
  • 再上层是ES的传输模块和JMX.传输模块支持多种传输协议,如 Thrift、memecached、http,默认使用http。JMX是java的管理框架,用来管理ES应用。
  • 最上层是ES提供给用户的接口,可以通过RESTful接口和ES集群进行交互。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券