前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >ElasticSearch快速入门(三)

ElasticSearch快速入门(三)

作者头像
十玖八柒
发布2022-08-01 09:55:59
5440
发布2022-08-01 09:55:59
举报
文章被收录于专栏:ahzoo.cn的博客分享

Windows集群

单机集群

复制ElasticSearch文件夹,需要创建几个节点就复制几个; 复制完后,删除非主节点的data文件夹,如果不确定哪个是主节点,就把全部节点的data文件夹删除(data文件夹里存的数据记得提前备份);

图片
图片

然后分别修改配置文件(ElasticSearch.yaml) 第一个节点:

代码语言:javascript
复制
#集群名称,节点之间要保持一致 
cluster.name: my-elasticsearch 
#节点名称,集群内要唯一 
node.name: ahzoo-1001
#允许这个节点被选举为一个主节点(默认允许)
node.master: true 
#允许这个节点存储数据(默认允许)
node.data: true   
#ip 地址 
network.host: localhost 
#http 端口 
http.port: 9200
#tcp 监听端口 
transport.tcp.port: 9301  
#集群个节点IP地址,也可以使用域名,需要各节点能够解析 
#discovery.seed_hosts: ["localhost:9301", "localhost:9302","localhost:9303"] 
#超时时间
#discovery.zen.fd.ping_timeout: 1m 
#重连次数
#discovery.zen.fd.ping_retries: 5   
#集群内的可以被选为主节点的节点列表 
#cluster.initial_master_nodes: ["node-1", "node-2","node-3"]   

#跨域配置 
#action.destructive_requires_name: true 
http.cors.enabled: true 
http.cors.allow-origin: "*"

第二个节点:

代码语言:javascript
复制

#集群名称,节点之间要保持一致 
cluster.name: my-elasticsearch 
#节点名称,集群内要唯一 
node.name: ahzoo-1002
#允许这个节点被选举为一个主节点(默认允许)
node.master: true 
#允许这个节点存储数据(默认允许)
node.data: true   
#ip 地址 
network.host: localhost 
#http 端口 
http.port: 9201
#tcp 监听端口 
# transport.tcp.port: 9302 
#discovery.seed_hosts: ["localhost:9301", "localhost:9302","localhost:9303"] 
#discovery.zen.fd.ping_timeout: 1m 
#discovery.zen.fd.ping_retries: 5   
#集群内的可以被选为主节点的节点列表 
#cluster.initial_master_nodes: ["node-1", "node-2","node-3"]   
#跨域配置 
#action.destructive_requires_name: true 
http.cors.enabled: true 
http.cors.allow-origin: "*"

第三个节点

代码语言:javascript
复制
#集群名称,节点之间要保持一致 
cluster.name: my-elasticsearch 
#节点名称,集群内要唯一 
node.name: ahzoo-1003
#允许这个节点被选举为一个主节点(默认允许)
node.master: true 
#允许这个节点存储数据(默认允许)
node.data: true   
#ip 地址 
network.host: localhost 
#http 端口 
http.port: 9202
#tcp 监听端口 
# transport.tcp.port: 9303 
#discovery.seed_hosts: ["localhost:9301", "localhost:9302","localhost:9303"] 
#discovery.zen.fd.ping_timeout: 1m 
#discovery.zen.fd.ping_retries: 5   
#集群内的可以被选为主节点的节点列表 
#cluster.initial_master_nodes: ["node-1", "node-2","node-3"]   
#跨域配置 
#action.destructive_requires_name: true 
http.cors.enabled: true 
http.cors.allow-origin: "*"

然后分别双击bin/elasticsearch.bat, 启动所有节点; 启动elasticsearch-head查看节点状态

图片
图片

测试节点: 在9200端口新建一条索引;

图片
图片

可以看到信息成功同步到了剩下的两个端口中

图片
图片
图片
图片

多机集群

对每个节点的ElasticSearch配置文件进行修改: 第一个节点(使用主机端测试):

代码语言:javascript
复制
#跨域配置 
#action.destructive_requires_name: true 
http.cors.enabled: true 
http.cors.allow-origin: "*"

#集群名称,节点之间要保持一致 
cluster.name: my-elasticsearch 
#节点名称,集群内要唯一 
node.name: ahzoo-1001
#允许这个节点被选举为一个主节点(默认允许)
node.master: true 
#允许这个节点存储数据(默认允许)
node.data: true   
#当前节点的IP地址 
network.host: 192.168.6.125 
#对外提供服务的端口
http.port: 9200
http.host: 0.0.0.0 # 开放远程访问
#tcp 监听端口 
transport.tcp.port: 9300
#集群个节点IP地址,也可以使用域名,需要各节点能够解析 
# discovery.zen.ping.unicast.hosts: ["192.168.6.125","192.168.6.155"] 
discovery.seed_hosts: ["192.168.6.125", "192.168.6.155"] 
#超时时间
#discovery.zen.fd.ping_timeout: 1m 
#重连次数
#discovery.zen.fd.ping_retries: 5   
#集群内的可以被选为主节点的节点列表 
cluster.initial_master_nodes: ["ahzoo-1001", "ahzoo-1002"]   

第二个节点(放在远程端测试):

代码语言:javascript
复制
#跨域配置 
#action.destructive_requires_name: true 
http.cors.enabled: true 
http.cors.allow-origin: "*"

#集群名称,节点之间要保持一致 
cluster.name: my-elasticsearch 
#节点名称,集群内要唯一 
node.name: ahzoo-1002
#允许这个节点被选举为一个主节点(默认允许)
node.master: true 
#允许这个节点存储数据(默认允许)
node.data: true   
#当前节点的IP地址 
network.host: 192.168.6.155 
#对外提供服务的端口
http.port: 9200
http.host: 0.0.0.0 # 开放远程访问
#tcp 监听端口 
transport.tcp.port: 9300
#集群个节点IP地址,也可以使用域名,需要各节点能够解析 
# discovery.zen.ping.unicast.hosts: ["192.168.6.125","192.168.6.155"] 
discovery.seed_hosts: ["192.168.6.125", "192.168.6.155"] 
#超时时间
#discovery.zen.fd.ping_timeout: 1m 
#重连次数
#discovery.zen.fd.ping_retries: 5   
#集群内的可以被选为主节点的节点列表 
cluster.initial_master_nodes: ["ahzoo-1001", "ahzoo-1002"]   

分别启动两个节点的ElasticSearch(bin/elasticsearch.bat) 使用elasticsearch-head查看:

图片
图片

在9200端口(主机端)新建一个索引

图片
图片

在主机端查询远程端的数据

图片
图片

在远程端查询主机端数据:

图片
图片

可以看到数据在两个节点之间是同步的

核心概念

索引(Index)

一个索引就是一个拥有几分相似特征的文档的集合。比如说,你可以有一个客户数据的 索引,另一个产品目录的索引,还有一个订单数据的索引。一个索引由一个名字来标识(必 须全部是小写字母),并且当我们要对这个索引中的文档进行索引、搜索、更新和删除的时 候,都要使用到这个名字。在一个集群中,可以定义任意多的索引。 能搜索的数据必须索引,这样的好处是可以提高查询速度,比如:新华字典前面的目录 就是索引的意思,目录可以提高查询速度。

Elasticsearch 索引的精髓:一切设计都是为了提高搜索的性能。

类型(Type)

在一个索引中,你可以定义一种或多种类型。 一个类型是你的索引的一个逻辑上的分类/分区,其语义完全由你来定。通常,会为具有一组共同字段的文档定义一个类型。不同的版本,类型发生了不同的变化

版本

7.X

默认为_doc,且不再支持自定义索引

6.X

只能有一种type

文档(Document)

一个文档是一个可被索引的基础信息单元,也就是一条数据 比如:你可以拥有某一个客户的文档,某一个产品的一个文档,当然,也可以拥有某个 订单的一个文档。文档以JSON(Javascript Object Notation)格式来表示,而JSON 是一个到处存在的互联网数据交互格式。 在一个index/type 里面,你可以存储任意多的文档。

字段(Field)

相当于是数据表的字段,对文档数据根据不同属性进行的分类标识。

映射(Mapping)

mapping 是处理数据的方式和规则方面做一些限制,如:某个字段的数据类型、默认值、分析器、是否被索引等等。这些都是映射里面可以设置的,其它就是处理ES 里面数据的一些使用规则设置也叫做映射,按着最优规则处理数据对性能提高很大,因此才需要建立映射,并且需要思考如何建立映射才能对性能更好。

分片(Shards)

一个索引可以存储超出单个节点硬件限制的大量数据。比如,一个具有10 亿文档数据的索引占据 1TB 的磁盘空间,而任一节点都可能没有这样大的磁盘空间。或者单个节点处理搜索请求,响应太慢。为了解决这个问题,Elasticsearch 提供了将索引划分成多份的能力,每一份就称之为分片。当你创建一个索引的时候,你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的“索引”,这个“索引”可以被放置到集群中的任何节点上。 分片很重要,主要有两方面的原因: 1)允许你水平分割 / 扩展你的内容容量。 2)允许你在分片之上进行分布式的、并行的操作,进而提高性能/吞吐量。 至于一个分片怎样分布,它的文档怎样聚合和搜索请求,是完全由Elasticsearch 管理的,对于作为用户的你来说,这些都是透明的,无需过分关心。

被混淆的概念是,一个 Lucene 索引 我们在 Elasticsearch 称作 分片 。 一个 Elasticsearch 索引 是分片的集合。 当 Elasticsearch 在索引中搜索的时候, 他发送查询到每一个属于索引的分片(Lucene 索引),然后合并每个分片的结果到一个全局的结果集。

副本(Replicas)

在一个网络 / 云的环境里,失败随时都可能发生,在某个分片/节点不知怎么的就处于离线状态,或者由于任何原因消失了,这种情况下,有一个故障转移机制是非常有用并且是强烈推荐的。为此目的,Elasticsearch 允许你创建分片的一份或多份拷贝,这些拷贝叫做复制分片(副本)。 复制分片之所以重要,有两个主要原因:

  • 在分片/节点失败的情况下,提供了高可用性。因为这个原因,注意到复制分片从不与原/主要(original/primary)分片置于同一节点上是非常重要的。
  • 扩展你的搜索量/吞吐量,因为搜索可以在所有的副本上并行运行。 总之,每个索引可以被分成多个分片。一个索引也可以被复制0 次(意思是没有复制)或多次。一旦复制了,每个索引就有了主分片(作为复制源的原来的分片)和复制分片(主分片的拷贝)之别。分片和复制的数量可以在索引创建的时候指定。在索引创建之后,你可以在任何时候动态地改变复制的数量,但是你事后不能改变分片的数量。默认情况下,Elasticsearch 中的每个索引被分片1 个主分片和1 个复制,这意味着,如果你的集群中至少有两个节点,你的索引将会有1 个主分片和另外1 个复制分片(1 个完全拷贝),这样的话每个索引总共就有2 个分片,我们需要根据索引需要确定分片个数。 ​

分配(Allocation)

将分片分配给某个节点的过程,包括分配主分片或者副本。如果是副本,还包含从主分片复制数据的过程。这个过程是由master 节点完成的。

集群(cluster)

在一个分布式系统里面,可以通过多个elasticsearch运行实例组成一个集群,这个集群里面有一个节点叫做主节点(master),elasticsearch是去中心化的,所以这里的主节点是动态选举出来的,不存在单点故障。 在同一个子网内,只需要在每个节点上设置相同的集群名,elasticsearch就会自动的把这些集群名相同的节点组成一个集群。节点和节点之间通讯以及节点之间的数据分配和平衡全部由elasticsearch自动管理。 在外部看来elasticsearch就是一个整体。

节点(node)

每一个运行实例称为一个节点,每一个运行实例既可以在同一机器上,也可以在不同的机器上。 所谓运行实例,就是一个服务器进程,在测试环境中可以在一台服务器上运行多个服务器进程,在生产环境中建议每台服务器运行一个服务器进程。 ​

系统架构

图片
图片

倒排索引

正向索引(forward index),反向索引(inverted index)一般称为倒排索引。 Elasticsearch 使用一种称为倒排索引的结构,它适用于快速的全文搜索。 所谓的正向索引,就是搜索引擎会将待搜索的文件都对应一个文件 ID,搜索时将这个ID 和搜索关键字进行对应,形成K-V 对,然后对关键字进行统计计数 。

图片
图片

但是互联网上收录在搜索引擎中的文档的数目是个天文数字,这样的索引结构根本无法满足实时返回排名结果的要求。所以,搜索引擎会将正向索引重新构建为倒排索引,即把文件ID 对应到关键词的映射转换为关键词到文件ID 的映射,每个关键词都对应着一系列的文件,这些文件中都出现这个关键词。 一个倒排索引由文档中所有不重复词的列表构成,对于其中每个词,有一个包含它的文档列表。

图片
图片
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2021-10-24,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Windows集群
    • 单机集群
      • 多机集群
      • 核心概念
        • 索引(Index)
          • 类型(Type)
            • 文档(Document)
              • 字段(Field)
                • 映射(Mapping)
                  • 分片(Shards)
                    • 副本(Replicas)
                      • 分配(Allocation)
                        • 集群(cluster)
                          • 节点(node)
                            • 系统架构
                              • 倒排索引
                              相关产品与服务
                              Elasticsearch Service
                              腾讯云 Elasticsearch Service(ES)是云端全托管海量数据检索分析服务,拥有高性能自研内核,集成X-Pack。ES 支持通过自治索引、存算分离、集群巡检等特性轻松管理集群,也支持免运维、自动弹性、按需使用的 Serverless 模式。使用 ES 您可以高效构建信息检索、日志分析、运维监控等服务,它独特的向量检索还可助您构建基于语义、图像的AI深度应用。
                              领券
                              问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档