前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >大数据ELK(五):Elasticsearch中的核心概念

大数据ELK(五):Elasticsearch中的核心概念

作者头像
Lansonli
修改2022-09-27 08:38:50
4100
修改2022-09-27 08:38:50
举报
文章被收录于专栏:Lansonli技术博客Lansonli技术博客

Elasticsearch中的核心概念

一、索引 index

  • 一个索引就是一个拥有几分相似特征的文档的集合。比如说,可以有一个客户数据的索引,另一个产品目录的索引,还有一个订单数据的索引
  • 一个索引由一个名字来标识(必须全部是小写字母的),并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候,都要使用到这个名字
  • 在一个集群中,可以定义任意多的索引。

二、映射 mapping

  • ElasticSearch中的映射(Mapping)用来定义一个文档
  • mapping是处理数据的方式和规则方面做一些限制,如某个字段的数据类型、默认值、分析器、是否被索引等等,这些都是映射里面可以设置的

三、字段Field

相当于是数据表的字段,对文档数据根据不同属性进行的分类标识

四、类型 Type

每一个字段都应该有一个对应的类型,例如:Text、Keyword、Byte等

五、文档 document

一个文档是一个可被索引的基础信息单元。比如,可以拥有某一个客户的文档,某一个产品的一个文档,当然,也可以拥有某个订单的一个文档。文档以JSON(Javascript Object Notation)格式来表示,而JSON是一个到处存在的互联网数据交互格式

六、集群 cluster

  • 一个集群就是由一个或多个节点组织在一起,它们共同持有整个的数据,并一起提供索引和搜索功能
  • 一个集群由一个唯一的名字标识,这个名字默认就是“elasticsearch”
  • 这个名字是重要的,因为一个节点只能通过指定某个集群的名字,来加入这个集群

七、节点 node

  • 一个节点是集群中的一个服务器,作为集群的一部分,它存储数据,参与集群的索引和搜索功能
  • 一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下,每个节点都会被安排加入到一个叫做“elasticsearch”的集群中
  • 这意味着,如果在网络中启动了若干个节点,并假定它们能够相互发现彼此,它们将会自动地形成并加入到一个叫做“elasticsearch”的集群中
  • 在一个集群里,可以拥有任意多个节点。而且,如果当前网络中没有运行任何Elasticsearch节点,这时启动一个节点,会默认创建并加入一个叫做“elasticsearch”的集群。

八、分片和副本 shards&replicas

1、分片

  • 一个索引可以存储超出单个结点硬件限制的大量数据。比如,一个具有10亿文档的索引占据1TB的磁盘空间,而任一节点都没有这样大的磁盘空间;或者单个节点处理搜索请求,响应太慢
  • 为了解决这个问题,Elasticsearch提供了将索引划分成多份的能力,这些份就叫做分片
  • 当创建一个索引的时候,可以指定你想要的分片的数量
  • 每个分片本身也是一个功能完善并且独立的“索引”,这个“索引”可以被放置到集群中的任何节点上
  • 分片很重要,主要有两方面的原因
    1. 允许水平分割/扩展你的内容容量
    2. 允许在分片之上进行分布式的、并行的操作,进而提高性能/吞吐量
  • 至于一个分片怎样分布,它的文档怎样聚合回搜索请求,是完全由Elasticsearch管理的,对于作为用户来说,这些都是透明的

2、副本

  • 在一个网络/云的环境里,失败随时都可能发生,在某个分片/节点不知怎么的就处于离线状态,或者由于任何原因消失了,这种情况下,有一个故障转移机制是非常有用并且是强烈推荐的。为此目的,Elasticsearch允许你创建分片的一份或多份拷贝,这些拷贝叫做副本分片,或者直接叫副本
  • 副本之所以重要,有两个主要原因
    1. 在分片/节点失败的情况下,提供了高可用性。注意到复制分片从不与原/主要(original/primary)分片置于同一节点上是非常重要的
    2. 扩展搜索量/吞吐量,因为搜索可以在所有的副本上并行运行
  • 每个索引可以被分成多个分片。一个索引有0个或者多个副本
  • 一旦设置了副本,每个索引就有了主分片和副本分片,分片和副本的数量可以在索引创建的时候指定
  • 在索引创建之后,可以在任何时候动态地改变副本的数量,但是不能改变分片的数量

九、总结

ES中的相关的术语总结:

  • index: 索引库  在一个ES中可以构建多个索引库的, 理解为MySQL中数据库, 或者 hbase 中 命名空间
  • type: 类型  在一个索引库下 可以构建多个类型, 相当于在MySQL中一个数据库下面可以构建多个表, 或者在命名空间下构建多个表,ES在最新 6.x版本后, 已经不允许在一个索引库下有多个不同类型, 只允许有一个了
  • filed: 字段   在索引库中, 可以有多个字段, 同时每个字段拥有数据类型的 , 类似于表中有多个字段, 每个字段有自己的类型
  • document: 文档  描述的是索引库中一行数据, 一个文档就表示一行数据, 类型与 表中 row
  • mapping: 映射  用于设置索引库中字段的数据类型, 比如说, 字段采用什么类型, 字段是否需要分词, 是否需要索引,是否需要保存(原始数据)....
  • setting: 设置  用于对索引库设置  比如 设置索引库有多少个分片 多少个副本....
  • cluster: 集群 表示ES的集群
  • node: 节点  ES的各个节点
  • shards: 分片   一个索引库可以被分为多个分片  默认为 5
  • replicas: 副本   一个分片可以被分为多个副本  默认为 2

注意:

  • 分片的数量不受节点的限制
  • 副本的数据最多和节点的数量是一致的: 副本数量 <=节点的数量
  • 副本一般为 :2 或者 3
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2021-09-19 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Elasticsearch中的核心概念
    • 一、索引 index
      • 二、映射 mapping
        • 三、字段Field
          • 四、类型 Type
            • 五、文档 document
              • 六、集群 cluster
                • 七、节点 node
                  • 八、分片和副本 shards&replicas
                    • 1、分片
                    • 2、副本
                  • 九、总结
                    • ES中的相关的术语总结:
                    • 注意:
                相关产品与服务
                Elasticsearch Service
                腾讯云 Elasticsearch Service(ES)是云端全托管海量数据检索分析服务,拥有高性能自研内核,集成X-Pack。ES 支持通过自治索引、存算分离、集群巡检等特性轻松管理集群,也支持免运维、自动弹性、按需使用的 Serverless 模式。使用 ES 您可以高效构建信息检索、日志分析、运维监控等服务,它独特的向量检索还可助您构建基于语义、图像的AI深度应用。
                领券
                问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档