前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >ElasticSearch快速入门【建议收藏】

ElasticSearch快速入门【建议收藏】

作者头像
码农编程进阶笔记
发布2022-06-29 14:22:51
4680
发布2022-06-29 14:22:51
举报
文章被收录于专栏:码农编程进阶笔记

链接上一篇文章 :深入浅出讲解 ElasticSearch的安装与使用【建议收藏】 3.ES快速入门

ES作为一个索引及搜索服务,对外提供丰富的REST接口,快速入门部分的实例使用head插件来测试,目的是对ES的使用方法及流程有个初步的认识。

3.1 创建索引库

ES的索引库是一个逻辑概念,它包括了分词列表及文档列表,同一个索引库中存储了相同类型的文档。它就相当于MySQL中的表,或相当于Mongodb中的集合。 关于索引这个语: 索引(名词):ES是基于Lucene构建的一个搜索服务,它要从索引库搜索符合条件索引数据。 索引(动词):索引库刚创建起来是空的,将数据添加到索引库的过程称为索引。

下边介绍两种创建索引库的方法,它们的工作原理是相同的,都是客户端向ES服务发送命令。 1)使用postman或curl这样的工具创建:

代码语言:javascript
复制
put http://localhost:9200/索引库名称
代码语言:javascript
复制
{
    "settings":{
        "index":{
            "number_of_shards":1,
            "number_of_replicas":0
        }
    }
}

number_of_shards:设置分片的数量,在集群中通常设置多个分片,表示一个索引库将拆分成多片分别存储不同的结点,提高了ES的处理能力和高可用性,入门程序使用单机环境,这里设置为1。 number_of_replicas:设置副本的数量,设置副本是为了提高ES的高可靠性,单机环境设置为0. 如下是创建的例子,创建xc_course索引库,共1个分片,0个副本:

使用head插件创建

3.2 创建映射
3.2.1 概念说明

在索引中每个文档都包括了一个或多个field,创建映射就是向索引库中创建field的过程,下边是document和field与关系数据库的概念的类比:

文档(Document)----------------Row记录 字段(Field)-------------------Columns 列 注意:6.0之前的版本有type(类型)概念,type相当于关系数据库的表,ES官方将在ES9.0版本中彻底删除type。

上边讲的创建索引库相当于关系数据库中的数据库还是表? 1、如果相当于数据库就表示一个索引库可以创建很多不同类型的文档,这在ES中也是允许的。 2、如果相当于表就表示一个索引库只能存储相同类型的文档,ES官方建议 在一个索引库中只存储相同类型的文档。

3.2.2 创建映射

我们要把信息存储到ES中,这里我们创建信息的映射,先来一个简单的映射,如下:

代码语言:javascript
复制
发送:post http://localhost:9200/索引库名称/类型名称/_mapping

创建类型为xc_course的映射,共包括三个字段:name、description、studymondel 由于ES6.0版本还没有将type彻底删除,所以暂时把type起一个没有特殊意义的名字。

代码语言:javascript
复制
post 请求:http://localhost:9200/xc_course/doc/_mapping

表示:在xc_course索引库下的doc类型下创建映射。doc是类型名,可以自定义,在ES6.0中要弱化类型的概念,给它起一个没有具体业务意义的名称。

代码语言:javascript
复制
{
    "properties":{
        "name":{
            "type":"text"
        },
        "description":{
            "type":"text"
        },
        "studymodel":{
            "type":"keyword"
        }
    }
}

映射创建成功,查看head界面:

3.3 创建文档

ES中的文档相当于MySQL数据库表中的记录。

代码语言:javascript
复制
发送:put 或Post http://localhost:9200/xc_course/doc/id值

(如果不指定id值ES会自动生成ID)

代码语言:javascript
复制
http://localhost:9200/xc_course/doc/4028e58161bcf7f40161bcf8b77c0000
代码语言:javascript
复制
{
"name":"Bootstrap开发框架",
"description":"Bootstrap是由Twitter推出的一个前台页面开发框架,在行业之中使用较为广泛。此开发框架包含了大量的CSS、JS程序代码,可以帮助开发者(尤其是不擅长页面开发的程序人员)轻松的实现一个不受浏览器限制的精美界面效果。",
"studymodel":"201001"
}

使用postman测试:

通过head查询数据:

3.4 搜索文档

1、根据课程id查询文档

代码语言:javascript
复制
发送:get http://localhost:9200/xc_course/doc/4028e58161bcf7f40161bcf8b77c0000

使用postman测试:

2、查询所有记录

代码语言:javascript
复制
发送 get http://localhost:9200/xc_course/doc/_search

3、查询名称中包括spring 关键字的的记录

代码语言:javascript
复制
发送:get http://localhost:9200/xc_course/doc/_search?q=name:bootstrap

4、查询学习模式为201001的记录

代码语言:javascript
复制
发送 get http://localhost:9200/xc_course/doc/_search?q=studymodel:201001
3.4.1查询结果分析
代码语言:javascript
复制
{
    "took": 4,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 1,
        "max_score": 1,
        "hits": [
            {
                "_index": "xc_course",
                "_type": "doc",
                "_id": "4028e58161bcf7f40161bcf8b77c0000",
                "_score": 1,
                "_source": {
                    "name": "Bootstrap开发框架",
                    "description": "Bootstrap是由Twitter推出的一个前台页面开发框架,在行业之中使用较为广泛。此开发框架包含了大量的CSS、JS程序代码,可以帮助开发者(尤其是不擅长页面开发的程序人员)轻松的实现一个不受浏览器限制的精美界面效果。",
                    "studymodel": "201001"
                }
            }
        ]
    }
}

took:本次操作花费的时间,单位为毫秒。 timed_out:请求是否超时 _shards:说明本次操作共搜索了哪些分片 hits:搜索命中的记录 hits.total :符合条件的文档总数 hits.hits :匹配度较高的前N个文档 hits.max_score:文档匹配得分,这里为最高分 _score:每个文档都有一个匹配度得分,按照降序排列。 _source:显示了文档的原始内容。

4 IK分词器

4.1测试分词器

在添加文档时会进行分词,索引中存放的就是一个一个的词(term),当你去搜索时就是拿关键字去匹配词,最终找到词关联的文档。

测试当前索引库使用的分词器:

代码语言:javascript
复制
post 发送:localhost:9200/_analyze
代码语言:javascript
复制
{"text":"测试分词器,后边是测试内容:spring cloud实战"}

结果如下:

会发现分词的效果将 “测试” 这个词拆分成两个单字“测”和“试”,这是因为当前索引库使用的分词器对中文就是单字分词。

4.2 安装IK分词器

使用IK分词器可以实现对中文分词的效果。 下载IK分词器:(Github地址:https://github.com/medcl/elasticsearch-analysis-ik) 下载zip:解压,并将解压的文件拷贝到ES安装目录的plugins下的ik目录下

测试分词效果:

代码语言:javascript
复制
发送:post localhost:9200/_analyze
代码语言:javascript
复制
{"text":"测试分词器,后边是测试内容:spring cloud实战","analyzer":"ik_max_word" }
4.3 两种分词模式

ik分词器有两种分词模式:ik_max_wordik_smart模式。 1、ik_max_word 会将文本做最细粒度的拆分,比如会将“中华人民共和国人民大会堂”拆分为“中华人民共和国、中华人民、中华、华人、人民共和国、人民、共和国、大会堂、大会、会堂等词语。 2、ik_smart 会做最粗粒度的拆分,比如会将“中华人民共和国人民大会堂”拆分为中华人民共和国、人民大会堂。

4.4 自定义词库

如果要让分词器支持一些专有词语,可以自定义词库。 iK分词器自带一个main.dic的文件,此文件为词库文件。

打开IKAnalyzer.cfg.xml配置一下

在上边的目录中新建一个my.dic文件(注意文件格式为utf-8(不要选择utf-8 BOM)) 可以在其中自定义词汇: 比如定义:

重启ES,测试分词效果:

代码语言:javascript
复制
发送:post localhost:9200/_analyze

6 映射类型

6.1 映射维护方法

1、查询所有索引的映射:

代码语言:javascript
复制
GET:http://localhost:9200/_mapping

2、创建映射

代码语言:javascript
复制
post 请求:http://localhost:9200/xc_course/doc/_mapping

一个例子:

代码语言:javascript
复制
{
"properties": {
"name": {
"type": "text"
},
"description": {
"type": "text"
},
"studymodel": {
"type": "keyword"
    }
  }
}

3、更新映射 映射创建成功可以添加新字段,已有字段不允许更新。 4、删除映射 通过删除索引来删除映射。

6.2 常用映射类型
6.2.1 text文本字段

字符串包括text和keyword两种类型: 1、text 1)analyzer 通过analyzer属性指定分词器。 下边指定name的字段类型为text,使用ik分词器的ik_max_word分词模式。

代码语言:javascript
复制
"name": {
"type": "text",
"analyzer":"ik_max_word"
}

上边指定了analyzer是指在索引和搜索都使用ik_max_word,如果单独想定义搜索时使用的分词器则可以通过search_analyzer属性。

对于ik分词器建议是索引时使用ik_max_word将搜索内容进行细粒度分词,搜索时使用

ik_smart提高搜索精确性

代码语言:javascript
复制
"name": {
"type": "text",
"analyzer":"ik_max_word",
"search_analyzer":"ik_smart"
}

2)index 通过index属性指定是否索引。 默认为index=true,即要进行索引,只有进行索引才可以从索引库搜索到。 但是也有一些内容不需要索引,比如:商品图片地址只被用来展示图片,不进行搜索图片,此时可以将index设置 为false。 删除索引,重新创建映射,将pic的index设置为false,尝试根据pic去搜索,结果搜索不到数据

代码语言:javascript
复制
pic": {
"type": "text",
"index":false
}

3)store 是否在source之外存储,每个文档索引后会在 ES中保存一份原始文档,存放在"_source"中,一般情况下不需要设置store为true,因为在_source中已经有一份原始文档了。

6.2.2 keyword关键字字段

上边介绍的text文本字段在映射时要设置分词器,keyword字段为关键字字段,通常搜索keyword是按照整体搜索,所以创建keyword字段的索引时是不进行分词的,比如:邮政编码、手机号码、身份证等。keyword字段通常用于过虑、排序、聚合等。

6.2.3 date日期类型

日期类型不用设置分词器。 通常日期类型的字段用于排序。 1)format 通过format设置日期格式 例子: 下边的设置允许date字段存储年月日时分秒、年月日及毫秒三种格式。

代码语言:javascript
复制
{
    "properties":{
        "timestamp":{
            "type":"date",
            "format":"yyyy‐MM‐dd HH:mm:ss||yyyy‐MM‐dd"
        }
    }
}
6.2.4 数值类型

下边是ES支持的数值类型 1、尽量选择范围小的类型,提高搜索效率 2、对于浮点数尽量用比例因子,比如一个价格字段,单位为元,我们将比例因子设置为100这在ES中会按 分 存储,映射如下:

代码语言:javascript
复制
"price": {
"type": "scaled_float",
"scaling_factor": 100
}

由于比例因子为100,如果我们输入的价格是23.45则ES中会将23.45乘以100存储在ES中。 如果输入的价格是23.456,ES会将23.456乘以100再取一个接近原始值的数,得出2346。 使用比例因子的好处是整型比浮点型更易压缩,节省磁盘空间。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-08-18,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 码农编程进阶笔记 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 链接上一篇文章 :深入浅出讲解 ElasticSearch的安装与使用【建议收藏】 3.ES快速入门
    • 3.1 创建索引库
      • 3.2 创建映射
        • 3.2.1 概念说明
        • 3.2.2 创建映射
      • 3.3 创建文档
        • 3.4 搜索文档
          • 3.4.1查询结果分析
      • 4 IK分词器
        • 4.1测试分词器
          • 4.2 安装IK分词器
            • 4.3 两种分词模式
              • 4.4 自定义词库
              • 6 映射类型
                • 6.1 映射维护方法
                  • 6.2 常用映射类型
                    • 6.2.1 text文本字段
                    • 6.2.2 keyword关键字字段
                    • 6.2.3 date日期类型
                    • 6.2.4 数值类型
                相关产品与服务
                云数据库 MySQL
                腾讯云数据库 MySQL(TencentDB for MySQL)为用户提供安全可靠,性能卓越、易于维护的企业级云数据库服务。其具备6大企业级特性,包括企业级定制内核、企业级高可用、企业级高可靠、企业级安全、企业级扩展以及企业级智能运维。通过使用腾讯云数据库 MySQL,可实现分钟级别的数据库部署、弹性扩展以及全自动化的运维管理,不仅经济实惠,而且稳定可靠,易于运维。
                领券
                问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档