ElasticSearch学习笔记1

es 的来源

问题拆解

• 如果用数据库来实现会怎么样？
• 什么是全文检索？
• 什么是 Lucene？

数据库实现

先看第一个问题，如果我们用数据来实现搜索功能，可能的语句就是对 string 建立索引，或者直接 like 关键字。带来的问题是什么？

• （字符串扫描）如果有个字段是书籍描述，有个上千、上万字，那这个是时候进行字符串扫描可以说是非常慢，
• （分词）另外，如果输入 ** 连续性程 **，如果是字符串匹配我们无法搜索出 ** 连续性方程 ** 这种关键词

什么是全文检索

全文检索做的是倒排索引，记录了 word => doc 之间的关系

什么是 Lucene

• 全文索引，倒排索引
• Lucene 是一个 jar 包，里面提供了整套的倒排索引和数据管理功能。我们用 java 开发的时候，可以引用 Lucene 包，调用 Lucene 提供的 api，完成索引和数据管理功能。

什么是 ElasticSearch

ElasticSearch 就是基于 Lucene 提供了更高一级别的抽象，es 管理了好多的 Lucene，每个 Lucene 都是一个实例，es 提供了集群功能，高可用，负载均衡等高级功能，简单点说：ElasticSearch = （Lucene）+ 高级特性

es 的功能

• 全文检索：建立倒排，sql 类似于：select * from products where category_name like '% 成人用品 %
• 数据分析：说白了就是类似于下面的 sqlselect category_id,count(1) from products group by category_id，统计每个类别的商品数量
• 结构化搜索：能够像 sql 一样根据字段进行查询，例子：select * from products where category_id='成人用品' 查找成人商品

es 的特点

• 分布式存储（支持 PB 级别）
• 分布式索引（倒排）
• 分布式分析（结构化搜索、数据分析）

es 的核心概念

• Near Realtime（NRT）：近实时，为什么说是近实时，因为 es 中从数据插入到能被搜索到时间大概是秒级别
• Cluster：集群，集群的默认名为 elasticsearch，一个集群会有多个 node，每个 node 都属于一个集群
• Node：集群中的每个节点都会有一个默认名字，默认名字的节点都会加入 elasticsearch 的集群
• Document：文档是 es 中的最小数据单元，每个文档都可以用一个 json 对象来表述，每个文档对象都有 field，每个 field 都是一个数据字段 一个例子：

book document
{
  "book_id": "1",
  "book_name": "es 深入浅出",
  "book_desc": "通俗全市 es",
  "category_id": "1",
  "category_name": "数据库"
}

• Index：索引，包含所有结构相似的文档
• Type：类型，每个索引里都可以有一个或多个 type，type 是 index 中的一个逻辑数据分类，一个 type 下的 document，都有相同的 field。最新的 es 中已经取消了 type 概念了每个 index 都只有一个隐藏的 index
• shard：分片，es 可以将一个 index 分为好几个分片，每个分片可以分配到不同的 node 上。每个 shard 都是一个 Lucene 实例。
• replica：副本，为了保证高可用，每个 shard 都需要有几个 replica 副本，同时副本在保证高可用的同时，也能提供系统的吞吐量和性能（副本提供读）。shard 会分为 primary shard （建立索引时一次设置，不能修改，默认 5 个）和 replica shard（随时修改数量，默认 1 个），默认每个索引 10 个 shard，5 个 primary shard，5 个 replica shard。此时为了保证高可用，最小应该配备的 node 是 2 个。

做一个和传统关系型数据库的对比：

Relational DB -> Databases -> Tables -> Rows -> Columns
Elasticsearch -> Indices   -> Types  -> Documents -> Fields

图片

es的使用初步体验

的使用初步体验 可以说 es 使用相当简单，开箱即用。去官网下载完安装包后，执行 bin/elasticsearchjik 即可启动，然后访问 http://localhost:9200/?pretty 即可返回：

{
"name": "KFKDJEu",
"cluster_name": "elasticsearch",
"cluster_uuid": "h6ZDdUy5R5qUgdpvdS6xDQ",
"version": {
"number": "5.5.0",
"build_hash": "260387d",
"build_date": "2017-06-30T23:16:05.735Z",
"build_snapshot": false,
"lucene_version": "6.6.0"
},
"tagline": "You Know, for Search"
}

去这个 name: node 名称 cluster_name: 集群名称（默认的集群名称就是 elasticsearch） version.number: 5.5.0，es 版本号 我们可以通过 config/elasticsearch.yml 来修改集群名字。

我们可以下载 kibana 去操作 es，第一个命令：GET _cluster/health，此处返回的结果

{
  "cluster_name": "elasticsearch",
  "status": "yellow",
  "timed_out": false,
  "number_of_nodes": 1,
  "number_of_data_nodes": 1,
  "active_primary_shards": 1,
  "active_shards": 1,
  "relocating_shards": 0,
  "initializing_shards": 0,
  "unassigned_shards": 1,
  "delayed_unassigned_shards": 0,
  "number_of_pending_tasks": 0,
  "number_of_in_flight_fetch": 0,
  "task_max_waiting_in_queue_millis": 0,
  "active_shards_percent_as_number": 50
}

为什么是 yellow，因为此时我们理论上应该有 2 个 shard，一个 primary，一个 replica，但是只有一个 node，replica 和 primary 不能在一个 node 上，所以只有一个 primary 分配了，状态是 yellow。

几个状态的明确说明：

green：每个索引的 primary shard 和 replica shard 都是 active 状态的 yellow：每个索引的 primary shard 都是 active 状态的，但是部分 replica shard 不是 active 状态，处于不可用的状态 red：不是所有索引的 primary shard 都是 active 状态的，部分索引有数据丢失了

操作说明

一般操作通过 PUT，GET，POST，DELETE 进行区分，然后操作的时候 url 按照 index/type/id 的规则解释。

PUT：创建或者覆盖 GET：查询 POST：更新 DELETE：删除

常见查询说明

1、query string search：直接将产查询的语句放到query上，适合一些简单场景 2、query DSL：特定的查询领域特定语言，发送请求的时候，通过 json body将请求发送过去，支持复杂的语法 3、query filter 4、full-text search 5、phrase search 6、highlight search 更具体的可以查看：https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl.html