03 . Elasticsearch概念及Search和Analyzer简单使用

# 服务可用性 - 允许所有节点停止服务
# 数据可用性 - 部分节点丢失,不会丢失数据

# 请求量提升 / 数据的不断增长(将数据分布在所有节点上)

# 存储的水平扩容
# 提高系统的可用性,部分节点停止服务,整个集群的服务不受影响

# 不同的集群通过不同的名字来区分,默认名字"elasticsearch"
# 通过配置文件修改,或者在命令行中 - E claster.name=geektime进行设定
# 一个集群可以有一个或者多个节点

# 图书
		# 正排索引 - 目录页
  	# 倒排索引 - 索引页
    
# 搜索引擎
		# 正排索引 - 文档ID到文档内容和单词的关联
  	# 倒排索引 - 单词到文档ID的关系.

# 文档ID
# 词频 TF - 该单词在文档中出现的次数,用于相关性评分
# 位置(Position) - 单词在文档中分词的位置,用于语句搜索(phrase query)
# 偏移(Offset) - 记录单词的开始结束为止,实现高亮显示

# Elasticsearch 的JSON文档中的每个字段,都有自己的倒排索引
# 可以指定对某些字段不做索引
		# 优点: 节省存储空间
  	# 缺点: 字段无法被搜索

# Analysis - 文本分析是把全文本转换一系列单词(term / token)的过程,也叫分词

# Analysis是通过Analyzer来实现的
		# 可使用Elasticsearch内置的分析器/或者按需定制化分析器
# 除了在数据写入时转换词典,匹配Query语句时也需要用相同的分析器对查询语句进行分析

# Standard Analyzer - 默认分词器,按词切分,小写处理
# Simple Analyzer - 按照非字母切分(符号被过滤),小写处理
# Stop Analyzer - 小写处理,停用词过滤(the,a,is)
# Whitespace Analyzer - 按照空格切割,不转小写
# Keyword Analyzer - 不分词,直接将输入当做输出
# Patter Analyzer - 正则表达式,默认\W+ (非字符分割)
# Language - 提供30多种常见语言的分词器
# Customer Analyzer 自定义分词器

# 直接指定Analyzer进行测试
# 指定索引的字段进行测试
# 自定义分词起进行测试

# 默认分词器
# 按词切分
# 小写处理

# 按照非字母切分,非字母的都被去除
# 小写处理

# 相比Simple Analyzer
# 多了Stop Filter
	# 会把the, a, is 等修饰性词语去除

# 中文句子,切分成一个一个词(不是一个个字)
# 英文中,单词有自然的空格作为分隔
# 一句中文,有不通的上下文,有不同的理解
		# 这个苹果,不太好吃 / 这个苹果,不大,好吃!
# 一些例子
		# 他说的确实在理 / 这事的确定不下来
  
  
# 可以使用ICU Analyzer
Elasticsearch-plugin install analysis-icu
# 提供了Unicode的支持,更好的支持亚洲语言

# 更多的中文分词器
IK
# 支持自定义词库,支持热更新分词字典

THULAC
# THU Lexucal Analyzer for Chinese,清华大学自然语言处理和社会人文计算实验室的一套中文分词器

# 分为两大类
# URL Search
# 在URL中使用查询参数

# Request Body Search
# 使用Elasticsearch提供的,基于JSON格式的更加完备的Query Domain Specific Language(DSL)

# 使用"q", 指定查询字符串
# "query string syntax", KV键值对

curl -XGET "http://elasticsearch:9200/kibana_sample_data_ecommerce/_search?q=customer_first_name:Eddie"
# q表示查询内容
# 搜索叫做Eddie的客户

# information Retrieval

# Precision(查准率) - 尽可能返回较少的无关文档
# Recall(查全率) - 尽量返回较多的相关文档
# Ranking - 是否能够按照相关度进行排序

# GET /movies/_search?q=2012&df=title&sort=yeas:desc&from=O&size=10&timeout=1s
{
		"profile" : true  
}

# q 指定查询语句,使用Query String Syntax
# df 默认字段, 不指定时,会对所有字段进行查询
# Sort 排序 / from 和size 用于分页
# Profile 可以查看查询是如何被执行的

# curl -XDELETE -u elastic:changeme http://localhost:9200/acc-apply-2018.08.09
{"acknowledged":true}

# curl -XDELETE -u elastic:changeme http://localhost:9200/acc-apply-2018.08.09,acc-apply-2018.08.10

# curl -XDELETE -u elastic:changeme http://localhost:9200/acc-apply-*
{"acknowledged":true}

curl -XDELETE http://localhost:9200/_all
或 curl -XDELETE http://localhost:9200/*

#  _all ,* 通配所有的索引
#    通常不建议使用通配符，误删了后果就很严重了，所有的index都被删除了
#    禁止通配符为了安全起见，可以在elasticsearch.yml配置文件中设置禁用_all和*通配符
#    action.destructive_requires_name = true
#    这样就不能使用_all和*了

# curl -u elastic:changeme 'localhost:9200/_cat/indices?v'

30 2 * * * /usr/bin/curl -XDELETE -u elastic:changeme http://localhost:9200/*-$(date -d '-3days' +'%Y.%m.%d') >/dev/null 2>&1


#!/bin/bash
time=$(date -d '-3days' +'%Y.%m.%d')
curl -XDELETE -u elastic:changeme http://localhost:9200/*-${time}

# 节点是一个Elasticsearch的实例
	# 本质上就是一个JAVA进程
  # 一台机器上可以运行多个Elasticsearch进程,但是生产环境一般建议一台机器上只运行一个Elasticsearch实例
  
# 每一个节点都有名字,通过配置文件配置,或者启动时候 -E node.name=node1指定

# 每一个节点在启动之后,会分配一个UID,保存在data目录下.

# 每个节点启动后,默认就是一个Master eligible节点
		# 可以设置node.master: false禁止
# Master-eligible节点可以参加主流程,成为Master节点

# 当一个节点启动时候,他会将自己选举成Master节点

# 每个节点上都保存了集群的状态,只有Master节点才能修改集群的状态信息.

		# 集群状态(Cluster State), 维护了一个集群中,必要的信息
  			# 所有的节点信息
    		# 所有的索引和其相关的Mapping与Setting信息
      	# 分片的路由信息
    # 任意节点都能修改信息会导致数据的不一致性.

# 可以保存数据的节点,叫做Data Node, 负责保存分片数据,在数据扩展上起到了至关重要的作用.

# 负责接收Client的请求,将请求分发到合适的节点,最终把结果汇集到一起.

# 每个节点默认都起到了Coordinating Node的职责.

# 不同硬件配置的Data Node,用来实现 Hot & Warm架构,降低集群部署的成本.

# 负责跑机器学习的Job, 用来做异常检测

# (5.3开始使用Cross Cluster Serarch) Tribe Node连接到不同的Elasticsearch集群,并且支持将这些集群当成一个单独的集群处理.

# 开发环境中一个节点可以承担多种角色
# 生产环境中,应该设置单一的角色的节点(dedicated node)

# 一个分片是一个运行的Lucene的实例
# 主分片数在索引创建时指定,后续不允许修改,除非Reindex

# 副本分片数,可以动态替调整
# 增加副本数,还可以一定程度上提升服务的高可用性(读取的吞吐)

# 导致后续无法增加节点实现水平扩展
# 单个分片的数据量太大,导致数据重新分配耗时

# 影响搜索结果的相关性打分,影响统计结果的准确性.
# 单个节点上过多的分片,会导致资源浪费,同时也会影响性能.

# Green - 主分片与副本都正常分配

# Yellow - 主分片全部正常分配,有副本分片未能正常分配

# Red - 有主分片未能分配

		# 例如,当服务器磁盘容量超过85%时,去创建了一个新的索引,

# 日志文件中的日志项
# 一本电影的具体信息 / 一张唱片的详细信息
# MP3播放器里的一首歌 / 一篇PDF文档的具体内容

# JSON对象由字段组成
# 每个字段都有对应的字段类型(字符串/数值/布尔/日期/二进制/范围类型)

# 你可以自己指定ID
# 或者通过Elasticsearch自动生成

# 字段的类型可以指定或者通过Elasticsearch自动推算
# 支持数组 / 支持嵌套

# Type名, 约定都用_doc
# Create - 如果ID已经存在,会失败
# index - 如果ID不存在,创建新的文档,否则,先删除现有的文档,再创建新的文档,版本会增加
# Update - 文档必须存在,更新只会对相应字段做增量修改.

# 支持自动生成文档id和指定文档id两种方式
# 通过调用"post /users/_doc"
		# 系统会自动生成 document Id
  
# 使用HTTP PUT user/_create/1创建时,URL中显示指定_create,此时如果该id文档已经存在,操作失败.

# 找到文档,返回HTTP 200
	# 文档元信息
  # _index/_type/
  # 版本信息,同一个id的文档,即使被删除,Version号也会不断增加
  # _souece中默认包含了文档的所有原始信息
  
# 找不到文档返回404

# Update 方法不会删除原来的文档,而是实现真正的数据更新

# Post方法/Payload需要包含在"doc"中

# 支持在一次API调用中,对不同的索引进行操作

# 支持四种数据类型操作
	# Index
  # Create
  # Update
  # Delete

# 可以在URL中指定Index,也可以在请求的Payload中

# 操作中单条操作失败,并不会影响其他操作
# 返回结果包括了每一条操作执行的结果

# Index - 索引是文档的容器,是一类文档的结合
		# Index体现了逻辑空间的概念: 每个索引都有自己的Mapping定义,用于定义包含文档的字段名和字段类型
  	# Shard体现了物理空间的概念: 索引中的数据分散在Shard上
    
# 索引的Mapping与Settings
		# Mapping定义文档字段的类型
  	# Setting定义不同的数据分布

# 名词: 一个Elasticsearch集群中,可以创建很多个不同的索引

# 动词: 保存一个文档到Elasticsearch过程也叫索引(indexing)
	# ES中, 创建一个倒排索引的过程
  
# 名词: 一个B树索引,一个倒排索引.

# 在7.0之前,一个Index可以设置多个Types

# 6.0开始,Type已经被Deprecated,7.0开始,一个索引只能创建一个Type - "_doc"

# 传统关系型数据库和Elasticsearch的区别
	# Elasticsearch - Schemaless / 相关性 / 高性能全文检索
  # RDMS - 事务性 / Join