Elasticsearch数据库

1、什么是Elasticsearch 1、概念以及特点          1、Elasticsearch和MongoDB/Redis/Memcache一样,是非关系型数据库。是一个接近实时的搜索平台,从索引这个文档到这个文档能够被搜索到只有一个轻微的延迟,企业应用定位:采用Restful API标准的可扩展和高可用的实时数据分析的全文搜索工具。

    2、可拓展:支持一主多从且扩容简易,只要cluster.name一致且在同一个网络中就能自动加入当前集群;本身就是开源软件,也支持很多开源的第三方插件。

    3、高可用:在一个集群的多个节点中进行分布式存储,索引支持shards和复制,即使部分节点down掉,也能自动进行数据恢复和主从切换。

    3、采用RestfulAPI标准:通过http接口使用JSON格式进行操作数据。

    4、数据存储的最小单位是文档,本质上是一个JSON 文本:

2、项目中为何使用(主搜索次分析再存储) 2.1、搜索引擎          实际项目开发中,几乎每个系统都会有一个搜索的功能,数据量少时可以直接从主数据库中比如Mysql搜索,但当搜索做到一定程度时,比如系统数据量上了10亿、100亿条的时候,传统的关系型数据库的I/O性能和统计分析性能就难以满足用户需要了。所以很多公司都会把搜索单独做成一个独立的模块,用ElasticSearch等来实现。虽然内存缓存数据库的读写性能很高,但完全把数据放在内存中是不太现实的,比如到PB级别的数据,按照每个节点96G内存计算,在内存完全装满的数据情况下,需要的机器是:1PB=1024T=1048576G ,节点数就是1048576/96=10922个 ,再考虑到数据备份,节点数还需要翻倍,成本巨大决定了其不现实!

2.2、日志分析    Elasticsearch+ Logstash + Kibana是同一家公司开发的3个开源工具,可组合起来搭建海量日志分析平台,目前很多公司都在使用这种方式搭建日志分析平台进行大数据分析。

3、底层架构

4、使用状况以及与其他搜索引擎的对比          2013年初,GitHub抛弃了Solr,采取ElasticSearch来做PB级的搜索,包括13亿文件和1300亿行代码”。

         百度目前广泛使用ElasticSearch作为文本数据分析,采集百度所有服务器上的各类指标数据及用户自定义数据,通过对各种数据进行多维分析展示,辅助定位分析实例异常或业务层面异常。目前覆盖百度内部20多个业务线(包括casio、云分析、网盟、预测、文库、直达号、钱包、风控等),单集群最大100台机器,200个ES节点,每天导入30TB+数据。

2、RESTFul 介绍 1、什么是RESTFul          REST(RepresentationalState Transfer)是一种软件架构的设计风格(不是标准),通过 HTTP接口处理数据,主要用于客户端和服务器的数据交互。该风格的具体特点——在服务器端,应用程序对象、数据库记录、算法、文本、图片等都是一个实体资源,使用 URI标识,所有资源都共享统一的接口(标准的HTTP方法)比如 GET、PUT、POST 和 DELETE,在客户端和服务器之间传输数据。

2、CURL命令的讲解 2.1、什么是CURL     本质就是以命令方式发送HTTP请求,可以完成比如发送表单信息、文件上传、分段下载、模拟登录等,理论上在APP或Web里能操作的通过此指令都能操作。

2.2、具体应用

3、Elasticsearch API文档查看

3、Elasticsearch及相关插件的安装 1、安装Elasticsearch并启动服务

2、安装第三方插件

2.1、Head插件          是Elasticsearch的一个集群管理工具,可以通过它来查看和搜索ES的数据,是完全由html5编写的独立网页程序。

2.2、Bigdesk插件          是Elasticsearch的一个集群监控工具,可以通过它来查看ES集群的各种状况,如cpu、内存使用情况、索引数据、搜索情况、http连接数等。

2.3、Mavel插件

4、倒排索引(ES具体是怎么搜索的) 1、倒排索引和正向索引          在全文搜索里,文档数据离不开搜索,而搜索离不开索引(没有索引搜索会很低效),倒排索引(Inverted index)是全文搜索系统里最高效的索引方法和数据结构,ES的索引就是倒排索引。也称反向索引/置入索引或反向档案,用以存储一个映射:在全文搜索下某个单词在一个文档或者一组文档中的位置。

2、倒排索引建立索引的具体方式 始、确定需求          在这5份文档中根据关键字“乔布斯”搜索匹配的文档,附属要求:文档的排序,这个搜索关键字在每个匹配文档中出现的位置和次数。

1、把文档进行分词(怎么分要看实际需求)

2、得到单词集合和文档集合(使用ID标记)

3、根据上面俩集合得到这个矩阵/数据结构

4、根据上表建立索引

终、实现需求了

5、ES的CURD操作 1、ES的API(本次在Mevel里演示,等同head和curl) 1.1、操作索引的API

1.2、操作类型的API

1.3、操作文档的API(每次仅能操作一个文档)

2、ES的内置字段以及字段的类型

6、批量操作文档          上节介绍的关于《操作文档的API》都只能对单个文档进行增删改查,mget用于批量检索多个文档,bulk用以批量创建/更新/删除多个文档。

1、通过mget批量检索多个文档

2、通过bulk批量创建/更新/删除多个文档 1、bulk的使用规范和使用案例

2、bulk处理文档大小的最佳值

7、Elasticsearch的锁机制 1、为什么要使用锁机制

2、加锁的机制:悲观锁和乐观锁          悲观锁和乐观锁是什么已经在《Mysql.docx》介绍了。

    1、其中提到对于数据库而言,悲观锁只能通过数据库本身实现,但是ES并没有提供悲观锁机制。

    2、其中也提到对于数据库而言,乐观锁是通过逻辑实现的,在ES数据库上实现乐观锁便是通过文档的默认字段_version实现的。

3、ES实现乐观锁的两种方式          前提:两种修改文档(_update更新和put覆盖)的方式都会导致目标文档的_version自增1或者直接改为指定的。

3.1、内部版本控制          指定的version必须要 = 文档目前的_version,否则就报error。如果符合就修改成功,并且把文档version自增1。

3.2、外部版本控制          搭配version_type=external,指定的version必须 > 文档目前的_version,否则就报error。如果符合就修改成功,并且把文档version直接变成指定的。

8、Elasticsearch如何做Mapping 1、什么是mapping          映射就是在创建索引或者先创建索引后修改的时候,预先定义字段的数据类型以及相关属性。

   如果程序员没有主动为索引创建映射,则以后在创建文档时,ES会智能的给索引建立映射,处理每个字段的数据类型和属性。

2、ES里可以为字段定义哪些数据类型和属性

3、关于映射的具体操作

9、ES查询

1、基本查询

1、使用q查询

2、使用term系列查询 1、使用term查询

2、使用terms查询

3、使用match系列查询(有智能搜索的效果) 1、使用match查询

2、使用match_phrase查询

3、使用multi_match查询

4、使用match_all查询

5、使用prefix作前缀匹配查询

6、使用range作区间搜索

7、使用wildcard查询

8、使用fuzzy进行模糊搜索(有智能搜索的效果)

1、使用fuzzy查询

2、使用fuzzy_like_this查询

3、使用fuzzy_like_this_field查询

2、组合查询和过滤查询     当在请求中看到must(and)、should(or)、must_not(not)、filtered、filter、exists、gt、lt、missing、negative、negative_boost、_cache、constant_score、not_match_query、indices等词时,就是使用了组合查询或者过滤查询,太麻烦,不研究了。仅介绍下图这一种,使用bool也是最常用的:

3、查询的辅助字段,用以处理结果集 1、使用from和size控制返回文档的数量

2、使用version返回文档的_version

3、使用fields返回指定字段

4、使用partial_fields返回指定字段

5、使用sort排序

6、使用通配符,通常是用在字段名中

10、ES集群管理 1、ES的数据为何是安全的

2、elasticsearch.yml文件配置

(adsbygoogle = window.adsbygoogle || []).push({});

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券