大数据ELK（二）：Elasticsearch简单介绍

一、Elasticsearch简介

Elasticsearch：官方分布式搜索和分析引擎 | Elastic在 RESTful 风格的分布式免费开源搜索和分析引擎开源中，Elasticsearch 处于领先地位，速度快，可实现水平可扩展性和可靠性，并能让您轻松进行管理。免费启用。

https://www.elastic.co/cn/elasticsearch

1、介绍

• Elasticsearch是一个基于Lucene的搜索服务器、
• 提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口
• Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。Elasticsearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。官方客户端在Java、.NET（C#）、PHP、Python、Apache Groovy、Ruby和许多其他语言中都是可用的
• 根据DB-Engines的排名显示，Elasticsearch是最受欢迎的企业搜索引擎，其次是Apache Solr，也是基于Lucene。

2、创始人

Shay Banon （谢巴农）

二、Elasticsearch可以做什么

1、信息检索

电商 / 门户 / 论坛 

2、企业内部系统搜索

• 关系型数据库使用like进行模糊检索，会导致索引失效，效率低下
• 可以基于Elasticsearch来进行检索，效率杠杠的

OA / CRM / ERP

3、数据分析引擎

Elasticsearch 聚合可以对数十亿行日志数据进行聚合分析，探索数据的趋势和规律。

三、Elasticsearch特点

1、海量数据处理

• 大型分布式集群（数百台规模服务器）
• 处理PB级数据
• 小公司也可以进行单机部署

2、开箱即用

• 简单易用，操作非常简单
• 快速部署生产环境

3、作为传统数据库的补充

• 传统关系型数据库
• 排名、海量数据存储、分析等功能
• Elasticsearch可以作为传统关系数据库的补充，提供RDBM无法提供的功能

四、哪些公司在使用Elasticsearch

1. 京东
2. 携程
3. 去哪儿
4. 58同城
5. 滴滴
6. 今日头条
7. 小米
8. 哔哩哔哩
9. 联想
10. 思科
11. Airbus
12. ebay
13. 暴雪
14. 德国大众
15. 微软
16. Symantec
17. Facebook
18. BBC
19. 英伟达
20. Uber
21. IBM
22. Github
23. Docker

五、ElasticSearch使用案例

• 2013年初，GitHub抛弃了Solr，采取ElasticSearch 来做PB级的搜索。 “GitHub使用ElasticSearch搜索20TB的数据，包括13亿文件和1300亿行代码”
• 维基百科：启动以elasticsearch为基础的核心搜索架构
• SoundCloud：“SoundCloud使用ElasticSearch为1.8亿用户提供即时而精准的音乐搜索服务”
• 百度：百度目前广泛使用ElasticSearch作为文本数据分析，采集百度所有服务器上的各类指标数据及用户自定义数据，通过对各种数据进行多维分析展示，辅助定位分析实例异常或业务层面异常。目前覆盖百度内部20多个业务线（包括casio、云分析、网盟、预测、文库、直达号、钱包、风控等），单集群最大100台机器，200个ES节点，每天导入30TB+数据
• 新浪使用ES 分析处理32亿条实时日志
• 阿里使用ES 构建挖财自己的日志采集和分析体系

六、ElasticSearch对比Solr

• Solr 利用 Zookeeper 进行分布式管理，而 Elasticsearch 自身带有分布式协调管理功能;
• Solr 支持更多格式的数据，而 Elasticsearch 仅支持json文件格式；
• Solr 官方提供的功能更多，而 Elasticsearch 本身更注重于核心功能，高级功能多有第三方插件提供；
• Solr 在传统的搜索应用中表现好于 Elasticsearch，但在处理实时搜索应用时效率明显低于 Elasticsearch

七、发展历史

• 2004年，发布第一个版本名为Compass的搜索引擎，创建搜索引擎的目的主要是为了搜索食谱
• 2010年，发布第二个版本更名为Elasticsearch，基于Apache Lucene开发并开源
• 2012年，创办Elasticsearch公司
• 2015年，Elasticsearch公司更名为Elastic，是专门从事与Elasticsearch相关的商业服务，并衍生了Logstash和Kibana两个项目，填补了在数据采集、数据可视化的空白。于是，ELK就诞生了
• 2015年，Elastic公司将开源项目Packetbeat整合到Elasticsearch技术栈中，并更名为Beats，它专门用于数据采集的轻量级组件，可以将网络日志、度量、审计等各种数据作为不同的源头发送到Logstash或者Elasticsearch
• ELK不再包括Elastic公司所有的开源项目，ELK开始更名为Elastic Stack，将来还有更多的软件加入其中，包括数据采集、清洗、传输、存储、检索、分析、可视化等
• 2018年，Elastic公司在纽交所挂牌上市