首页
学习
活动
专区
圈层
工具
发布
43 篇文章
1
干货 | Elasitcsearch7.X集群/索引备份与恢复实战
2
干货 | Elasticsearch 运维实战常用命令清单
3
腾讯云Elasticsearch集群运维常用命令详解一(集群篇)
4
腾讯云Elasticsearch集群运维常用命令详解二(节点篇)
5
腾讯云Elasticsearch集群运维常用命令详解三(索引篇)
6
如何系统的学习 Elasticsearch ?
7
Elasitcsearch 开发运维常用命令集锦
8
Elasticsearch集群数据备份与恢复 Snapshot & Restore
9
搭建ELFK日志采集系统
10
Kubernetes Helm3 部署 ElasticSearch & Kibana 7 集群
11
使用 Ansible 部署 Elasticsearch 集群
12
技术角 | 在CentOS 8上使用Elastic Stack: Elasticsearch/Kibana 7.8部署与认证配置
13
在CentOS 8上使用Elastic Stack: Elasticsearch/Kibana 7.8的部署与认证配置
14
Elasticsearch 生产环境集群部署最佳实践
15
ES 7.8 速成笔记(中)
16
ES 7.8 速成笔记(上)
17
如何在CentOS 7上设置生产Elasticsearch集群
18
kubernetes-2:helm实战-1:生产级别的elasticsearch集群部署
19
ElasticSearch 7集群部署
20
在CentOS 7安装ElasticSearch 7.x
21
zabbix 监控 es 集群
22
ELK 日志报警插件 ElastAlert
23
Elasticsearch集群规划最佳实践
24
kubernetes-7:elasticsearch容器化
25
Go Elasticsearch 增删改查(CRUD)快速入门
26
go操作elasticsearch示例
27
在 Kubernetes 上搭建 EFK 日志收集系统
28
一文彻底搞定 EFK 日志收集系统
29
TKE上搭建EFK日志采集系统
30
使用 EFKLK 搭建 Kubernetes 日志收集工具栈
31
腾讯云Elasticsearch集群规划及性能优化实践
32
【干货】Elasticsearch索引性能优化 (2)
33
让Elasticsearch飞起来!——性能优化实践干货
34
【干货】Elasticsearch的索引性能优化(3)
35
Elasticsearch性能优化实战指南
36
ElasticSearch性能优化官方建议
37
Elasticsearch 7.10.1集群压测报告(4核16G*3,AMD)
38
Elasticsearch压测之Esrally压测标准
39
通过 esrally 压测elasticsearch
40
Elasticsearch压测工具esrally部署之踩坑实录(上)
41
Elasticsearch压测工具Esrally部署之踩坑实录(下)
42
Elasticsearch压测工具Esrally部署指南
43
百亿架构之filebeat讲解

如何系统的学习 Elasticsearch ?

这是上一次技术直播里六个子主题中的最后一个主题的扩展版本。近期又有读者问到类似问题,我认为非常有必要花长时间梳理后跟大家分享一下。

1、基础篇:零基础如何学 Elasticsearch ?

常见问题:“ES 零基础入门书籍看什么比较好?”

认知前提:书籍的速度已远落后于 ES 版本更新的速度。ES 几乎每个月发布一个版本,更新很快。

市面上的书籍,尤其国外翻译书籍还大多是:1.x,2.x,5.x ,6.x 的版本,更新较慢。

有几本7.X的书籍,我没有买实体书,不太有发言权。不过:1.X——6.X全部实体书我都买了,也都看完了,可以说有发言权。

相比于实体书籍,我更推荐官方文档,但鉴于“零基础”读者对英文的恐惧,书籍、视频、学习路线等推荐列表如下:

1.1 零基础书籍推荐

推荐1:《这就是搜索引擎》

这是一本介绍搜索引擎原理的书,有了搜索引擎原理的认知再去理解 Elasticsearch 会有“居高临下”俯视的感觉。

  • 推荐理由 1:长销书(比畅销书高一个level)、作者是中科院软件所博士、包含大量图解、通俗易懂。
  • 推荐理由 2:貌似在 medcl 大神(Elasti中文社区创始人、Elastic中国第1位员工) 书架也有这本书。

推荐 2:《Elasticsearch 权威指南》2.X 中文翻译电子书

地址如下:

https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html

  • 推荐理由 1:虽然基于 2.X,但底层原理的介绍并不过时,值得一看。
  • 推荐理由 2:wood大叔(携程架构师、Elastic 中文社区排名第1名)也曾经多次推荐且他看过2遍以上+。

推荐 3:《Elasticsearch 实战》纸质书

这本书是《Elasticsearch IN ACTION》 的翻译版本。

  • 推荐理由 1:作者之一已入职 Elasticsearch。
  • 推荐理由 2:翻译作者是极客时间数学课的作者:黄申博士,翻译还可以,至少比《 Lucene 实战 》翻译好 100 倍。
  • 推荐理由 3:这本书是 Medcl 大神写的序。

推荐4:结合 ECE 考纲、《Elasticsearch 最少必要知识》电子教程啃官方文档。

Elasticsearch 最少必要知识》 地址:

https://www.yuque.com/deep_elasticsearch/tzcm9n

  • 推荐理由 1:ECE 认证考试是以考带练,入门学习和进阶的绝佳方式,没有之一。
  • 推荐理由 2:单独看官方文档不知道重点,而 ECE 考纲就是重点。
  • 推荐理由 3:单独看官方文档 + ECE大纲没有头绪,《Elasticsearch 最少必要知识》帮梳理清楚了。

1.2 零基础入门视频教程推荐

推荐 1:阮一鸣老师 7.1+ 极客时间视频

地址:https://time.geekbang.org/course/intro/100030501

推荐 2:魏彬老师慕课网的视频(6.X 版本)

地址:https://coding.imooc.com/class/181.html

推荐 3:李猛老师视频课程(最新版本)

地址:https://www.gupaoedu.cn/course-es.html

推荐 4:中华石杉老师的 2.X 视频教程

地址:https://www.roncoo.com/view/80

推荐 5:死磕 Elasticsearch 最少必要知识系列直播(7.x + 版本,推进中)

地址:http://t.cn/RmwM3N9

因为每个人的“口味”不同,正所谓“众口难调”,再好口碑的课程也有人觉得“鸡肋”。

所以,上面列举了几乎所有 Elasticsearch 视频教程,总有适合你的一款。

1.3 “零基础”是相对的、不要怕!

所谓“零基础”,Mysql 数据库的一些常规操作基础是有的吧?

推荐结合已有知识体系,类比学习:

MySQL

ElasticSearch

Table

Index

Table

Type

Row

Document

Column

Field

Schema

Mapping

Index

Everything is indexed

SQL

Query DSL

select * from …

GET http://…

update table set …

POST http://…

group by、avg、sum

Aggregations

去重 distinct

cardinality

数据迁移

reindex

通过类比:就可以由已有认知过度到未知认知,便于快速习得技能。

建议把基础内容分为两部分,

  • part 1:增删改查

这一部分相对好理解,或者可以借助已有知识体系类比加深理解。

进一步细分为:

  • 索引的增删改查
  • 文档的增删改查
  • Mapping 的增删改查
  • template 的增删改查
  • ......

这些知识有了,基本的操作基本都经过手了。

  • part 2:非增删改查

进一步细分为:

  • 数据预处理 Ingest
  • 自定义分词
  • 检索分类
  • 聚合分类
  • 节点角色分类
  • 集群备份与快照
  • 集群安全
  • 跨集群部署
  • 冷热集群架构
  • 跨机房跨机架检索
  • ......

有了上面的分类,一个知识点一个知识点的攻克就可以了。

1.4 形成自己的学习路线图

我之前梳理的学习路线图如下:

重磅 | Elasticsearch7.X学习路线图

学习路线因人而异,上面的路线图仅供参考。

需要结合自己的实践和认知,找到属于自己的一条学习路线。

1.5 “零基础”学习方法论——光看不够,搭建环境 + 练起来更重要!

书籍和视频一个道理,看再多不如练习一遍。

这里强调的练:是《刻意练习》书籍中推崇的概念“练习”的练,不是盲目的练习、而是有目的、有目标的刻意练习。

你看星球考过的 46 位认证工程师,都是刻意练习 + 对官方文档非常熟练的结果。

最简单、最轻量化的方式:搭建好环境(单节点 Elasticsearch + kibana),用 kibana 自带的三个示例数据就可以练习起来。

  • 部署方式一:如果 PC 内存足够,搭建个虚拟机就可以开搞了。
  • 部署方式二:如果对 docker 很熟悉,docker 部署 ELK 也非常快。
  • 部署方式三:一、二都不喜欢,自己买个云服务器(最少2核4G)就够了。

结合自己的需求,用自己最擅长的方式。

以上,期望有助于你快速入门!

2、进阶篇:实践加深认知

基础篇强调练起来。进阶篇会进一步强调“练”的重要性。

2.1 刻意学习一遍官方文档

程序猿DD大佬说过:要切实的落实某个框架,全面了解和掌握的方式永远都是“官方文档 + 学会读源代码”。

是的,如果说入门我们可以看博客、看视频,站在别人“肩上”走的更快。那么进阶的话,系统的过一遍官方文档就很有必要了。

如果感觉上来就全英文有些吃力,可以 7.X 最新版本的英文结合 2.X 中文文档一起来看。

如果感觉吃力,可以看一下技术博客资源:

全网最牛逼的 Elasticsearch 天团博客集合

2.2 实战中刻意练习

在产品或项目架构、开发、运维的过程中,遇到问题,不要仅局限在解决问题本身,多刨根问底,问问底层原理是什么?

  • 举例 1:range query 对数值类型还是 keyword 类型来讲,哪种数据类型会更快?
  • 举例 2:index sort 真的很快吗?适用于什么场景?底层是如何实现的?

这时候有遇到不明白的,可以翻阅官方文档,查看github issue记录,翻阅源代码,社区内讨论等......通过不断求证提升认知。

2.3 上学下帮的练习

社区中每天都有来自全国 N 多公司线上实战问题,看看别人都遇到了哪些问题?用了哪些技术栈?

国内Elastic社区地址:https://elasticsearch.cn/

国外Elastic社区地址:https://discuss.elastic.co/

2.3.1 向上学

向比自己厉害的人学习。

社区社群中有大量的大牛,即便很“偏门”、“刁钻”的问题也能有非常独到的见解和思路,这就很值得我们去学习。

学习什么?

学习他们拆解问题、分析问题、定位问题以及解决问题的思路。

2.3.2 向下帮

帮助需要帮助的人,大家都有知识盲区。帮助别人的同时个人也能得到飞速的提升。

正所谓:“讲一遍有一遍的收货”。

对于求助人来说,“能把问题讲清楚、问题就解决了一大半”。

而对于解答者来说:“输出倒逼输入,帮助别人排查问题,本质就是进一步提升自己的认知”。别的不说,社区 wood 大叔的文章基本就是解决自己或者别人问题而累积的干货,对 Elastic 学习者来说大有裨益。

你有一个苹果,我有一个橘子,我们一交换,每个人得到的都是两种不同味道的水果。

你知道一个知识点,我知道另外一个知识点,我们一交换,每个人得到的是两个不同的知识点,甚至有可能扩展彼此的认知边界。

不要忽视“重复的力量”,举个例子:“小朋友听儿歌,基本2-3遍+就能跟着哼出相应的语调”,这就是听的多、重复的次数多的原因。一样的,我们给别人讲解的多了之后,自己记忆的会越来越牢固。

2.4 逐步构建属于自己的知识体系

经常收到的问题是:“知识不成体系,学的东西都很散,不用就忘记了”。

是这样的,现在网络资源非常多,甚至适合上手的项目、源码都是开源的,所以上手不是难事。

遇到问题就去通过搜索引擎检索答案本也无可厚非,但是看到的内容、学到的内容永远不是全貌。

所谓“只见树木、不见森林”大抵也是这个意思。

举个实战例子:

  • 模板 template 在数据量不大、索引不多的情况下根本用不到。

由于我们的思维惯性,会一直认为创建索引、指定 Mapping 顺理成章。

当遇到海量数据的时候,可以通过脚本创建Mapping。项目结束或者其他什么时间,才发现有template。最后慨叹:“早知道有template,我就不用维护那么多脚本了”。

  • Ingest 数据预处理,在写入前处理数据的妙处,用过才知道很爽、很方便!

同样是思维惯性,不知道 Ingest 的话,总感觉数据处理的操作属于前置 ETL 的环节,于是自己写代码实现:数据字段的拆解、截取、更换字段名等操作。

实际上,这些操作用 ingest 几行语句就能快速搞定。

知识体系的梳理,我推荐用脑图,定期的把一些零散的知识点画一画。比如如下的几个点细分知识点非常琐碎,需要自己梳理建立完整体系认知。

Elasticsearch 检索分类脑图

Elasticsearch 数据类型脑图

Elasticsearch 全景技术体系脑图

画的多了,就形成了自己的知识体系。

如下视频是我用 30 + 分钟的时间徒手敲了《Elasticsearch 最少必要知识》的核心知识点,这也是当前 Elastic 认证考试考纲的全部知识点。

2.5 以考带练

可以考虑参加 Elastic 认证考试,通过以考代练的方式,强迫自己夯实基本功。

之前分享过认证考试的文章比较多,不再赘述。

对认证感兴趣的推荐阅读:

如下是 BAT 大佬对认证工程师的评价,至少在你简历不那么出彩的时候,认证工程师算是一个简历的亮点。

有了这个亮点,入大厂的敲门砖才更有力!

死磕 Elasticsearch 知识星球已通过 46 位 认证工程师(截止 2021年3月11日),其中三位拿到了大厂高薪 offer:

  • 微软 offer
  • 阿里 offer
  • 拼多多 offer

以上,通过进一步的刻意练习,助力构建知识体系,期望有助于你快速进阶!

3、源码原理篇:掌握本质,一通百通

目前来看只有互联网大厂才会做 Elasticsearch 内核级别优化,所以大厂面试的第一个问题通常是:“有没有看过 Elasticsearch 源码?”。然后再问一些底层原理、优化等实战问题。

PS 补充一点:大厂必然会问基础算法,建议提前力扣刷题备战。

单纯的读源码容易碰壁、经常会是“一头雾水、不知所云”。所以建议结合实战问题,带着问题看源码。

也推荐开发一款 Elasticsearch 插件,开发的过程加强对 Elasticsearch 代码和接入逻辑的认知。

3.1 推荐1:张超老师的《Elasticsearch源码解析与优化实战》书

  • 推荐原因:市面上写Elasticsearch 源码的唯一一本书,豆瓣评分7.5+。
  • 推荐原因2:我请过张超老师做过一次技术分享,球友们都一致反馈他研究的很深。

结合源码解读书,有必要的时候再去翻源码,这样学习相对更快,至少有了脉络可循、能少走弯路。

3.2 推荐2:《Lucene 实战》

  • Elasticsearch 底层是 Lucene,掌握 Lucene 的原理对于理解Elasticseach 非常有帮助。
  • 翻译实在不敢恭维,但貌似实体Lucene 书实在是稀缺,可以大致看一下。

3.3 推荐3:《Lucene 原理与代码分析完整版》电子书

以上,期望有助于你理解底层原理!

4、系统学习的误区

4.1 买课内卷化

开工忙非常理解。但是,买课的目的得进一步明确:0.1元课、1元课、9.9元课、19.9元课等都非常多,各大机构竞争已经出现了白热化。我自己也帮推课,站在 IT 培训公司 或者 IT 知识付费公司推广的角度能理解,吸引用户无可厚非。

但,之前咱们也强调过,买课不是目的,和买书一个道理,再直白点说:

买了书不看和买了课不看,是一模一样的逻辑。

买的时候心里是这样的:

  • X 天掌握一门技能,太牛逼了。
  • X 天后,我就成大牛了。
  • X 天后,我就建立完整知识体系了。
  • 我擦,业界大佬的课,得学啊!
  • 我擦,群里球友或身边同事都买了,我也得买啊。
  • 我擦,买它买它买它。。。。

买了那一刻瞬间的感觉,很舒服、很踏实、仿佛产生了中彩票的幻觉。

但是,买完之后没多久呢?

  • XXX,你的bug,过来看一下。
  • XXX,年度规划会议,记得参加。
  • XXX,产品需求讨论会议,记得参加。
  • XXX,架构选型会议,记得参加。
  • XXX,开发问题讨论、敲代码。。。
  • XXX,不行,今天任务还没完成,加班中。。。

如此反复,进入了 996 的死循环。

几天后,或者几十天后,又发现课程推广广告,哎,我不是买过这门课,我擦,忘记听了、忘记学了。

课不在多,能学才灵!

课不在多,够练就行!

练起来比买起来更重要。

买不可怕,买了不学才可怕!

学不可怕,学了不练才可怕!

练不可怕,练了不用才可怕!

4.2 注意力分散

我多次引用过李笑来的话:注意力 > 时间 > 金钱。

真的是这样——你的注意力在哪里?你的成就就在哪里!

过年的时候跟朋友聊天提到了读书的问题,“不怕你笑话,我好几年没有读过一本书了”。

我是非常能理解的,工作之后加上结婚有了孩子之后,时间真的是很散的,如果工作是996的话,没时间读书真的是很务实的一句话。

要注意的是:正如罗胖所说的——“国民总时间”是恒定的。

如果不读书,工作、生活或者其他方面有所专长足以养家糊口、家庭富足无可厚非。但,怕就怕把相对仅有的稀缺的休闲时间用在了:刷视频、刷新闻上。

即便我能坚持写博客,但我始终认为我的自制力很差,容易刷视频上瘾。之前采取暴力的方式卸载掉APP,实际上不能本质解决问题。

现在缓和的解决方案,给自己休闲(刷视频、刷新闻)定个时间,过了点就得干正事:读书、学习、实践等。

并且,效果不好的话,一言不合我就会打卡学习,通过打卡一句话总结每天干的事情,很笨但很有效。

推荐阅读:打卡学习——应对焦虑的一剂良方!

最后,我想说:把注意力集中在长期的、有意义的事情上。越集中、越幸运!

5、小结

说是系统的学,不知道大家看完了感觉是怎么样的?够不够系统?

没有普适的方法,大家结合自己的实际业务不断刻意练习,找到属于自己的方法论才是王道!

毕竟是一家之言,如果有不对的地方,欢迎指正。也欢迎大家留言交流学习心得、方法等。

下一篇
举报
领券