突破Java面试(15)-分布式搜索引擎Elastic Search的工作流程

以下用ES表Elastic Search

1 面试题

ES写入/查询数据的工作原理是什么呀？

2 考点分析

面试官就是想看看你是否了解ES的一些基本原理.

ES无非就是写/查数据,你如果不明白你发起写入/搜索请求后,ES做了什么,那你该劝退了.

3 详解

3.1 ES写数据的执行流程

• 客户端选择一个node发送请求过去,该node就是coordinating node(协调节点);
• coordinating node对document进行路由,将请求转发给对应的node(有primary shard);
• 实际的node上的primary shard处理请求,然后将数据同步到replica node;
• coordinating node若发现primary node和所有replica node都响应完操作后,就返回结果给客户端.

3.2 ES读数据的执行流程

查询，GET某一条数据，写入了某个document,该document会自动给你分配一个全局唯一id-doc id,同时也是根据doc id进行hash路由到对应的primary shard上面去.也可以手动指定doc id,比如用订单id,用户id.

可以通过doc id来查询,会根据doc id进行hash,判断出当时把doc id分配到了哪个shard,从那个shard去查询

• 客户端发送请求到任意一个node，成为coordinate node
• coordinate node对document路由,将请求转发到对应的node,此时会使用round-robin随机轮询算法，在primary shard及其所有replica中随机选择，使读请求负载均衡
• 接收请求的node返回document给coordinate node
• coordinate node返回document给客户端

3.3 ES查询数据的执行流程

最强大的是做全文检索,比如有三条数据

JavaEdge公众号呀
Java学习者们建议关注哦
java就很好学了呢

注意这里的字母大小写哟~

根据Java关键词来搜索,将包含Java的document给搜索出来

ES就会给你返回：JavaEdge公众号呀,Java学习者们建议关注哦

• 客户端发送请求到一个coordinate node
• 协调节点将搜索请求转发到所有的shard对应的primary shard或replica shard
• query phase 每个shard将自己的搜索结果（本质上就是一些doc id），返回给coordinate node，由coordinate node进行数据的合并、排序、分页等,以生成最终结果
• fetch phase 接着由coordinate node,根据doc id去各节点中拉取实际的document数据,最终返回给客户端

3.4 搜索的底层原理 - 倒排索引

画图说明传统数据库和倒排索引的区别

(待更新...)

3.5 ES 写数据的执行流程

• ES读写底层原理示意图
  

(1) 先写入buffer,在buffer里的时候数据是搜索不到的;同时将数据写入translog日志文件

(2) 如果buffer将满,或者定时,就会将buffer中的数据refresh到一个新的segment file中

但此时数据不是直接进入segment file磁盘文件的,而是先进入os cache,即refresh.

每1s,ES 将buffer中的数据写到一个新的segment file,segment file磁盘文件每 s 生成一个,其只存储最近1s内buffer中写入的数据

• 如果buffer中此时无数据,自然不会执行refresh操作
• 如果buffer中有数据,默认每1s执行一次refresh,刷入一个新的segment file中

在操作系统的磁盘文件中都有os cache(操作系统缓存),即数据写入磁盘文件前,会先进入os cache,即进入OS级别的一个内存缓存

只要buffer中的数据被refresh刷入os cache,该数据就可被搜索到

为什么称 ES 是准实时(NRT，near real-time)的?

默认每1 s refresh一次,所以 ES 是准实时的,写入的数据1s之后才能被观测到.

可以通过ES的RESRful API或者Java API,手动执行一次refresh,即手动将buffer中数据刷入os cache,让数据立马就可被搜索到.只要数据被输入os cache中,buffer就会被清空,因为不需要保留缓存了,数据在translog里面已经持久化到磁盘.

(3) 只要数据进入os cache，此时就可以让这个segment file的数据对外提供搜索服务了.

(4) 重复1~3步骤,新数据不断进入buffer和translog,不断将buffer数据写入一个个segment file,每次refresh完,清空buffer,保留translog.

随着该过程不断推进,translog会变臃肿,当translog达到一定大小时,就会触发commit操作.

buffer中的数据，倒是好，每隔1秒就被刷到os cache中去，然后这个buffer就被清空了。所以说这个buffer的数据始终是可以保持住不会填满es进程的内存的。 每次一条数据写入buffer，同时会写入一条日志到translog日志文件中去，所以这个translog日志文件是不断变大的，当translog日志文件大到一定程度的时候，就会执行commit操作。

(5) commit操作第一步,就是将buffer中现有数据refresh到os cache,清空buffer

(6）将一个commit point写到磁盘,以标识该commit point对应的所有segment file

(7）强行将os cache中所有数据都fsync到磁盘

translog日志文件的作用是什么？ 就是在你执行commit之前,数据要么是停留在buffer中,要么os cache中

无论是buffer还是os cache都是内存,一旦这台机器宕掉,数据就会全丢

所以需要将数据对应的操作写入一个专门的日志文件，translog日志文件中，一旦此时机器宕机，再次重启的时候，ES会自动读取translog日志文件中的数据，恢复到内存buffer和os cache中去。

commit操作

• 写commit point
• 将os cache数据fsync强刷到磁盘上去
• 清空translog日志文件

(8) 将现有的translog清空,接着重启启用一个translog，此时commit操作完成。默认每隔30分钟会自动执行一次commit，但是如果translog过大，也会触发commit。整个commit的过程，叫做flush操作。我们可以手动执行flush操作，就是将所有os cache数据刷到磁盘文件中去。

不叫做commit操作，flush操作。es中的flush操作，就对应着commit的全过程。我们也可以通过es api，手动执行flush操作，手动将os cache中的数据fsync强刷到磁盘上去，记录一个commit point，清空translog日志文件。

9）translog其实也是先写入os cache,默认每5s刷到磁盘

所以默认情况下,可能有5秒的数据仅仅驻存在buffer或者translog文件的os cache中,若此时机器宕机,会丢失5s的数据.

但是这样性能比较好,最多丢5s的数据.也可将translog设置成每次写操作必须是直接fsync到磁盘，但是性能会差很多.

实际上在这里,若面试官没有问你ES丢数据的问题,就可在这里给面试官炫一把: 其实ES第一是准实时性的,数据写入1s后可以搜索到;

可能会丢失数据，你的数据有5s会停留在buffer/translog os cache/segment file os cache中,有5s的数据不在磁盘上,此时如果宕机,会导致这5s的数据丢失.

如果你希望一定不能丢失数据的话，你可以设置个参数，官方文档，百度一下.

每次写入一条数据，都是写入buffer，同时写入磁盘上的translog，但是这会导致写性能、写入吞吐量会下降一个数量级.

本来一秒钟可以写2000条，现在你一秒钟只能写200条，都有可能.

小结

数据先写入内存 buffer，然后每隔 1s，将数据 refresh 到 os cache，到了 os cache 数据就能被搜索到（所以我们才说 es 从写入到能被搜索到，中间有 1s 的延迟）.

每隔 5s，将数据写入 translog 文件（这样如果机器宕机，内存数据全没，最多会有 5s 的数据丢失），translog 大到一定程度，或者默认每隔 30mins，会触发 commit 操作，将缓冲区的数据都 flush 到 segment file 磁盘文件中.

数据写入 segment file 之后，同时就建立好了倒排索引。

3.6 ES 删除数据的执行流程

(1) commit时会生成一个.del文件,将某个doc标识为deleted态,那么搜索的时候根据.del文件就知道该doc已被删除

3.7 ES 更新数据的执行流程

(1) 将原来的doc标识为deleted状态，然后新写入一条数据

(2) buffer每refresh一次，就会产生一个segment file，所以默认情况下是1s一个segment file，segment file会越来越多，此时会定期执行merge

(3) 每次merge时,会将多个segment file合并成一个，同时这里会将标识为deleted的doc给物理删除掉，然后将新的segment file写入磁盘，这里会写一个commit point，标识所有新的segment file，然后打开segment file供搜索使用，同时删除旧的segment file.

ES 里的写流程，有4个底层的核心概念，refresh、flush、translog、merge 当segment file多到一定程度的时候，es就会自动触发merge操作，将多个segment file给merge成一个segment file。

参考

《Java工程师面试突击第1季-中华石杉老师》

更多干货请关注JavaEdge公众号

X 交流学习

Java交流群

博客

Github