如何优雅的全量读取Elasticsearch索引里面的数据

（一）scroll的介绍

有时候我们可能想要读取整个es索引的数据或者其中的大部分数据，来重建索引或者加工数据，相信大多数人都会说这很简单啊直接用from+size就能搞定，但实际情况是from+size的分页方法不适合用于这种全量数据的抽取，越到后面这种方法的性能就越低，这也是es里面为什么限制了单次查询结果的数据不能超过1万条数据的原因。

es里面提供了scroll的方式来全量读取索引数据其与数据库里面的游标（cursor）的概念非常类似，使用scroll读取数据的时候，只需要发送一次查询请求，然后es服务端会生成一个当前请求索引的快照数据集，接着我们每次通过scrollId来读取指定大小的批次数据，直到把整个索引的数据读取完毕。

这里面需要注意，当索引快照集生成的时候，其实在es内部维护了一个search context的上下文，这个上下文在指定的时间间隔内是只读的和不可变的，也就是只要它生成，那么后续你的添加，删除，更新操作的数据都不会被感知。

（二）scroll的使用

下面看下如何使用：

（1）要使用scroll方式来读取数据，需要两步操作，第一步先做一个search context的初始化操作，如下命令：

注意上面url里面的scroll=1m代表，这个search context只保留一分钟的有效期。

（2）在第一步操作里面我们能够获取一个scrollId，然后后面的每个读取都会得到一个scrollId，我们在读取next批次的数据要把这个scrollId回传，如下：

或者通过search lite api的方式：

这样依次循环读取直到searchHits数组为空的情况下就代表数据读取完毕。

同理聚合的scroll请求，也是如此，但聚合请求的数据体只会在初始化的search里面存在，这一点需要注意，不过聚合请求的scroll一般没有这种应用场景，毕竟聚合后的结果一般都是少了好几个数量级的。

此外scroll请求还可以添加一个或多个排序字段，如果你读取的索引数据完全忽略它的顺序，那么我们还可以使用doc字段排序来提升性能。

ok，再补充下再java api里面如何全量读取es索引数据的方法：

（三）删除无用的scroll

上文提到scroll请求时会维护一个search context快照集，这是如何做到的？ 通过前面的几篇文章（点底部菜单栏可以看到），我们知道es在写入数据时，会在内存中不断的生成segment，然后有一个merge线程，会不断的合并小segment到更大的segment里面，然后再删除旧的segment，来减少es对系统资源的占用， 尤其是文件句柄，那么维护一个时间段内的索引快照，则意味着这段时间内的所有segment不能被合并，否则就破坏了快照的静态性，这样以来暂时不能被合并的小segment会占系统大量的文件句柄和系统资源，所以scroll的方式一定是离线使用的而不是提供给近实时使用的。

我们需要养成一个好习惯，当我们用完之后应该手动清除scroll，虽然search context超时也会自动清除。

es中提供了可以查看当前系统中有多少个open search context的api命令：

下面看下删除scrollId的方式

（1）删除一个scrollId

（2）删除多个scrollId

（3）删除所有的scrollId

（4）search lite api的删除多个scrollId用法

上面的所有的功能在es2.3.4的版本中已经验证过，此外在es5.x之后的版本中，还增加了一个分片读取索引的功能，通过分片支持并行的读取方式，来提高导出效率：

一个例子如下：

注意上面的slice参数，里面id字段代表当前读取的按个分片的数据，max参数代表我们将整个索引数据切分成分片的个数，默认的分片算法：

从上面能看到是基于uid字段的hashCode与分片的最大个数求模得出来的，注意floorMod方法与%求模在都是正整数的情况下结果是一样的。

slice字段还可以加入自定义的字段参与分片,比如基于日期字段：

参与分片的字段必须是数值字段并需要开启doc value，另外设置的max数量最好不要超过shard的个数，否则查询性能会下降，默认es对每个索引限制的最大分片量是1024，不过在setting里面通过设置index.max_slices_per_scroll参数改变。

（四）总结

本篇文章介绍了如何优雅的全量读取es的索引数据以及它的一些原理和注意事项，了解这些有助于我们在日常工作中更好的使用es，从而提升我们对es的认知。