背景 我们的应用是采用NLPchina开源的elasticsearch-sql插件来进行查询分页和导出，由于ElasticSearch的max_result_window的限制，在深度分页和大批量数据导出时就会出现问题...ElasticSearch的max_result_window默认为10000条，当使用elasticsearch-sql执行select * from test limit 10000,1时，ElasticSearch...ES 分页建议 增加默认的筛选条件，尽量减少数据量的展示，比如：最近一个月； 限制总分页数，比如：淘宝、京东仅显示100页查询结果，百度仅显示76页； 修改跳页的展现方式，改为滚动显示，或小范围跳页，比如...elasticsearch-sql 分页 分页（limit）：深度跳页和深度随机跳页无法实现，但可做限制页数+小范围跳页的替代方案。...USE_SCROLL(100,30000)/ firstname , balance FROM accounts； csv-result：有个 csv 导出的实验类功能（未验证）。
前言：在接口设计上，对数据进行查询时，往往会采用分页查询的形式进行数据的拉取，主要是为了避免一次性返回过大的结果导致对网络，内存，客户端应用程序，集群服务等产生过大的压力，导致出现性能问题。...当我们使用这种方式进行分页查询时，elasticsearch默认上限为10000条数据。...客户端资源消耗：较大的查询结果窗口可能会导致客户端应用程序需要处理更多的数据。如果客户端不具备足够的资源来处理大量的查询结果，可能会影响客户端的性能和稳定性。...当分页的数据超过10000条时，我们又需要返回大量的结果，我们可以通过search_after的方式。其操作步骤如下：1....scroll=1m{ "size": 100, "query": { "match": { "message": "foo" } }}使用限制与分析在scroll查询中，scroll_id
报错信息的解释为当前查询的结果超过了 10000的最大值，这个错误表示请求中的偏移量（from）加上大小（size）超过了索引级别参数 index.max_result_window 所允许的限制。...默认情况下，该限制为10000，由 max_result_window 参数控制。在示例中，请求指定的from值为10000加上size值为5，总计为10005，超过了默认限制。...然而，滚动搜索并不会保存查询结果或索引的快照。一旦滚动上下文被使用完毕（超过滚动时间间隔或已经遍历完所有结果），它就会被丢弃，并且之前返回的结果将不能再重现。...为防止因打开过多Scrolls而导致的问题，ES不允许用户打开超过一定限制的Scrolls。默认情况下，打开Scrolls的最大数量为 500。...时间限制：Search After没有时间限制，可按需获取结果。而Scroll Search需要设置滚动时间间隔，超过该时间将失去滚动上下文。
, 20; LIMIT 10000 , 20的意思扫描满足条件的10020行，扔掉前面的10000行，返回最后的20行。...如果是LIMIT 1000000 , 100，需要扫描1000100 行，在一个高并发的应用里，每次查询需要扫描超过100W行，不炸才怪。...ElasticSearch 从业务的角度来说，ElasticSearch不是典型的数据库，它是一个搜索引擎，如果在筛选条件下没有搜索出想要的数据，继续深度分页也不会找到想要的数据，退一步讲，假如我们把ES...作为数据库来使用进行查询，在进行分页的时候一定会遇到max_result_window的限制，看到没，官方都告诉你最大偏移量限制是一万。...，另外，如果使用 Search After 这种滚动式API进行深度跳页查询，也是一样需要每次滚动几千条，可能一共需要滚动上百万，千万条数据，就为了最后的20条数据，效率可想而知。
workerCacheMaxSize: 10000 #最大工作缓存数量 # Apdex # 性能指数: # Apdex(Application Performance Index)是一个国际通用标准，...# Apdex 是用户对应用性能满意度的量化值。...# 容忍：慢了一点，但还可以接受，继续这一应用过程，响应时间 T～4T 秒。 # 失望：太慢了，受不了了，用户决定放弃这个应用，响应时间超过 4T 秒。...traceDataTTL: 90 #追踪数据滚动删除周期，默认90分钟 minuteMetricDataTTL: 90 #分钟监控数据滚动删除周期，默认90分钟 hourMetricDataTTL...: 36 #小时监控数据滚动删除周期，默认36小时 dayMetricDataTTL: 45 #天监控数据滚动删除周期，默认45天 monthMetricDataTTL: 18 #月监控数据滚动删除周期
问题3：From+size、Scroll、search_after 的本质区别和应用场景分别是什么？...2.1.3 深度翻页不推荐使用 From + size Elasticsearch 会限制最大分页数，避免大数据量的召回导致性能低下。...Elasticsearch 的 max_result_window 默认值是：10000。也就意味着：如果每页有 10 条数据，会最大翻页至 1000 页。...超过了最大窗口的限制，index.max_result_window 默认值为10000。 报错信息还同时给出了两个解决方案： 方案一：大数据集召回数据使用：scroll api。 后面会详细讲解。...search_after：仅需要向后翻页的场景及超过Top 10000 数据需要分页场景。 Scroll：需要遍历全量数据场景 。 max_result_window：调大治标不治本，不建议调过大。
如果你有 5 个 分片，那么就有 10000 条数据，接着协调节点对这 10000 条数据进行一些合并、处理，再获取到最终第 200 页的 10 条数据。...实在需要查询很多数据，可以使用scroll API 滚动查询。...network.breaker.inflight requests.limit 限制当前通过HTTP等进来的请求使用内存不能超过Node内存的指定值。这个内存主要是限制请求内容的长度。...0x03 配置慢查询日志 3.1 通过修改elasticsearch.yml来启用慢查询（需要重启集群，不推荐） vim elasticsearch.yml Search Slow Log配置 ###Search...官网参考 这是一个索引级别的设置，也就是说可以独立应用给单个索引：这个配置是永久的，配置后即使集群重启也会保留。
如果您的 Elasticsearch 集群存在过度分片、资源利用率高或垃圾收集问题，可能会在滚动搜索查询过程中出现超时。...默认的滚动超时值为 5 分钟，因此，您可以尝试将重建索引 API 上的滚动设置为一个更高的值。POST _reindex?...日志中显示“节点未连接”我们始终建议在集群稳定且状态为绿色的情况下运行重建索引 API，集群需要足够的容量才能运行搜索和索引操作。...默认reindex 读取源索引的 batch_size 为1000，这个size的使用限制于系统资源的分配，可以调整到10000增加速度.并发数主要通过url后的slices参数控制，下面的例子里 size...、reindex期间双写问题问题：因业务不能停止写入，服务滚动重启期间存在新旧索引双写的问题，部分数据可能双边更新，应用切换完成后，不能简单覆盖。
使用起来很简单，不过ES默认的分页深度是10000，也就是说from+size超过10000就会报错，我们可以试下，会报下面的错误： { "error": { "root_cause": [...不过，如果我们的业务场景确实需要超过10000条记录的分页，有办法解决吗？当然有。...比如一些实时滚动的场景。 ES为这种场景提供了一种解决方案：search after。...search after利用实时有游标来帮我们解决实时滚动的问题，简单来说前一次查询的结果会返回一个唯一的字符串，下次查询带上这个字符串，进行下一页的查询。.../guide/cn/elasticsearch/guide/cn/_query_phase.html
取而代之的是，您可以定期将数据滚动到新索引，以防止数据过大而又缓慢又昂贵。 随着索引的老化和查询频率的降低，您可能会将其转移到价格较低的硬件上，并减少分片和副本的数量。...当现有索引达到指定的大小或期限时，你可以自动滚动到新索引。 这样可以确保所有索引具有相似的大小，而不是每日索引，其大小可以根 beats 数和发送的事件数而有所不同。...我们希望在索引达到50 GB，或文档的数量超过10000，或已在30天前创建索引后对其进行 rollover，然后在90天后删除该索引。...50GB，那么自动 rollover 如果一个 index 日期已在30天前创建索引后，那么自动 rollover 如果一个 index 的文档数超过10000，那么也会自动 rollover 当一个...index 创建的时间超过90天，那么也自动删除 其实这个我们也可以通过 Kibana 帮我们来实现。
如果遇到超过 10000 的深度分页，推荐采用search_after + PIT。...这就是 web 搜索引擎对任何查询都不要返回超过 10000 个结果的原因。...不严格受制于max_result_window，可以无限制往后翻页。 单次请求值不能超过 max_result_window；但总翻页结果集可以超过。...如果您需要在分页超过 10000 个点击时保留索引状态，请使用带有时间点 (PIT) 的 search_after 参数。...采用滚动增量显示 典型场景比如手机上面浏览微博，可以一直往下滚动加载。 示例： 如下列表展示中，取消了分页按钮，通过滚动条增量加载数据。
当涉及到大规模数据存储和检索时，Elasticsearch以其快速、高效和强大的搜索能力而闻名，并被广泛应用于各种场景，例如日志分析、全文搜索和实时数据分析。...禁用swap 大多数操作系统尝试将尽可能多的内存用于文件系统缓存，并急切地换掉未使用的应用程序内存。这可能导致部分 JVM 堆甚至其可执行页面被换出到磁盘。...如果有这样的需求，建议使用滚动查询 避免单个文档过大 鉴于默认http.max_content_length设置为 100MB，Elasticsearch 将拒绝索引任何大于该值的文档。...在相同性能的情况下，当大量请求同时发送时，太大的批量请求可能会使集群承受内存压力，因此建议避免每个请求超过几十兆字节。 数据建模 很多人会忽略对 Elasticsearch 数据建模的重要性。...避免使用脚本 Scripting是Elasticsearch支持的一种专门用于复杂场景下支持自定义编程的强大的脚本功能。
因为节点 A 的 TOP200，在另一个节点可能排到 10000 名以外了。...那如果我要查询 9900~10000 的数据呢？是不是要先查询 TOP10000 呢？那每个节点都要查询 10000 条？汇总到内存中？...当查询分页深度较大时，汇总数据过多，对内存和 CPU 会产生非常大的压力，因此 elasticsearch 会禁止 from+ size 超过 10000 的请求。...、淘宝这样的随机翻页搜索 after search： 优点：没有查询上限（单次查询的 size 不超过 10000） 缺点：只能向后逐页查询，不支持随机翻页 场景：没有随机翻页需求的搜索...，例如手机向下滚动翻页 scroll： 优点：没有查询上限（单次查询的 size 不超过 10000） 缺点：会有额外内存消耗，并且搜索结果是非实时的 场景：海量数据的获取和迁移
有了倒排索引，搜索引擎可以很方便地响应用户的查询。...： 深度分页其实就是搜索的深浅度，比如第1页，第2页，第10页，第20页，是比较浅的；第10000页，第20000页就是很深了。...而且es为了性能，他不支持超过一万条数据以上的分页查询。...那么如何解决深度分页带来的问题，我们应该避免深度分页操作（限制分页页数），比如最多只能提供100页的展示，从第101页开始就没了，毕竟用户也不会搜的那么深。...那么如何解决深度分页带来的问题，我们应该避免深度分页操作（限制分页页数），比如最多只能提供100页的展示，从第101页开始就没了，毕竟用户也不会搜的那么深。
： 八、ES的深度分页与滚动搜索scroll 一、ElasticSearch基础： 1、什么是Elasticsearch： Elasticsearch 是基于 Lucene 的 Restful 的分布式实时全文搜索引擎...有了倒排索引，搜索引擎可以很方便地响应用户的查询。...： 深度分页其实就是搜索的深浅度，比如第1页，第2页，第10页，第20页，是比较浅的；第10000页，第20000页就是很深了。...而且es为了性能，他不支持超过一万条数据以上的分页查询。...那么如何解决深度分页带来的问题，我们应该避免深度分页操作（限制分页页数），比如最多只能提供100页的展示，从第101页开始就没了，毕竟用户也不会搜的那么深。
[cluster.png] 然而在一些复杂的应用场景中使用Elasticsearch，经常会遇到分片过多引发的一系列问题。...以ES 5.5.2版本、3节点集群为例，在默认配置下，当集群分片数超过1w时，创建index的耗时一般在几十秒甚至以上。 2....调整滚动周期 根据保留时长调整index滚动周期是最简单有效的思路。例如保留3天的数据按天滚动，保留31天的数据按周滚动，保留一年的数据按月滚动。...其他用户可结合具体场景考虑，同时注意单分片的记录条数不要超过上限2,147,483,519。...配置进行限制。
简介 官网地址：https://www.elastic.co/guide/en/elasticsearch/reference/6.8/search-request-search-after.html...深度分页会随着请求的页次增加，所消耗的内存和时间的增长也是成比例的增加，为了避免深度分页产生的问题，elasticsearch从2.0版本开始，增加了一个限制：索引设置max_result_window...建议使用滚动Scroll api进行有效的深度滚动，但是滚动上下文开销很大，不建议将其用于实时用户请求。search_after参数提供了一个活动游标，从而绕过了这个问题。...index.max_result_window =10000 Search After GET regroupmembers/_search { "size": 2, "query": {...search_after并不是自由跳转到随机页面的解决方案，而是并行滚动许多查询。
---- 注意事项 size的大小不能超过index.max_result_window这个参数的设置，默认为10000。...-7-0 https://elasticsearch.cn/article/158 深度分页 深度分页问题大致可以分为两类： 随机跳转页面----> 随机深度分 只能一页一页往下查询 -----> 滚动深度分页...官方文档中建议max的值不要超过shard的数量，否则可能会导致内存爆炸。...#search-after Elasticsearch官方search after dsl案例： { "size": 10000, "query": { "match" : {...因此，深分页问题必须避免，如果需要进行分页查询，可以使用其他更为适合的查询方式，比如限制条件和排序等。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
