Elasticsearch:聚合结果后，我应该使用哪个嵌套映射来存储数据

Elasticsearch是一个开源的分布式搜索和分析引擎，它基于Lucene库构建而成。它具有快速、可扩展、分布式、高可用等特点，被广泛应用于全文搜索、日志分析、数据可视化等领域。

在Elasticsearch中，聚合（Aggregation）是一种用于对数据进行分组和计算的功能。当我们需要对聚合结果进行持久化存储时，可以使用嵌套映射（Nested Mapping）来存储数据。

嵌套映射是一种将复杂结构的数据嵌套存储的方式，它允许我们在一个文档中嵌套存储其他文档。在聚合结果中，如果我们需要将每个聚合桶中的数据作为一个整体进行存储，可以使用嵌套映射。

使用嵌套映射存储数据的优势包括：

数据完整性：嵌套映射可以保持聚合结果中的数据完整性，每个聚合桶中的数据都可以作为一个独立的文档进行存储。
灵活性：嵌套映射可以支持多层嵌套结构，使得数据的存储更加灵活。
查询性能：使用嵌套映射可以提高查询性能，因为可以将相关的数据存储在同一个文档中，减少了数据的读取和检索操作。

对于存储数据的选择，可以根据具体的业务需求和数据结构来决定是否使用嵌套映射。如果需要对聚合结果进行进一步的分析和查询，或者需要保持数据的完整性和一致性，那么使用嵌套映射是一个不错的选择。

在腾讯云的产品中，与Elasticsearch相关的产品是腾讯云搜索引擎（Cloud Search），它是基于Elasticsearch构建的一站式搜索解决方案。腾讯云搜索引擎提供了全文搜索、数据分析、实时监控等功能，可以帮助用户快速构建高性能的搜索应用。

腾讯云搜索引擎产品介绍链接地址：https://cloud.tencent.com/product/cs

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

Elasticsearch入门指南：构建强大的搜索引擎（上篇）

聚合（Aggregation）：聚合是对文档进行分组、过滤和计算的操作。它可以用于生成统计信息、分析数据分布、执行数据分桶等。聚合可以根据各种条件对文档进行分类，并生成汇总结果。...路由（Routing）：路由是决定文档将存储在哪个分片中的过程。Elasticsearch使用文档的ID和路由算法来确定文档应该被分配到哪个分片上。...Elasticsearch提供了搜索建议的功能，以提高用户体验和搜索结果的准确性。实时搜索（Real-time Search）：实时搜索是指在文档被索引后，能够立即进行搜索并返回最新结果的能力。...相反，Elasticsearch 鼓励使用内嵌文档或嵌套对象来表示层次结构数据，以获得更好的性能和查询灵活性。...因此，在使用最新版本的 Elasticsearch 时，应该避免使用父子文档关系，并考虑使用内嵌文档作为替代方案。

3282 0

Elasticsearch 检索性能优化实战指南

大宽表拉伸存储：本质空间换时间。业务层面自己结合检索后的返回结果，自己实现关联。且：Nested 可以使查询慢几倍，而父子 Join 类型可以使查询慢数百倍。...当时选型的时候，摸着石头过河，拿起石头就用，结果石头有“刺“，把手给扎了。更好的方式应该是：全局认识，有几种类型石头？哪里有石头？石头应用场景是什么？我的业务需要哪种类型的石头？...21、谨慎使用全量聚合和多重嵌套聚合聚合的本质是不精准的，原因在于主、副本分片数据的不一致性。对于实时性业务数据，每分、每秒都有数据写入的，要考虑数据在变化，聚合结果也会随之变化。...我在业务开发中使用全量聚合的目的是规避聚合结果的不精准性，但是带来的则是性能问题。多重嵌套聚合随之嵌套层数的增多，复杂度也会激增，检索响应速度会变慢甚至带来性能问题。...推荐阅读： Elasticsearch 聚合数据结果不精确，怎么破？ 22、设置合理的 Timeout 时间超时参数和在参数后终止在执行大量搜索或结果数据庞大时非常有用。

1.8K4 1

Elasticsearch索引之嵌套类型：深度剖析与实战应用

，按照常理，这样的数据应该不存在。...通过nested查询，可以精确地定位到嵌套字段中的特定数据，并进行高效的检索。六、排序和聚合除了基本的查询功能外，Elasticsearch还允许我们对嵌套字段进行排序和聚合操作。...通过使用nested排序语法，我们可以确保正确地处理嵌套字段中的数据。类似地，也可以对嵌套字段进行聚合操作，以获取有关数据的统计信息。...通过使用nested聚合语法，我们可以对嵌套字段中的数据执行复杂的统计分析。...结语 Elasticsearch中的嵌套索引是一个强大的功能，允许你处理具有一对多关系的复杂数据结构。通过正确使用嵌套索引、查询、排序和聚合功能，你可以高效地检索和分析关联数据。

2481 0

ElasticSearch-7.10 参考手册

l 路由根据路由键，使得ES决定使用哪个分片(shard)进行存储以及处理查询。...连接后，可以使用跨群集搜索来搜索远程群集。您还可以使用跨群集复制在群集之间同步数据。...9.Coordinating only nodes 只处理请求和聚合结果，不存放数据 l 索引配置 https://www.elastic.co/guide/en/elasticsearch/reference...对于单独的搜索请求，UI可以在最热门的搜索结果可用时立即显示它们，并在较慢的聚合请求完成后显示聚合数据。可以使用PIT来确保两个搜索请求在相同的数据和索引状态下运行。...精确取决于数据分布和聚合的数据量，也就将某一数值放入对应的桶内，在聚合计算时，使用bucket 的值代替，计算近似值，这样可以节省大量的内存。在机器学习领域得到大量的使用。

5.1K1 0

Elasticsearch数据搜索原理

例如，你可以使用 avg 聚合来计算所有商品的平均价格，或者使用 histogram 聚合来统计每个价格区间的商品数量。此外，聚合功能还支持嵌套聚合，你可以在一个聚合的基础上进行另一个聚合。...优化文档结构：尽量避免使用嵌套类型（nested type），因为嵌套类型会增加索引的复杂性和存储开销。如果需要在数组字段上进行搜索，可以考虑使用 flattened 类型。...5.3、使用doc_values优化排序和聚合在 Elasticsearch 中，doc_values 是一种在磁盘上的列式存储，它可以用来快速、高效地执行排序、聚合等操作。...5.4、使用routing优化分片在 Elasticsearch 中，routing 参数可以用来控制文档存储到哪个分片，以及搜索请求路由到哪个分片。通过合理的路由策略，可以显著提高搜索性能。...默认情况下，Elasticsearch 会根据文档的 ID 来决定将文档存储到哪个分片，搜索请求会路由到所有的分片。这种策略可以保证数据的均匀分布，但在某些情况下，可能并不高效。

3332 0

Elasticsearch 8.X Rollup 功能详解及避坑指南

Elasticsearch 传统的聚合操作都是实时聚合，就是执行聚合的那一刻，实时根据检索+聚合语句进行聚合操作。传统的聚合，当文档数据量非常大时进行多重聚合、嵌套聚合的性能会受到很大影响。...Rollup 允许用户在实时运行时间之外预先定义聚合任务，这些任务将执行后的聚合结果数据写入到新创建的特定索引中。在这个新的索引中，数据已经被预先聚合，这使得查询和分析操作更加快速和高效。...在电商场景下，可以使用Rollup API来进行如下操作：电商场景1：统计销售数据电商网站可以使用Rollup API来聚合销售数据，如订单量、销售额、商品销售量等，以便于分析和报告。...创建完毕后，Kibana 呈现如下图所示，我想说明的是，创建了不代表启动了，所以上面的 status 是 stopped 状态。需要咱们手动启动才可以。 4.2 启动 Rollup job。...创建 Rollup 任务后，需要定期监控其运行状态，确保数据正常聚合。可以使用 Elasticsearch 监控功能来查看任务的运行状况。

2532 0

go-ElasticSearch入门看这一篇就够了(一)

3分钟部署一下ES，就可以作为生产环境的系统来使用了，数据量不大，操作不是太复杂现在我们应该知道ES是什么了吧，下面我就来安装他，学习怎么使用。...我下载的版本是：elasticsearch-7.9.0。下载好后，需要进行解压。.../elasticsearch 启动后，访问http://localhost:9200/ ，如果可以正常访问，就说明安装成功了。安装成功后，我们来尝试使用一下。...存储结构大家对mysq的存储结构应该是很清楚的，所以咱们在学习ES存储结构时，同时类比mysql，这样理解起来会更透彻。...// 嵌套聚合查询，支持多层嵌套 } [,"" : { ... } ]* // 多个聚合查询，每个聚合查询取不同的名字 } } 说明： aggregations

1.9K3 0

【Elasticsearch系列之一】ES基本概念

每个节点都知道任意文档所处的位置，并且能够将我们的请求直接转发到存储我们所需文档的节点。无论我们将请求发送到哪个节点，它都能负责从各个包含我们所需文档的节点收集回数据，并将最终结果返回給客户端。...使用单播，您可以为 Elasticsearch 提供一些它应该去尝试连接的节点列表。当一个节点联系到单播列表中的成员时，它就会得到整个集群所有节点的状态，然后它会联系 master节点，并加入集群。...我们不必盲目地去广播查询请求，取而代之的是：我们要告诉Elasticsearch我们的数据在哪个分片上。...原来的查询语句：“请告诉我，USER1的文档数量一共有多少” 使用自定义Routing（在USESR ID上）后的查询语句：“请告诉我，USER1的文档数量一共有多少，它就在第三个分片上，其它的分片就不要去扫描了...当搜索数据时，默认查询所有分片结果然后汇总，而并不必须知道数据到底存在哪个分片上，具体的计算公式如下： [默认计算公式] 假设有一个100个分片的索引。当一个请求在集群上执行时会发生什么呢？

2.7K10 2

学好Elasticsearch系列-聚合查询

Elasticsearch的聚合操作支持嵌套，即一个聚合内部可以包含别的子聚合，从而实现非常复杂的数据挖掘和统计需求。...doc values 是一种在磁盘上的、列式存储的数据结构，适用于稀疏字段，也就是字段中有很多不同的值。它们默认开启，并且不能被禁用。...举例来说，如果你有一个 message 字段并且想要对其进行聚合，你应该使用 message.keyword 而非 message。...注意，对于大数据集，计算精确的百分位数可能需要消耗大量资源。因此，Elasticsearch 默认使用一个名为 TDigest 的算法来提供近似的计算结果，同时还能保持内存使用的可控性。...嵌套聚合嵌套聚合就是在聚合内使用聚合，在 Elasticsearch 中，嵌套聚合通常用于处理 nested 类型的字段。

3822 0

触类旁通Elasticsearch：关联

图2 嵌套类型使得ES将多个对象索引到多个分隔的Lucene文档在某些用例中，像对象和嵌套类型那样，将所有数据存储在同一个ES文档中不见得是明智之举。...搜索和聚合嵌套文档使用nested在嵌套文档上运行搜索和聚合，使ES连接在同一个分块中的多个Lucene文档，并将连接后的结果数据看作普通的ES文档。...（5）嵌套和逆向嵌套聚合为了在嵌套类型的对象上进行聚合，需要使用nested聚合。这是一个单桶聚合，在其中可以指定包含所需字段的嵌套对象之路径。...如果这个name字段存储在嵌套类型的members对象中，那么需要将terms聚合封装在nested聚合中，并将聚合的路径path设置为会员members： curl '172.16.1.127:9200...因此，管理复制后的会员文档要容易一些。同理也可应用于SQL数据库的反规范化。（2）如何表示一对多关系是选择父子关系还是嵌套文档呢？

6.2K2 0

干货 | 2024 年 Elasticsearch 常见面试题集锦

Q2：在数据建模过程中，你如何决定使用嵌套类型还是平面结构？ A1：倒排索引以支持全文检索；正排索引以支持聚合操作。...A2：关于嵌套结构、平面结构——实践表明：如果能平面宽表存储，咱们就宽表，空间换时间的方式是非常有效的数据建模方式；除非特殊情况，当子文档更新不频繁的场景，推荐使用 Nested 类型；子文档更新频繁的场景...比如：想知道哪个IP地址近期操作频繁，想知道近期哪个聚合比较拉胯。...Q2：当 Elasticsearch 集群不可用时，你的应用程序如何处理？回答： A：高容错性？——这个词我的理解是高可用性。需要表达清楚后，咱们和面试官进行核对，确保理解题目是正确的。...我一般借助 kibana 的可视化，使用 Metricbeat 收集指标数据，同步到 Elasticsearch ，借助kibana 进行集群数据监控的可视化。

5361 0

ElasticSearch-高级特性

聚合是在brandAgg的聚合内部嵌套的子聚合。...使用聚合功能，利用Bucket聚合，对搜索结果中的文档基于品牌分组、基于城市分组，就能得知包含哪些品牌、哪些城市了。...4.1 集群问题单机的elasticsearch做数据存储，必然面临两个问题：海量数据存储问题、单点故障问题。...路由请求到其它节点合并查询到的结果，返回给用户 4.3.集群分布式存储当新增文档时，应该保存到不同分片，保证数据均衡，那么coordinating node如何确定数据该存储到哪个分片呢？...4.3.1.分片存储测试插入三条数据：测试可以看到，三条数据分别在不同分片：结果： 4.3.2.分片存储原理 elasticsearch会通过hash算法来计算文档应该存储到哪个分片：说明： _

1222 0

【ES三周年】搜索引擎基础原理及其示例

查询结果可以按照指定的排序规则进行排序，并且可以限制返回结果的数量和偏移量。Elasticsearch 还支持各种过滤器和聚合操作，以便更精确地检索和分析数据。...Elasticsearch 聚合原理Elasticsearch 聚合是指从文档集合中提取有意义的信息的过程。聚合可以用于各种数据分析和数据挖掘场景，例如计算平均值、求和、计数、分组、分桶等。...聚合结果可以按照指定的排序规则进行排序，并且可以限制返回结果的数量和偏移量。...映射定义了每个字段的数据类型、分析器、索引选项、存储选项等。映射还可以定义多个字段之间的关系，例如父子关系、嵌套关系等。映射对索引和搜索的性能和精度都有重要影响，因此需要根据实际情况进行调整。...聚合查询时需要指定聚合条件和聚合语句，聚合条件包括索引、文档类型、字段等信息，聚合语句则是具体的聚合逻辑，可以是简单的统计计算，也可以是复杂的嵌套聚合。

1K0 0

Elasticsearch 聚合数据结果不精确，怎么破？

举例：有1TB的数据，但只有两个节点（单节点512GB存储）？单独无法存储，切分分片后，问题游刃有余的解决。操作可以分布在多个节点上，从而可以并行化提高性能。...因为可以在所有主、副本上并行执行搜索、聚合操作。 2.2 分片的分配机制 Elasticsearch 如何知道要在哪个分片上存储新文档，以及在通过 ID 检索它时如何找到它？...确定给定文档应存储在哪个分片的机制称为：路由。为了使 Elasticsearch 尽可能易于使用，默认情况下会自动处理路由，并且大多数用户不需要手动 reroute 处理它。...协调节点汇集后结果为：产品Y：35，产品X: 35，产品A：30。这就产生了实际聚合结果和预期聚合结果不一致，也就是聚合结果不精确。 ?...方案4：使用Clickhouse 进行精准聚合在星球微信群里，张超大佬指出：分析系统里跑全量的 group by 我觉得是合理的需求， clickhouse很擅长做这种事，es如果不在这方面加强，分析场景很多会被

3.1K3 1

ES服务聚合查询之Bucket聚合详解

一、聚合的引入我们在SQL结果中常有： SELECT COUNT(color) FROM table GROUP BY color ElasticSearch中桶在概念上类似于 SQL 的分组（GROUP...，简单而言就是上一个聚合的结果成为下个聚合的输入；（PS:指标聚合和桶聚合很多情况下是组合在一起使用的，其实你也可以看到，桶聚合本质上是一种特殊的指标聚合，它的聚合指标就是数据的条数count) 如何理解...汽车经销商可能会想知道哪个颜色的汽车销量最好，用聚合可以轻易得到结果，用 terms 桶操作： GET /test-agg-cars/_search { "size" : 0, "aggs...：聚合的嵌套这个新的聚合层让我们可以将 avg 度量嵌套置于 terms 桶内。...响应结果如下：结果很容易理解，不过应该注意到直方图的键值是区间的下限。键 0 代表区间 0-19，999 ，键 20000 代表区间 20，000-39，999 ，等等。

2031 0

Elasticsearch学习-嵌套文档

本文以Elasticsearch 6.8.4版本为例，介绍Elasticsearch嵌套文档的使用。...在Elasticsearch取消了多个索引内创建多个type的机制，由于场景需要，所以调研了嵌套文档和父子文档 [image] 以文章和文章留言为例，嵌套文档都在一个文档内，而父子文档则分开存储了父文档与子文档...[image] 同时，嵌套文档的字段类型需要设置为nested，设置成nested后的不能被直接查询，需要使用nested查询，这里不做具体介绍，详细查看1.2。...，原因是这样的，在嵌套文档查询排序时是先按照条件进行查询，查询后再进行排序，那么可能由于数据的原因，导致排序的字段不是按照匹配上的数据进行排序，比如这是本文正确的结果，如下图所示（为了方便查看，使用图表展示的数据...] 1.5 聚合聚合的场景可能也比较常见，其实熟悉上面嵌套文档的使用的话，对聚合文档使用难度应该也不大，新增一条数据： PUT http://localhost:9200/blog/blog/4/

1.1K0 0

干货 | 拆解一个 Elasticsearch Nested 类型复杂查询问题

2.2 宽表建模方案拿到问题后，我的第一反应：建模可能有问题。第一：time 存储的是日期，应该是日期类型：date。第二：宽表拉平存储是不是更好？！...sum Metric 聚合的前提是：针对某一特定用户形成一个结果，所以其外层是基于用户维度（本文使用：user_id）层面的terms聚合。...第二：复杂检索和聚合出错多数是：子聚合的位置放的不对、后括号和前括弧不匹配等，需要多在 Kibana 测试验证。...由于二层聚合设置了 top_hits,所以返回结果里除了sum_count的聚合结果，还包含的其下钻数据字段：“gender”、“user_id” 信息，如果实际业务还有更多需要召回字段，可以一并 include...共探索出两种可行的方案：方案一：聚合实现。方案一本质：两重嵌套聚合（terms分桶 + 分桶内 sum 指标聚合）+ 子聚合（基于聚合的聚合 bucket_selector）实现。

2.5K4 1

Elasticsearch 性能优化-索引设计

在使用 Elasticsearch 进行搜索时，索引的设计非常关键，它可以对搜索性能和数据质量产生重要影响。...我们需要将这个数据集存储到 Elasticsearch 中，并支持以下几种查询需求：根据用户名进行模糊搜索；根据年龄范围进行过滤；根据所在城市进行聚合查询；根据注册时间进行排序查询。...，我们使用了批量插入数据的方式，一次性将五条用户信息导入到 Elasticsearch 中。...每条数据都包含了上面所述的字段信息。索引的查询优化在索引设计完成后，我们需要对查询进行优化，以提升查询的性能和效率。...查询优化器：Elasticsearch 提供了一个查询优化器，可以对查询进行优化，以提升查询性能。例如，可以将多个查询合并成一个复合查询，或者使用缓存查询结果等。

46010 1

elasticsearch的字段类型与应用场景

如果将field类型设置为keyword，我们就可以对数据实现精确查询聚合排序。一.elasticsearch的字段类型binary可以存储编码为base64的编码的二进制值。...加密数据存储：如果需要再索引中存储敏感数据，可以使用第三方加密工具对数据进行加密，然后将加密后的二进制数据使用binary字段类型进行存储。...序列化对象存储：可以将对象进行二进制序列化后，使用binary进行存储。注意事项：使用binary存储字段数据后，数据只是以二进制的形式存储于elasticsearch中。...当对字段进行别名定义后，我们也可以通过别名来对字段进行检索。在搜索当中所有的请求都可以使用别名，不论是精确查询还是聚合查询，都可以使用字段的别名。...动态映射：当我们将字段设置为object类型后，elasticsearch可以自动检测和映射嵌套对象的字段。不用针对数据中的字段进行预先定义。flattened用于存储json对象数据。

3945 2

Elasticsearch聚合学习之四：结果排序

本文是《Elasticsearch聚合学习》系列的第四篇，在前面的实战中，聚合的结果以桶(bucket)为单位，放在JSON数组中返回，这些数据是没有排序的，今天来学习如何给这些数据进行排序；系列文章列表...：6.7.1 Kibana：6.7.1 实战用的数据依然是一些汽车销售的记录，在第一章有详细的导入步骤，请参考操作，导入后您的es中的数据如下图： ?...也许是"手贱"的缘故，我还是用_term试了下，可以返回结果，但是会建议用_key替代_term，如下图： ?...嵌套桶排序在聚合查询中，经常对聚合的数据再次做聚合处理，例如统计每个汽车品牌下的每种颜色汽车的销售额，这时候DSL中就有了多层aggs对象的嵌套，这就是嵌套桶（此名称来自《Elasticsearch...嵌套桶的排序情况略为复杂，详情请参考《Elasticsearch聚合的嵌套桶如何排序》；至此，聚合返回结果排序的实战已经完成了，后面的章节会深入学习es的聚合有关的关键知识点；

7K3 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云