深入浅析Elasticsearch中的聚合操作

如果写过Elasticsearch的聚合操作DSL,都知道它非常的繁琐,很简单的业务就导致异常复杂的json。因为它的聚合操作是嵌套的,一个聚合的输出可以是另一个聚合的输入,并且聚合还支持pipeline,能引用父亲或者兄弟节点的聚合,所以导致其结构非常难以理解。本文将根据一个实际的例子来逐步的构建一个Elasticsearch的聚合DSL语句,来方便大家理解ES的聚合操作。

假设在index test-order中存储了用户的订单信息,name表示用户姓名,price表示订单价格。

GET test-order/_search?filter_path=hits.hits._source

数据如下

现在有如下需求,首先规定消费总金额在100以上的用户为VIP,然后要计算系统中VIP的数量。这要是在传统的关系数据库中,是非常简单的,首先group by name,计算sum(price),然后用having语句过滤VIP,最后再count临时表,得到 VIP的数量。SQL语句如下

在ES中,我们也需要按照同样的顺序构建DSL。

group

首先按照name来分组,用Terms Aggregation来充当group。

sum

将name分组后的结果作为输入,对price字段进行sum。可以看到下面是将一个sum聚合嵌套在了term聚合中。

看到paymentSum这个聚合是在此时已经完成了sum(price) group by name。

上面sumFilter是一个bucket_selector,这是一个parent类型的pipeline,用来过滤上层聚合的结果。sumFilter中引用了paymentSum,用sum的结果进行过滤。可以看出,现在已经查出了VIP。

模拟子查询

上面已经查询出了VIP,需要进行一下count。这里利用stats_bucket来统计VIP的数量。下面的vip_count是一个stats_bucket,这是一个sibling类型的pipeline,用来统计其他聚合操作的数据。

最终结果中的vip_count中,count就是系统中VIP的数量。

结语

变成

代码行数膨胀为6倍,这就是ES DSL的威力。。。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20191121A0FRVC00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券

玩转腾讯云 有奖征文活动