Elasticsearch 7.x 去重查询并返回去重后的总数

陈灬大灬海

发布于 2021-03-04 14:46:52

4K0

发布于 2021-03-04 14:46:52

文章被收录于专栏：面朝大海春暖花开面朝大海春暖花开

mysql去重操作

select distinct age from user;

如果在es中如何去重呢

需要用到Elasticsearch 中的 collapse 可以实现该需求

collapse 官网文档

java API

SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
searchSourceBuilder.collapse(new CollapseBuilder("name.keyword"));

但是有个问题，就是hits的total value不对，对应的还是未去重的数量，其实想要的是去重后的总数

可以借助 Aggregation 中的 cardinality 来实现

java API

SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
AggregationBuilder aggregation = AggregationBuilders.cardinality(DISTINCT_TOTAL_COUNT).field("name.keyword");
searchSourceBuilder.aggregation(aggregation);

获取去重后的数量

Aggregations aggregations = searchResponse.getAggregations();
Cardinality cardinality = aggregations.get(DISTINCT_TOTAL_COUNT);
System.out.println(cardinality.getValue());

需要注意的是，字段类型得是keyword类型。DISTINCT_TOTAL_COUNT是自定义的属性

tips: 持续输出，坚持！

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2021-02-25 ，如有侵权请联系 cloudcommunity@tencent.com 删除

api