AI 辅助程序员日常，ES 分页查询 3 分钟搞定！

伍六七AI编程

发布于 2023-12-07 14:45:18

1790

发布于 2023-12-07 14:45:18

文章被收录于专栏：preparedprepared

大家好，我是伍六七。

程序猿们在日常的工作中，经常会碰到一些数据处理的工作，比如日志查询、日志过滤等需求。

以前我们可能会自己写一个功能性代码来跑数据，现在，你只需要把你要解决的问题发给 GPT，它生成的代码，你就可以直接用了。

前段时间，阿七就接到一个小的日常问题，让我将所有符合条件的日志数据都导出来，日志数据存储在 ES 中。

但是阿七已经很久没写过 ES 了，完全忘记了呀。怎么办，第一想法是找有没有其他项目中有类似代码，发现找不到。马上，想到可以把问题抛给 GPT，结果我 3 分钟就搞定了！

我们把需要 GPT 做的事情和限制条件发给 GPT，prompt 如下：

帮我编写一段java代码，用来查询es数据库中，索引：index1，包含字段 keyword1、keyword2，日期是 date1 的所有内容，并导出到文件 index1_search.log。要求如下： 1、使用 elasticsearch-rest-high-level-client-7.7.0中的 org.elasticsearch.client.RestHighLevelClient 这个类作为client

以下是一个简单的 Java 代码示例，用于查询 Elasticsearch 中的索引index1，包含字段 keyword1、keyword2，日期是 date1 的所有内容，并将结果导出到文件 index1_search.log 中。

该代码使用了 elasticsearch-rest-high-level-client-7.7.0 中的 org.elasticsearch.client.RestHighLevelClient 类作为 client。

import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.common.unit.TimeValue;
import org.elasticsearch.index.query.BoolQueryBuilder;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.builder.SearchSourceBuilder;

import java.io.BufferedWriter;
import java.io.FileWriter;
import java.io.IOException;
import java.util.concurrent.TimeUnit;

public class ElasticsearchQuery {

    public static void main(String[] args) throws IOException {
        // 创建RestHighLevelClient对象
        RestHighLevelClient client = new RestHighLevelClient();

        // 构建查询条件
        BoolQueryBuilder queryBuilder = QueryBuilders.boolQuery()
                .must(QueryBuilders.termQuery("keyword1", "value1"))
                .must(QueryBuilders.termQuery("keyword2", "value2"))
                .must(QueryBuilders.rangeQuery("date1").gte("2021-01-01").lte("2021-12-31"));

        // 构建查询请求
        SearchRequest searchRequest = new SearchRequest("index1");
        SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
        searchSourceBuilder.query(queryBuilder);
        searchSourceBuilder.size(1000);
        searchSourceBuilder.timeout(new TimeValue(60, TimeUnit.SECONDS));
        searchRequest.source(searchSourceBuilder);

        // 执行查询请求
        SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);

        // 处理查询结果
        SearchHit[] searchHits = searchResponse.getHits().getHits();
        BufferedWriter writer = new BufferedWriter(new FileWriter("index1_search.log"));
        for (SearchHit hit : searchHits) {
            String source = hit.getSourceAsString();
            writer.write(source);
            writer.newLine();
        }
        writer.close();

        // 关闭RestHighLevelClient对象
        client.close();
    }
}

该代码中，首先创建了一个 RestHighLevelClient 对象，然后使用 BoolQueryBuilder 构建了查询条件，包括 keyword1、keyword2 和 date1 三个字段的查询条件。

接着，使用 SearchRequest 和 SearchSourceBuilder 构建了查询请求，并执行了查询请求。最后，将查询结果导出到文件 index1_search.log 中，并关闭了 RestHighLevelClient 对象。

然后我发现数据量太大了，怎么办呢？可以分页解决，就跟谷歌浏览器的搜索分页一样，但是不会写，怎么办？继续扔问题给 GPT。

我们在原来的提示词中补充新的分页的需求，prompt 如下:

帮我编写一段java代码，用来查询es数据库中，索引：index1，包含字段keyword1、keyword2，日期是 date1 的所有内容，并导出到文件 index1_search.log。要求如下： 1、使用 elasticsearch-rest-high-level-client-7.7.0中的 org.elasticsearch.client.RestHighLevelClient 这个类作为client 2、日志比较大，使用 scroll 循环查询，每次查询100条

以下是一个 Java 代码示例，用于查询 Elasticsearch 中的索引 index1，包含字段 keyword1、keyword2，日期是 date1 的所有内容，并将结果导出到文件 index1_search.log中。

该代码使用了 elasticsearch-rest-high-level-client-7.7.0 中的 org.elasticsearch.client.RestHighLevelClient类作为client，并使用 scroll 循环查询，每次查询 100 条。

import org.elasticsearch.action.search.ClearScrollRequest;
import org.elasticsearch.action.search.ClearScrollResponse;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.action.search.SearchScrollRequest;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.common.unit.TimeValue;
import org.elasticsearch.index.query.BoolQueryBuilder;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.builder.SearchSourceBuilder;

import java.io.BufferedWriter;
import java.io.FileWriter;
import java.io.IOException;
import java.util.concurrent.TimeUnit;

public class ElasticsearchQuery {

    public static void main(String[] args) throws IOException {
        // 创建RestHighLevelClient对象
        RestHighLevelClient client = new RestHighLevelClient();

        // 构建查询条件
        BoolQueryBuilder queryBuilder = QueryBuilders.boolQuery()
                .must(QueryBuilders.termQuery("keyword1", "value1"))
                .must(QueryBuilders.termQuery("keyword2", "value2"))
                .must(QueryBuilders.rangeQuery("date1").gte("2021-01-01").lte("2021-12-31"));

        // 构建查询请求
        SearchRequest searchRequest = new SearchRequest("index1");
        SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
        searchSourceBuilder.query(queryBuilder);
        searchSourceBuilder.size(100);
        searchRequest.scroll(new TimeValue(1, TimeUnit.MINUTES));
        searchRequest.source(searchSourceBuilder);

        // 执行查询请求
        SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
        String scrollId = searchResponse.getScrollId();

        // 处理查询结果
        BufferedWriter writer = new BufferedWriter(new FileWriter("index1_search.log"));
        while (true) {
            SearchHit[] searchHits = searchResponse.getHits().getHits();
            for (SearchHit hit : searchHits) {
                String source = hit.getSourceAsString();
                writer.write(source);
                writer.newLine();
            }

            SearchScrollRequest scrollRequest = new SearchScrollRequest(scrollId);
            scrollRequest.scroll(new TimeValue(1, TimeUnit.MINUTES));
            searchResponse = client.scroll(scrollRequest, RequestOptions.DEFAULT);
            if (searchResponse.getHits().getHits().length == 0) {
                break;
            }
        }
        writer.close();

        // 清除scroll上下文
        ClearScrollRequest clearScrollRequest = new ClearScrollRequest();
        clearScrollRequest.addScrollId(scrollId);
        ClearScrollResponse clearScrollResponse = client.clearScroll(clearScrollRequest, RequestOptions.DEFAULT);

        // 关闭RestHighLevelClient对象
        client.close();
    }
}

该代码中，首先创建了一个 RestHighLevelClient 对象，然后使用 BoolQueryBuilder 构建了查询条件，包括 keyword1、keyword2 和 date1 三个字段的查询条件。

接着，使用 SearchRequest 和 SearchSourceBuilder 构建了查询请求，并执行了查询请求。由于日志比较大，使用 scroll 循环查询，每次查询 100 条，并将查询结果导出到文件 index1_search.log 中。

最后，清除 scroll 上下文，并关闭了 RestHighLevelClient 对象。

自从有了 GPT，写代码如此简单，原来可能需要半个小时甚至 1 个小时的工作，3 分钟就搞定了，赶紧去试用吧！

本文参与腾讯云自媒体分享计划，分享自微信公众号。

原始发表：2023-11-15，如有侵权请联系 cloudcommunity@tencent.com 删除