es中3种分页的介绍以及对比_es 分页

一 es的3种分页对比

1.1 先上结论

二  es的深度分页介绍

2.1 scroll分页

由于项目现场涉密，所写代码，只能截图还原；

1.初始化客户端

2.scroll查询数据

 2.参考此代码

 /**
     * 这种常用于根据筛选条件之后抽取全部数据的场景，
     * scroll API 可以被用来检索大量的结果， 甚至所有的结果 ，
     * 注意es的游标查询的是当下时刻的数据快照，
     * 即在游标查询之后的数据的变动不会影响游标查询的结果，
     * 默认游标查询根据_doc字段进行排序
     *
     * @param restHighLevelClient
     * @param indexName
     * @param typeName
     * @throws IOException
     */
    public static void cusorSearch(RestHighLevelClient restHighLevelClient, String indexName, String typeName) throws IOException {
        SearchRequest searchRequest = new SearchRequest(indexName, typeName);
        SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder().query(QueryBuilders.rangeQuery("price").gte(5.0).lte(100.0));
        searchSourceBuilder.size(2);
        searchRequest.source(searchSourceBuilder);
        Scroll scroll = new Scroll(timeValueMillis(1L));
        /**
         *
         * 在搜索条件之后使用searchSourceBuilder.size(2)设置了每次游标只抽取2条数据，
         * 设置每次游标的超时时间是1毫秒timeValueMillis，可以适当调高超时时间防止由于超时还没查完导致游标提前结束。
         * 在执行游标的时候，第一次使用了客户端的search方法，从第二次开始使用scroll方法，
         * 每开始下一次游标的时候都通过查看本次游标的结果是否为空searchResponse.getHits().getHits()来判断是否还要继续，
         * 把每次游标的返回结果收集起来拿到全部数据
         *
         */
        searchRequest.scroll(scroll);
        SearchResponse searchResponse = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);
        String scrollId = searchResponse.getScrollId();
        SearchHit[] hits = searchResponse.getHits().getHits();
        List<SearchHit> resultSearchHit = new ArrayList<>();
        while (hits != null && hits.length > 0) {
            System.out.println(hits.length);
            System.out.println(scrollId);
            resultSearchHit.addAll(Arrays.asList(hits));
            SearchScrollRequest searchScrollRequest = new SearchScrollRequest(scrollId);
            searchScrollRequest.scroll(scroll);
            SearchResponse searchScrollResponse = restHighLevelClient.scroll(searchScrollRequest, RequestOptions.DEFAULT);
            scrollId = searchScrollResponse.getScrollId();
            hits = searchScrollResponse.getHits().getHits();
        }
        ClearScrollRequest clearScrollRequest = new ClearScrollRequest();
        clearScrollRequest.addScrollId(scrollId);
        restHighLevelClient.clearScroll(clearScrollRequest, RequestOptions.DEFAULT);
        restHighLevelClient.close();
    }

 3.RestHighLevelClient 操作ElasticSearch-CSDN博客

2.2 search After分页

1.代码截图

 2.参考代码

public static void main(String[] args) throws Exception{
        long startTime = System.currentTimeMillis();
        // 创建ES客户端
        RestHighLevelClient esClient = new RestHighLevelClient(
                RestClient.builder(new HttpHost("localhost", 9200, "http"))
        );
        // 1、创建searchRequest
        SearchRequest searchRequest = new SearchRequest("audit2");
        // 2、指定查询条件
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder().trackTotalHits(true);//必须加上track_total_hits，不然就只显示10000
        //设置每页查询的数据个数
        sourceBuilder.size(1000);
        // 设置唯一排序值定位
        sourceBuilder.sort(SortBuilders.fieldSort("operationtime").order(SortOrder.DESC));//多条件查询
        //将sourceBuilder对象添加到搜索请求中
        searchRequest.source(sourceBuilder);
        // 发送请求
        SearchResponse searchResponse = esClient.search(searchRequest, RequestOptions.DEFAULT);
        SearchHit[] hits1 = searchResponse.getHits().getHits();
        List<Map<String, Object>> result = new ArrayList<>();
        if (hits1 != null && hits1.length > 0) {
            do {
                for (SearchHit hit : hits1) {
                    // 获取需要数据
                    Map<String, Object> sourceAsMap = hit.getSourceAsMap();
                    result.add(sourceAsMap);
                }
                // 取得最后得排序值sort，用于记录下次将从这个地方开始取数
                SearchHit[] hits = searchResponse.getHits().getHits();
                Object[] lastNum = hits[hits.length - 1].getSortValues();
                // 设置searchAfter的最后一个排序值
                sourceBuilder.searchAfter(lastNum);
                searchRequest.source(sourceBuilder);
                // 进行下次查询
                searchResponse = esClient.search(searchRequest, RequestOptions.DEFAULT);
            } while (searchResponse.getHits().getHits().length != 0);
        }
        logger.info("查询出来的数据个数为：{}", result.size());
        // 关闭客户端
        esClient.close();
        logger.info("运行时间: " + (System.currentTimeMillis() - startTime) + "ms");
    }

【es】java使用es中三种查询用法from size、search after、scroll_es from size_致最长的电影的博客-CSDN博客

2.3 search After模拟前端分页查询 

原理：每次查询本次最后一条数据的sort值存储起来，返回给前端，下一页的时候，携带此sort值，开启下一页查询，传给searchBuilder。searchAfter(xxx)。

截图代码第1部分

截图代码第2部分

 3.调用

 4.es查询