当前位置:   article > 正文

Java中ElasticSearch的各种查询(普通,模糊,前缀,高亮,聚合,范围)_java elasticsearch查询

java elasticsearch查询

目录

1、term&terms查询

1.1 term查询(分页)

1.2 terms查询terms和term的查询机制是一样的,都不会将指定的查询关键字进行分词,直接去分词库中匹配,找到相应文档内容。

2 、match查询match查询属于高级查询,他会根据你查询的字段类型不一样,采用不同的查询方式,更加灵活多变↓

2.1 match_all查询

2.2 match查询指定一个Field作为筛选的条件

2.3 match查询,追加操作,或者,并且基于一个Field匹配的内容,采用and或者or的方式连接

2.4 multi_match查询,多字段属性查询match针对一个field做检索,multi_match针对多个field进行检索,多个field对应一个text。

3 、其他查询

3.1 id查询根据id查询 where id = ?

3.2 ids查询根据多个id查询,类似MySQL中的where id in(id1,id2,id2...)

3.3 prefix查询,前缀查询前缀查询,可以通过一个关键字去指定一个Field的前缀,从而查询到指定的文档。

3.4 fuzzy查询,模糊,比如不完全输对,也能搜索出来模糊查询,我们输入字符的大概,ES就可以去根据输入的内容大概去匹配一下结果。

3.5 wildcard查询,占位符,通配符查询通配查询,和MySQL中的like是一个套路类似,可以在查询时,在字符串中指定通配符*和占位符?

3.6 range查询,范围查询范围查询,只针对数值类型,对某一个Field进行大于或者小于的范围指定

3.7 regexp查询,正则查询正则查询,通过你编写的正则表达式去匹配内容。

4、 深分页之Scroll(滚动分页)之前学过分页了,为啥还要学习深分页?因为ES对from + size是有限制的,from和size二者之和不能超过1W

5 _delete_by_query,删除,根据查询出来的数据来删除(查询删除)根据term,match等查询方式去删除大量的文档

6 、复合查询

6.1 bool查询,布尔查询,组装多个条件复合过滤器,将你的多个查询条件,以一定的逻辑组合在一起。

6.2 boosting查询之前我们查询数据,可以查到分数,分数越高,越靠前,但是有些时候,我又不想某些数据太靠前,所以要操作分数↓

7 、bool查询之过滤查询,filter查询

# filter查询

8 、高亮查询

9、 聚合查询

9.1 基数去重,计数查询

9.2 范围统计查询,

9.3 扩展状态,统计聚合查询,求最值等等

10 、地图经纬度搜索

//get请求

 //根据时间查询数量


1、term&terms查询

1.1 term查询(分页)

  • term的查询是代表完全匹配,搜索之前不会对你搜索的关键字进行分词,对你的关键字去文档分词库中去匹配内容。
  • 查询结果中max_score匹配度越高,数据的排名就越靠前
  1. // Java代码实现方式
  2. @Test
  3.     public void termQuery() throws IOException {
  4.  //1. 创建Request对象
  5.     SearchRequest request = new SearchRequest(index);
  6.     request.types(type);
  7.  
  8.     //2. 指定查询条件
  9.     SearchSourceBuilder builder = new SearchSourceBuilder();
  10.     builder.from(0);
  11.     builder.size(5);
  12.     builder.query(QueryBuilders.termQuery("province","北京"));
  13.  
  14.     request.source(builder);
  15.  
  16.     //3. 执行查询
  17.     SearchResponse resp = client.search(request, RequestOptions.DEFAULT);
  18.  
  19.     //4. 获取到_source中的数据,并展示
  20.     for (SearchHit hit : resp.getHits().getHits()) {
  21.         Map<String, Object> result = hit.getSourceAsMap();
  22.         System.out.println(result);
  23.     }


1.2 terms查询
terms和term的查询机制是一样的,都不会将指定的查询关键字进行分词,直接去分词库中匹配,找到相应文档内容。

  1. terms是在针对一个字段包含多个值的时候使用。
  2. term:where city = 北京;
  3. terms:where city = 北京 or id =or name =
  4. # terms查询
  5. // Java实现
  6. @Test
  7. public void termsQuery() throws IOException {
  8.     //1. 创建request
  9.     SearchRequest request = new SearchRequest(index);
  10.     request.types(type);
  11.  
  12.     //2. 封装查询条件
  13.     SearchSourceBuilder builder = new SearchSourceBuilder();
  14.     builder.query(QueryBuilders.termsQuery("province","北京","山西"));
  15.  
  16.     request.source(builder);
  17.  
  18.     //3. 执行查询
  19.     SearchResponse resp = client.search(request, RequestOptions.DEFAULT);
  20.  
  21.     //4. 输出_source
  22.     for (SearchHit hit : resp.getHits().getHits()) {
  23.         System.out.println(hit.getSourceAsMap());
  24.     }
  25. }


2 、match查询
match查询属于高级查询,他会根据你查询的字段类型不一样,采用不同的查询方式,更加灵活多变↓

查询的是日期或者是数值的话,他会将你基于的字符串查询内容转换为日期或者数值对待。

如果查询的内容是一个不能被分词的内容(keyword),match查询不会对你指定的查询关键字进行分词。

如果查询的内容时一个可以被分词的内容(text),match会将你指定的查询内容根据一定的方式去分词,去分词库中匹配指定的内容。

match查询,实际底层就是多个term查询,将多个term查询的结果给你封装到了一起而已。

2.1 match_all查询

  1. 查询全部内容,不指定任何查询条件。
  2. # match_all查询
  3. java代码实现方式
  4. @Test
  5. public void matchAllQuery() throws IOException {
  6.     //1. 创建Request
  7.     SearchRequest request = new SearchRequest(index);
  8.     request.types(type);
  9.  
  10.     //2. 指定查询条件
  11.     SearchSourceBuilder builder = new SearchSourceBuilder();
  12.     builder.query(QueryBuilders.matchAllQuery());
  13.     builder.size(20);           // ES默认只查询10条数据,如果想查询更多,添加size
  14.     
  15.     request.source(builder);
  16.  
  17.     //3. 执行查询
  18.     SearchResponse resp = client.search(request, RequestOptions.DEFAULT);
  19.  
  20.     //4. 输出结果
  21.     for (SearchHit hit : resp.getHits().getHits()) {
  22.         System.out.println(hit.getSourceAsMap());
  23.     }
  24.     
  25.     System.out.println(resp.getHits().getHits().length);
  26. }


2.2 match查询
指定一个Field作为筛选的条件

  1. # match查询
  2. POST /sms-logs-index/sms-logs-type/_search
  3. java代码实现方式
  4. @Test
  5. public void matchQuery() throws IOException {
  6.     //1. 创建Request
  7.     SearchRequest request = new SearchRequest(index);
  8.     request.types(type);
  9.  
  10.     //2. 指定查询条件
  11.     SearchSourceBuilder builder = new SearchSourceBuilder();
  12.     //-----------------------------------------------
  13.     builder.query(QueryBuilders.matchQuery("smsContent","收货安装"));
  14.     //-----------------------------------------------
  15.     request.source(builder);
  16.     //3. 执行查询
  17.     SearchResponse resp = client.search(request, RequestOptions.DEFAULT);
  18.  
  19.     //4. 输出结果
  20.     for (SearchHit hit : resp.getHits().getHits()) {
  21.         System.out.println(hit.getSourceAsMap());
  22.     }
  23. }


2.3 match查询,追加操作,或者,并且
基于一个Field匹配的内容,采用and或者or的方式连接

# 布尔match查询,内容既包含中国也包含健康
# 布尔match查询,内容包括健康或者包括中国

java代码实现方式

  1. // Java代码实现
  2. @Test
  3. public void booleanMatchQuery() throws IOException {
  4.     //1. 创建Request
  5.     SearchRequest request = new SearchRequest(index);
  6.     request.types(type);
  7.  
  8.     //2. 指定查询条件
  9.     SearchSourceBuilder builder = new SearchSourceBuilder();
  10.     //----------------------------------------------- 选择AND或者OR
  11.     builder.query(QueryBuilders.matchQuery("smsContent","中国 健康").operator(Operator.OR));
  12.     //-----------------------------------------------
  13.     request.source(builder);
  14.     //3. 执行查询
  15.     SearchResponse resp = client.search(request, RequestOptions.DEFAULT);
  16.  
  17.     //4. 输出结果
  18.     for (SearchHit hit : resp.getHits().getHits()) {
  19.         System.out.println(hit.getSourceAsMap());
  20.     }
  21. }


2.4 multi_match查询,多字段属性查询
match针对一个field做检索,multi_match针对多个field进行检索,多个field对应一个text。

  1. # multi_match 查询
  2. // java代码实现
  3. @Test
  4. public void multiMatchQuery() throws IOException {
  5.     //1. 创建Request
  6.     SearchRequest request = new SearchRequest(index);
  7.     request.types(type);
  8.  
  9.     //2. 指定查询条件
  10.     SearchSourceBuilder builder = new SearchSourceBuilder();
  11.     //-----------------------------------------------
  12.     builder.query(QueryBuilders.multiMatchQuery("北京","province","smsContent"));
  13.     //-----------------------------------------------
  14.     request.source(builder);
  15.     //3. 执行查询
  16.     SearchResponse resp = client.search(request, RequestOptions.DEFAULT);
  17.  
  18.     //4. 输出结果
  19.     for (SearchHit hit : resp.getHits().getHits()) {
  20.         System.out.println(hit.getSourceAsMap());
  21.     }
  22. }


3 、其他查询


3.1 id查询
根据id查询 where id = ?

  1. # 查询id为21的数据
  2. GET /sms-logs-index/sms-logs-type/21
  3. java代码实现方式(GetRequest)
  4. // Java代码实现
  5. @Test
  6. public void findById() throws IOException {
  7.     //1. 创建GetRequest
  8.     GetRequest request = new GetRequest(index,type,"21");//查id为21,可以打开看id再写即可
  9.  
  10.     //2. 执行查询
  11.     GetResponse resp = client.get(request, RequestOptions.DEFAULT);
  12.  
  13.     //3. 输出结果
  14.     System.out.println(resp.getSourceAsMap());
  15. }


3.2 ids查询
根据多个id查询,类似MySQL中的where id in(id1,id2,id2...)

# ids查询
java代码实现方式(idsQuery)

  1. // Java代码实现
  2. @Test
  3. public void findByIds() throws IOException {
  4.     //1. 创建SearchRequest
  5.     SearchRequest request = new SearchRequest(index);
  6.     request.types(type);
  7.  
  8.     //2. 指定查询条件
  9.     SearchSourceBuilder builder = new SearchSourceBuilder();
  10.     //----------------------------------------------------------
  11.     builder.query(QueryBuilders.idsQuery().addIds("21","22","23"));
  12.     //----------------------------------------------------------
  13.     request.source(builder);
  14.  
  15.     //3. 执行
  16.     SearchResponse resp = client.search(request, RequestOptions.DEFAULT);
  17.  
  18.     //4. 输出结果
  19.     for (SearchHit hit : resp.getHits().getHits()) {
  20.         System.out.println(hit.getSourceAsMap());
  21.     }
  22. }


3.3 prefix查询,前缀查询
前缀查询,可以通过一个关键字去指定一个Field的前缀,从而查询到指定的文档。

  1. # prefix查询
  2. java代码实现方式
  3. // Java实现前缀查询
  4. @Test
  5. public void findByPrefix() throws IOException {
  6.     //1. 创建SearchRequest
  7.     SearchRequest request = new SearchRequest(index);
  8.     request.types(type);
  9.  
  10.     //2. 指定查询条件
  11.     SearchSourceBuilder builder = new SearchSourceBuilder();
  12.     //----------------------------------------------------------
  13.     builder.query(QueryBuilders.prefixQuery("corpName","关键词"));
  14.     //----------------------------------------------------------
  15.     request.source(builder);
  16.  
  17.     //3. 执行
  18.     SearchResponse resp = client.search(request, RequestOptions.DEFAULT);
  19.  
  20.     //4. 输出结果
  21.     for (SearchHit hit : resp.getHits().getHits()) {
  22.         System.out.println(hit.getSourceAsMap());
  23.     }
  24. }


3.4 fuzzy查询,模糊,比如不完全输对,也能搜索出来
模糊查询,我们输入字符的大概,ES就可以去根据输入的内容大概去匹配一下结果。

  1. # fuzzy查询,可以指定前面几个字符是不允许出错
  2. POST /sms-logs-index/sms-logs-type/_search
  3. java代码实现方式(fuzzyQuery)
  4. // Java代码实现Fuzzy查询
  5. @Test
  6. public void findByFuzzy() throws IOException {
  7.     //1. 创建SearchRequest
  8.     SearchRequest request = new SearchRequest(index);
  9.     request.types(type);
  10.  
  11.     //2. 指定查询条件
  12.     SearchSourceBuilder builder = new SearchSourceBuilder();
  13.     //----------------------------------------------------------
  14.     builder.query(QueryBuilders.fuzzyQuery("corpName","大概内容").prefixLength(2));
  15.     //----------------------------------------------------------
  16.     request.source(builder);
  17.  
  18.     //3. 执行
  19.     SearchResponse resp = client.search(request, RequestOptions.DEFAULT);
  20.  
  21.     //4. 输出结果
  22.     for (SearchHit hit : resp.getHits().getHits()) {
  23.         System.out.println(hit.getSourceAsMap());
  24.     }
  25. }


3.5 wildcard查询,占位符,通配符查询
通配查询,和MySQL中的like是一个套路类似,可以在查询时,在字符串中指定通配符*和占位符?

# wildcard查询,可以使用*和?指定通配符和占位符(指定长度)
POST /sms-logs-index/sms-logs-type/_search

  1. 代码实现方式(wildcardQuery)
  2. // Java代码实现Wildcard查询
  3. @Test
  4. public void findByWildCard() throws IOException {
  5.     //1. 创建SearchRequest
  6.     SearchRequest request = new SearchRequest(index);
  7.     request.types(type);
  8.  
  9.     //2. 指定查询条件
  10.     SearchSourceBuilder builder = new SearchSourceBuilder();
  11.     //----------------------------------------------------------
  12.     builder.query(QueryBuilders.wildcardQuery("corpName","中国*"));
  13.     //----------------------------------------------------------
  14.     request.source(builder);
  15.  
  16.     //3. 执行
  17.     SearchResponse resp = client.search(request, RequestOptions.DEFAULT);
  18.  
  19.     //4. 输出结果
  20.     for (SearchHit hit : resp.getHits().getHits()) {
  21.         System.out.println(hit.getSourceAsMap());
  22.     }
  23. }


3.6 range查询,范围查询
范围查询,只针对数值类型,对某一个Field进行大于或者小于的范围指定

# range查询,可以使用 gt:>      gte:>=     lt:<     lte:<=
POST /sms-logs-index/sms-logs-type/_search

java代码实现(rangeQuery)

  1. // Java实现range范围查询
  2. @Test
  3. public void findByRange() throws IOException {
  4.     //1. 创建SearchRequest
  5.     SearchRequest request = new SearchRequest(index);
  6.     request.types(type);
  7.  
  8.     //2. 指定查询条件
  9.     SearchSourceBuilder builder = new SearchSourceBuilder();
  10.     //----------------------------------------------------------
  11.     builder.query(QueryBuilders.rangeQuery("fee").lte(10).gte(5));
  12.     //----------------------------------------------------------
  13.     request.source(builder);
  14.  
  15.     //3. 执行
  16.     SearchResponse resp = client.search(request, RequestOptions.DEFAULT);
  17.  
  18.     //4. 输出结果
  19.     for (SearchHit hit : resp.getHits().getHits()) {
  20.         System.out.println(hit.getSourceAsMap());
  21.     }
  22. }


3.7 regexp查询,正则查询
正则查询,通过你编写的正则表达式去匹配内容。

Ps:prefix,fuzzy,wildcard和regexp查询效率相对比较低,要求效率比较高时,避免去使用
# regexp查询,编写正则
POST /sms-logs-index/sms-logs-type/_search

java代码实现方式(regexpQuery)

  1. // Java代码实现正则查询
  2. @Test
  3. public void findByRegexp() throws IOException {
  4.     //1. 创建SearchRequest
  5.     SearchRequest request = new SearchRequest(index);
  6.     request.types(type);
  7.  
  8.     //2. 指定查询条件
  9.     SearchSourceBuilder builder = new SearchSourceBuilder();
  10.     //----------------------------------------------------------
  11.     builder.query(QueryBuilders.regexpQuery("mobile","180[0-9]{8}"));
  12.     //----------------------------------------------------------
  13.     request.source(builder);
  14.  
  15.     //3. 执行
  16.     SearchResponse resp = client.search(request, RequestOptions.DEFAULT);
  17.  
  18.     //4. 输出结果
  19.     for (SearchHit hit : resp.getHits().getHits()) {
  20.         System.out.println(hit.getSourceAsMap());
  21.     }
  22. }


4、 深分页之Scroll(滚动分页)
之前学过分页了,为啥还要学习深分页?
因为ES对from + size是有限制的,from和size二者之和不能超过1W

  • 原理:
  • from+size在ES查询数据的方式↓:
  • 第一步现将用户指定的关键字进行分词。
  • 第二步将词汇去分词库中进行检索,得到多个文档的id。
  • 第三步去各个分片中去拉取指定的数据。耗时较长。
  • 第四步将数据根据score分数进行排序。耗时较长。
  • 第五步根据from的值,将查询到的数据舍弃一部分。
  • 第六步返回结果。
  • scroll+size在ES查询数据的方式↓:
  • 第一步现将用户指定的关键字进行分词。
  • 第二步将词汇去分词库中进行检索,得到多个文档的id。
  • 第三步将文档的id存放在一个ES的上下文中。
  • 第四步根据你指定的size的个数去ES中检索指定个数的数据,拿完数据的文档id,会从上下文中移除。
  • 第五步如果需要下一页数据,直接去ES的上下文中,找后续内容。
  • 第六步循环第四步和第五步
  • Scroll查询方式,不适合做实时的查询
  • # 执行scroll查询,返回第一页数据,并且将文档id信息存放在ES上下文中,指定生存时间为1m,1分钟
  • POST /sms-logs-index/sms-logs-type/_search?scroll=1m

 

  1. # 根据scroll,查询下一页数据
  2. POST /_search/scroll
  3. # 删除scroll,在ES上下文中的数据
  4. DELETE /_search/scroll/scroll_id
  5. java代码实现方式
  6. // Java实现scroll分页
  7. @Test
  8. public void scrollQuery() throws IOException {
  9.     //1. 创建SearchRequest
  10.     SearchRequest request = new SearchRequest(index);
  11.     request.types(type);
  12.  
  13.     //2. 指定scroll信息!
  14.     request.scroll(TimeValue.timeValueMinutes(1L));
  15.  
  16.     //3. 指定查询条件
  17.     SearchSourceBuilder builder = new SearchSourceBuilder();
  18.     builder.size(4);
  19.     builder.sort("fee", SortOrder.DESC);
  20.     builder.query(QueryBuilders.matchAllQuery());
  21.     
  22.     request.source(builder);
  23.  
  24.     //4. 获取返回结果scrollId,source
  25.     SearchResponse resp = client.search(request, RequestOptions.DEFAULT);
  26.  
  27.     String scrollId = resp.getScrollId();
  28.     System.out.println("----------首页---------");
  29.     for (SearchHit hit : resp.getHits().getHits()) {
  30.         System.out.println(hit.getSourceAsMap());
  31.     }
  32.  
  33.     while(true) {
  34.         //5. 循环 - 创建SearchScrollRequest
  35.         SearchScrollRequest scrollRequest = new SearchScrollRequest(scrollId);
  36.  
  37.         //6. 指定scrollId的生存时间!
  38.         scrollRequest.scroll(TimeValue.timeValueMinutes(1L));
  39.  
  40.         //7. 执行查询获取返回结果
  41.         SearchResponse scrollResp = client.scroll(scrollRequest, RequestOptions.DEFAULT);
  42.  
  43.         //8. 判断是否查询到了数据,输出
  44.         SearchHit[] hits = scrollResp.getHits().getHits();
  45.         
  46.         if(hits != null && hits.length > 0) {
  47.             System.out.println("----------下一页---------");
  48.             for (SearchHit hit : hits) {
  49.                 System.out.println(hit.getSourceAsMap());
  50.             }
  51.         }else{
  52.             //9. 判断没有查询到数据-退出循环
  53.             System.out.println("----------结束---------");
  54.             break;
  55.         }
  56.     }
  57.  
  58.     //10. 创建CLearScrollRequest
  59.     ClearScrollRequest clearScrollRequest = new ClearScrollRequest();
  60.  
  61.     //11. 指定ScrollId
  62.     clearScrollRequest.addScrollId(scrollId);
  63.  
  64.     //12. 删除ScrollId
  65.     ClearScrollResponse clearScrollResponse = client.clearScroll(clearScrollRequest, RequestOptions.DEFAULT);
  66.  
  67.     //13. 输出结果
  68.     System.out.println("删除scroll:" + clearScrollResponse.isSucceeded());
  69. }


5 _delete_by_query,删除,根据查询出来的数据来删除(查询删除)
根据term,match等查询方式去删除大量的文档

Ps:如果你需要删除的内容,是index下的大部分数据,推荐创建一个全新的index,将保留的文档内容,添加到全新的索引

# delete-by-query

java代码实现方式

  1. // Java代码实现
  2. @Test
  3. public void deleteByQuery() throws IOException {
  4.     //1. 创建DeleteByQueryRequest
  5.     DeleteByQueryRequest request = new DeleteByQueryRequest(index);
  6.     request.types(type);
  7.  
  8.     //2. 指定检索的条件    和SearchRequest指定Query的方式不一样
  9.     request.setQuery(QueryBuilders.rangeQuery("fee").lt(4));
  10.  
  11.     //3. 执行删除
  12.     BulkByScrollResponse resp = client.deleteByQuery(request, RequestOptions.DEFAULT);
  13.  
  14.     //4. 输出返回结果
  15.     System.out.println(resp.toString());
  16. }


6 、复合查询


6.1 bool查询,布尔查询,组装多个条件
复合过滤器,将你的多个查询条件,以一定的逻辑组合在一起。

  1. must: 所有的条件,用must组合在一起,表示And的意思
  2. must_not:将must_not中的条件,全部都不能匹配,表示Not的意思
  3. should:所有的条件,用should组合在一起,表示Or的意思
  1. // Java代码实现Bool查询
  2. @Test
  3. public void BoolQuery() throws IOException {
  4.     //1. 创建SearchRequest
  5.     SearchRequest request = new SearchRequest(index);
  6.     request.types(type);
  7.  
  8.     //2. 指定查询条件
  9.     SearchSourceBuilder builder = new SearchSourceBuilder();
  10.     
  11.     BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
  12.     
  13.     //# 查询省份为武汉或者北京
  14.     boolQuery.should(QueryBuilders.termQuery("province","武汉"));
  15.     boolQuery.should(QueryBuilders.termQuery("province","北京"));
  16.     //# 运营商不是联通
  17.     boolQuery.mustNot(QueryBuilders.termQuery("operatorId",2));
  18.     
  19.     //# smsContent中包含中国和平安
  20.     boolQuery.must(QueryBuilders.matchQuery("smsContent","中国"));
  21.     boolQuery.must(QueryBuilders.matchQuery("smsContent","平安"));
  22.  
  23.     builder.query(boolQuery);
  24.     
  25.     request.source(builder);
  26.  
  27.     //3. 执行查询
  28.     SearchResponse resp = client.search(request, RequestOptions.DEFAULT);
  29.  
  30.     //4. 输出结果
  31.     for (SearchHit hit : resp.getHits().getHits()) {
  32.         System.out.println(hit.getSourceAsMap());
  33.     }
  34. }


6.2 boosting查询
之前我们查询数据,可以查到分数,分数越高,越靠前,但是有些时候,我又不想某些数据太靠前,所以要操作分数↓

boosting查询可以帮助我们去影响查询后的score↓

positive:只有匹配上positive的查询的内容,才会被放到返回的结果集中(巧记积极返回,我要的)

negative:如果匹配上和positive并且也匹配上了negative,就可以降低这样的文档score(巧记消极减分,我要扣分的)

negative_boost:指定系数,必须小于等于1.0

关于查询时,分数是如何计算的↓

搜索的关键字在文档中出现的频次越高,分数就越高

搜索的内容所在的文档越短,分数就越高

我们在搜索时,指定的关键字也会被分词,这个被分词的内容,被分词库匹配的个数越多,分数越高

# boosting查询,收货安装
POST /sms-logs-index/sms-logs-type/_search

java代码实现方式:

  1. // Java实现Boosting查询
  2. @Test
  3. public void BoostingQuery() throws IOException {
  4.     //1. 创建SearchRequest
  5.     SearchRequest request = new SearchRequest(index);
  6.     request.types(type);
  7.  
  8.     //2. 指定查询条件
  9.     SearchSourceBuilder builder = new SearchSourceBuilder();
  10.     
  11.     BoostingQueryBuilder boostingQuery = QueryBuilders.boostingQuery(
  12.             QueryBuilders.matchQuery("smsContent", "收货安装"),
  13.             QueryBuilders.matchQuery("smsContent", "王五")
  14.     ).negativeBoost(0.5f);
  15.  
  16.     builder.query(boostingQuery);
  17.     
  18.     request.source(builder);
  19.  
  20.     //3. 执行查询
  21.     SearchResponse resp = client.search(request, RequestOptions.DEFAULT);
  22.  
  23.     //4. 输出结果
  24.     for (SearchHit hit : resp.getHits().getHits()) {
  25.         System.out.println(hit.getSourceAsMap());
  26.     }
  27. }


查询结果比如没减分之前王五的分数是1.75...,减分之后,系数写的0.5,就相当于1.75乘以0.5等于0.8

7 、bool查询之过滤查询,filter查询

  1. query,根据你的查询条件,去计算文档的匹配度得到一个分数,并且根据分数进行排序,不会做缓存
  2. filter,根据你的查询条件去查询文档,不去计算分数,而且filter会对经常被过滤的数据,进行缓存(如果注重匹配度用query,否则里面使用filter效率更高)

# filter查询

java实现方式

  1. // Java实现filter操作
  2. @Test
  3. public void filter() throws IOException {
  4.     //1. SearchRequest
  5.     SearchRequest request = new SearchRequest(index);
  6.     request.types(type);
  7.  
  8.     //2. 查询条件
  9.     SearchSourceBuilder builder = new SearchSourceBuilder();
  10.     
  11.     BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
  12.     
  13.     boolQuery.filter(QueryBuilders.termQuery("corpName","关键词"));
  14.     boolQuery.filter(QueryBuilders.rangeQuery("fee").lte(5));
  15.  
  16.     builder.query(boolQuery);
  17.     
  18.     request.source(builder);
  19.  
  20.     //3. 执行查询
  21.     SearchResponse resp = client.search(request, RequestOptions.DEFAULT);
  22.  
  23.     //4. 输出结果
  24.     for (SearchHit hit : resp.getHits().getHits()) {
  25.         System.out.println(hit.getSourceAsMap());
  26.     }
  27. }


8 、高亮查询

  • 高亮查询就是你用户输入的关键字,以一定的特殊样式展示给用户,让用户知道为什么这个结果被检索出来了。
  • 高亮展示的数据,本身就是文档中的一个Field,单独将数据以Field以highlight的形式返回给你,
  • ES提供了一个highlight属性,和query同级别,里面可以指定↓
  1. fragment_size:指定高亮数据展示多少个字符回来,默认为100
  2. pre_tags:指定前缀标签,举个栗子< font color='red' >
  3. post_tags:指定后缀标签,举个栗子< /font >
  4. fields:指定哪几个Field以高亮的形式返回
  1. RESTful实现
  2. # highlight查询
  3. POST /sms-logs-index/sms-logs-type/_search
  4. 说白了就是把要高亮的数据增加一个html标签并加上属性,比如字体的红色属性,这样以后把查询出来的数据在浏览器打开时就是红色的了
  5. java代码实现方式:
  6. // Java实现高亮查询
  7. @Test
  8. public void highLightQuery() throws IOException {
  9.     //1. SearchRequest
  10.     SearchRequest request = new SearchRequest(index);
  11.     request.types(type);
  12.  
  13.     //2. 指定查询条件(高亮)
  14.     SearchSourceBuilder builder = new SearchSourceBuilder();
  15.     //2.1 指定查询条件
  16.     builder.query(QueryBuilders.matchQuery("smsContent","关键词"));
  17.     
  18.     //2.2 指定高亮
  19.     HighlightBuilder highlightBuilder = new HighlightBuilder();
  20.     highlightBuilder.field("smsContent",10)
  21.             .preTags("<font color='red'>")
  22.             .postTags("</font>");
  23.     
  24.     builder.highlighter(highlightBuilder);
  25.  
  26.     request.source(builder);
  27.  
  28.     //3. 执行查询
  29.     SearchResponse resp = client.search(request, RequestOptions.DEFAULT);
  30.  
  31.     //4. 获取高亮数据,输出
  32.     for (SearchHit hit : resp.getHits().getHits()) {
  33.         System.out.println(hit.getHighlightFields().get("smsContent"));
  34.     }
  35. }


9、 聚合查询


ES的聚合查询和MySQL的聚合查询类似,但ES的聚合查询相比MySQL要强大的多,有ES提供的统计数据的方式多种多样,但是格式基本如下↓

# ES聚合查询的RESTful语法

9.1 基数去重,计数查询


去重计数,即Cardinality,第一步先将返回的文档中的一个指定的field进行去重,统计一共有多少条

# 去重计数查询 北京 上海 武汉 山西

java代码实现方式

  1. //Java代码实现去重计数查询
  2. @Test
  3. public void cardinality() throws IOException {
  4.     //1. 创建SearchRequest
  5.     SearchRequest request = new SearchRequest(index);
  6.     request.types(type);
  7.  
  8.     //2. 指定使用的聚合查询方式
  9.     SearchSourceBuilder builder = new SearchSourceBuilder();
  10.     
  11.     builder.aggregation(AggregationBuilders.cardinality("agg").field("province"));
  12.  
  13.     request.source(builder);
  14.  
  15.     //3. 执行查询
  16.     SearchResponse resp = client.search(request, RequestOptions.DEFAULT);
  17.  
  18.     //4. 获取返回结果
  19.     Cardinality agg = resp.getAggregations().get("agg");
  20.     long value = agg.getValue();
  21.     System.out.println(value);
  22. }


9.2 范围统计查询,

比如在一定的区间内的数据统计查询出来封装在桶里面
统计一定范围内出现的文档个数,比如,针对某一个Field的值在 0~100,100~200,200~300之间文档出现的个数分别是多少。

范围统计可以针对普通的数值,针对时间类型,针对ip类型都可以做相应的统计。

range数值范围,date_range时间范围,ip_range即ip访问统计↓

# 数值方式范围统计,from有包含当前值的意思
POST /sms-logs-index/sms-logs-type/_search

结果,from5有>=5的意思,而to没有

时间范围统计↓

# 时间方式范围统计
POST /sms-logs-index/sms-logs-type/_search

结果,2000年以前的有多少个,2000以后的有多少个数据

ip范围统计↓

# ip方式 范围统计
POST /sms-logs-index/sms-logs-type/_search

  1. // Java实现数值 范围统计
  2. @Test
  3. public void range() throws IOException {
  4.     //1. 创建SearchRequest
  5.     SearchRequest request = new SearchRequest(index);
  6.     request.types(type);
  7.  
  8.     //2. 指定使用的聚合查询方式
  9.     SearchSourceBuilder builder = new SearchSourceBuilder();
  10.     //---------------------------------------------
  11.     builder.aggregation(AggregationBuilders.range("agg").field("fee")
  12.                                         .addUnboundedTo(5)
  13.                                         .addRange(5,10)
  14.                                         .addUnboundedFrom(10));
  15.     //---------------------------------------------
  16.     request.source(builder);
  17.  
  18.     //3. 执行查询
  19.     SearchResponse resp = client.search(request, RequestOptions.DEFAULT);
  20.  
  21.     //4. 获取返回结果
  22.     Range agg = resp.getAggregations().get("agg");//注意这里用Range才有getBuckets方法↓
  23.     for (Range.Bucket bucket : agg.getBuckets()) {
  24.         String key = bucket.getKeyAsString();
  25.         Object from = bucket.getFrom();
  26.         Object to = bucket.getTo();
  27.         long docCount = bucket.getDocCount();
  28.         
  29.         System.out.println(String.format("key:%s,from:%s,to:%s,docCount:%s",key,from,to,docCount));//%s理解为占位符的意思
  30.     }
  31. }


代码怎么写其实和查询出来的结果标签其实是一一对应的,要注意这里用Range才有getBuckets方法

9.3 扩展状态,统计聚合查询,求最值等等


他可以帮你查询指定Field的最大值,最小值,平均值,平方和等

使用extended_stats查出来的结果里面就有各种最大值,最小值,平均值,平方和等(扩展状态,扩展内容

# 统计聚合查询,扩展状态

java代码实现方式

  1. // Java实现统计聚合查询
  2. @Test
  3. public void extendedStats() throws IOException {
  4.     //1. 创建SearchRequest
  5.     SearchRequest request = new SearchRequest(index);
  6.     request.types(type);
  7.  
  8.     //2. 指定使用的聚合查询方式
  9.     SearchSourceBuilder builder = new SearchSourceBuilder();
  10.     //---------------------------------------------
  11.     builder.aggregation(AggregationBuilders.extendedStats("agg").field("fee"));
  12.     //---------------------------------------------
  13.     request.source(builder);
  14.  
  15.     //3. 执行查询
  16.     SearchResponse resp = client.search(request, RequestOptions.DEFAULT);
  17.  
  18.     //4. 获取返回结果
  19.     ExtendedStats agg = resp.getAggregations().get("agg");
  20.     double max = agg.getMax();
  21.     double min = agg.getMin();
  22.     System.out.println("fee的最大值为:" + max + ",最小值为:" + min);
  23. }


其他聚合查询方式看官方文档:Elasticsearch Guide [6.5] | Elastic

10 、地图经纬度搜索


ES中提供了一个数据类型 geo_point,这个类型就是用来存储经纬度的,

创建一个带geo_point类型的索引,并添加测试数据,来方便接下来的查询↓

10.1 ES的地图检索方式
语法    说明
geo_distance    直线距离检索方式
geo_bounding_box    以两个点确定一个矩形,获取在矩形内的全部数据
geo_polygon    以多个点,确定一个多边形,获取多边形内的全部数据


10.2 基于RESTful实现地图检索
geo_distance↓

# geo_distance,确定一个点,表示检索经纬度是北京站北京distance为3000米,方圆的范围的数据,arc圆形

geo_bounding_box↓

# geo_bounding_box,左上角中央人民大学的经纬度坐标点,右下角北京建筑大学的经纬度坐标点

# geo_polygon,指定多个点确定一个多边形,第一个点西苑操场,第二个点巴沟山水园,第三个点中关村

10.3 Java实现es基于地理位置经纬度范围查询↓
public class Test03 {
    RestHighLevelClient client = ESClient.getClient();
    String index = "map";//索引库名字
    String type = "map";//类型表名字
 
    @Test
    public void geoPolygon() throws IOException {
        //1.SearchRequest
        SearchRequest request = new SearchRequest(index);
        request.types(type);
 
        //2.指定检索方式
        SearchSourceBuilder builder = new SearchSourceBuilder();
        
        List<GeoPoint> points = new ArrayList<GeoPoint>();
        //geo_polygon,多点多边形,以第一个点西苑操场,第二个点巴沟山水园,第三个点中关村构成的多边形,包括海淀公园↓
        points.add(new GeoPoint(39.99878,116.298916));
        points.add(new GeoPoint(39.972576,116.29561));
        points.add(new GeoPoint(39.984739,116.327661));
        
        builder.query(QueryBuilders.geoPolygonQuery("location",points));
 
        //geo_bounding_box,两点矩形,以左上角中央人民大学,右下角北京建筑大学构成的矩形包括北京动物园↓
        //GeoBoundingBoxQueryBuilder location1 = QueryBuilders.geoBoundingBoxQuery("location");
        //location1.topLeft().reset(39.95499,116.326943);
        //location1.bottomRight().reset(39.939281,116.347783);
        //builder.query(location1);
 
        //distance,单点方圆,北京站这个点,方圆3000米的范围,包括天安门↓
        //GeoDistanceQueryBuilder location = QueryBuilders.geoDistanceQuery("location");
        //location.point(39.908404,116.433733).distance("3000");
        //builder.query(location);
 
        request.source(builder);
 
        //3.执行查询
        SearchResponse resp = client.search(request, RequestOptions.DEFAULT);
 
        //4.输出结果
        for (SearchHit hit : resp.getHits().getHits()) {
            System.out.println(hit.getSourceAsMap());
        }
    }

//get请求

    1. restClient = ElasticSearchPoolUtil.getClient();
    2.             SearchSourceBuilder search = new SearchSourceBuilder();
    3.             BoolQueryBuilder bool = QueryBuilders.boolQuery();
    4.             Response rsp = null;
    5.             Map<String, String> params = Collections.singletonMap("pretty", "true");
    6.             分页查询
    7.             int start = limit * (page - 1);
    8.             String substring = kssj.substring(0, 6);
    9.             String index = "";
    10.             索引库名字
    11.             index = "stgj_" + substring;
    12.             //必须满足and,,用should组合在一起,表示Or的意思
    13.             //范围查询
    14.             bool.must(new RangeQueryBuilder("CreateTime").gte(kssj).lte(jssj));
    15.             //模糊查询
    16.             bool.must(QueryBuilders.wildcardQuery("DeviceID", "320902" + "*"));
    17.             //匹配查询
    18.             bool.must(QueryBuilders.termQuery("FaceIDList", FaceI));
    19.             
    20.             search.from(start);
    21.             search.size(limit);
    22.             //查询条件
    23.             search.query(bool);
    24.             HttpEntity entity = new NStringEntity(search.toString(), ContentType.APPLICATION_JSON);
    25.             rsp = restClient.performRequest("GET", "/" + index + "/_search", params, entity);
    26.             此处查询所有以ycst_开头的索引库
    27.            // rsp = restClient.performRequest("GET", "/" + "ycst_" + "*" + //"/_search", params, entity);
    28.             String jsonStr = EntityUtils.toString(rsp.getEntity());
    29.             JSONObject doc = (JSONObject) JSONObject.parseObject(jsonStr);
    30.             JSONObject jsonObject = (JSONObject) doc.getJSONObject("hits");
    31.             JSONArray hits = (JSONArray) jsonObject.get("hits");
    32.  //           

  •  

 //根据时间查询数量


 

  1.  HashMap<String, Object> map = new HashMap<>(1);
  2.         CommonExceptionEnum.NOT_NULL.assertNotEmpty(request);
  3.         CommonExceptionEnum.NOT_NULL.assertNotEmpty(request.getPlatform());
  4.         CommonExceptionEnum.NOT_NULL.assertNotEmpty(request.getType());
  5.         if ("2".equals(request.getPlatform())) {
  6.             Long deptId = SecurityUtils.getDeptId();
  7.             if (ObjectUtil.isEmpty(deptId)) {
  8.                 return RequestResult.success(map);
  9.             }
  10.             request.setDeptId(deptId.intValue());
  11.         }
  12.         Long start = System.currentTimeMillis();
  13.         SimpleDateFormat simpleDateFormat = new SimpleDateFormat(DateUtils.YYYY_MM_DD);
  14.         //
  15.         if (request.getType().equals(1)) {
  16.             simpleDateFormat = new SimpleDateFormat(DateUtils.YYYY_MM_DD_HH_MM_SS);
  17.             start = Date.from(LocalDate.now().atStartOfDay(ZoneId.systemDefault()).toInstant()).getTime();
  18.         }
  19.         //
  20.         if (request.getType().equals(2)) {
  21.             start = getTimesWeekmorning().getTime();
  22.         }
  23.         //
  24.         if (request.getType().equals(3)) {
  25.             start = getTimesMonthmorning().getTime();
  26.         }
  27.         String substring = start.toString().substring(0,start.toString().length() - 5);
  28.         start = (Long.parseLong(substring) * 100000L);
  29.         SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
  30.         BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery();
  31.         long end = System.currentTimeMillis();
  32.         boolQueryBuilder.must(QueryBuilders.rangeQuery("cjTimestamp").gte(start).lte(end));
  33.         if (ObjectUtil.isNotEmpty(request.getDeptId())) {
  34.             boolQueryBuilder.must(QueryBuilders.termQuery("devicesInfo.deptId", request.getDeptId()));
  35.         }
  36.         //dateHistogram  间隔是天的话 差距8小时,需要减去8小时
  37.         AggregationBuilder aggregationBuilder = null;
  38.         if (!request.getType().equals(1)) {
  39.             aggregationBuilder = AggregationBuilders
  40.                     .dateHistogram("dateHistogram")//自定义名称
  41.                     .dateHistogramInterval(getDateHistogramInterval(request.getType()))//设置间隔
  42.                     .minDocCount(0)//返回空桶
  43.                     .field("cjTimestamp")//指定时间字段
  44.                     .format("")
  45.                     .extendedBounds(new ExtendedBounds(start, end))//设定范围
  46.                     .offset("-8h");
  47.         } else {
  48.             aggregationBuilder = AggregationBuilders
  49.                     .dateHistogram("dateHistogram")//自定义名称
  50.                     .dateHistogramInterval(getDateHistogramInterval(request.getType()))//设置间隔
  51.                     .minDocCount(0)//返回空桶
  52.                     .field("cjTimestamp")//指定时间字段
  53.                     .format("")
  54.                     .extendedBounds(new ExtendedBounds(start, end));//设定范围
  55.         }
  56.         searchSourceBuilder.query(boolQueryBuilder).aggregation(aggregationBuilder).size(0);
  57.         SearchRequest searchRequest = new SearchRequest();
  58.         searchRequest.source(searchSourceBuilder);
  59.         searchRequest.indices("standard_device_data");
  60.         SearchResponse searchResponse = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);
  61.         Aggregation agg = searchResponse.getAggregations().get("dateHistogram");
  62.         List<? extends Histogram.Bucket> buckets = ((Histogram) agg).getBuckets();
  63.         List<CollectDataResponse> list = new ArrayList<>();
  64.         for (Histogram.Bucket bucket : buckets) {
  65.             CollectDataResponse collectDataResponse = new CollectDataResponse();
  66.             long time = Long.parseLong(bucket.getKeyAsString().replace(",", ""));
  67.             if (time >= start) {
  68.                 String dateString = simpleDateFormat.format(time);
  69.                 collectDataResponse.setDate(dateString);
  70.                 collectDataResponse.setNum(bucket.getDocCount());
  71.                 list.add(collectDataResponse);
  72.             }
  73.         }
  74.         map.put("allNum", list);
  75. private DateHistogramInterval getDateHistogramInterval(Integer dateType) {
  76.         if (dateType.equals(1)) {
  77.             return DateHistogramInterval.minutes(15);//统计一个小时内数据,每隔10分钟一个显示
  78.         }
  79.         //
  80.         if (dateType.equals(2)) {
  81.             return DateHistogramInterval.days(1);
  82.         }
  83.         //
  84.         if (dateType.equals(3)) {
  85.             return DateHistogramInterval.days(1);
  86.         }
  87.         return DateHistogramInterval.days(1);
  88.     }
  89.     // 获得本周一0点时间
  90.     public static Date getTimesWeekmorning() {
  91.         Calendar cal = Calendar.getInstance();
  92.         cal.set(cal.get(Calendar.YEAR), cal.get(Calendar.MONDAY), cal.get(Calendar.DAY_OF_MONTH), 0, 0, 0);
  93.         cal.set(Calendar.DAY_OF_WEEK, Calendar.MONDAY);
  94.         return cal.getTime();
  95.     }
  96.     // 获得本月第一天0点时间
  97.     public static Date getTimesMonthmorning() {
  98.         Calendar cal = Calendar.getInstance();
  99.         cal.set(cal.get(Calendar.YEAR), cal.get(Calendar.MONDAY), cal.get(Calendar.DAY_OF_MONTH), 0, 0, 0);
  100.         cal.set(Calendar.DAY_OF_MONTH, cal.getActualMinimum(Calendar.DAY_OF_MONTH));
  101.         return cal.getTime();
  102.     }

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小桥流水78/article/detail/774457
推荐阅读
相关标签
  

闽ICP备14008679号