devbox
羊村懒王
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

Java High Level REST Client 操作ES 查询怎么写_elasticsearch 设置最大扩展选项以控制查询的模糊过程

作者：羊村懒王 | 2024-02-08 10:49:17

赞

踩

elasticsearch 设置最大扩展选项以控制查询的模糊过程

主要参照官方文档（英文版）：https://www.elastic.co/guide/en/elasticsearch/client/java-rest/7.6/java-rest-high-search.html

下边是我的学习，并进行翻译，我会对文档进行适当的修改，达到更容易理解的目的，案例仍然用官网的。

ES查询文档

该SearchRequest用于具有与搜索文件，汇总，建议做，也要求提供高亮显示所产生的文件的方式中的任何操作。 

   ES 的查询，在使用 REST Client  操作起来并不像我们之前对关系型数据库，写sql来操作（我之前持久层习惯使用SpringDateJPA ，简单的查询通过方法名就可以构造出来了，复杂的查询则通过sql来，这样很方便，不用专门构建查询的对象）。而这里需要我们通过构造查询条件来完成。所有的操作都通过操作对象的方式来操作ES

   

# #  以最基本的形式，我们可以构造查询：

  1. SearchRequest searchRequest = new SearchRequest(); 
  2. SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder(); 
  3. searchSourceBuilder.query(QueryBuilders.matchAllQuery()); 
  4. searchRequest.source(searchSourceBuilder);
  熟悉关系型数据库的sql的，可以看一下  ，
  其实，这里 SearchRequest 对象就相当于是 select
  
  如果想要添加查询条件，则都是找对应的 SearchBuilder 来完成。看到上边的类似于XXXBuilder不要慌。
 
 
 

# # 我们首先来看一下一些可选参数SearchRequest：

SearchRequest searchRequest = new SearchRequest("posts");

 

将请求限制为索引

还有两个其他有趣的可选参数：

searchRequest.routing("routing");

 

设置路由参数

searchRequest.indicesOptions(IndicesOptions.lenientExpandOpen());

 

设置IndicesOptions控制如何解决不可用的索引以及如何扩展通配符表达式

searchRequest.preference("_local");

 

使用首选项参数，例如，执行搜索以偏爱本地碎片。默认设置是随机分片。

 

# # SearchSourceBuilder （通过这个添加查询条件）

 前边提到过，都是通过XXXBuilder来添加额外的条件的。

以下是一些常见选项的示例：

  1. SearchSourceBuilder sourceBuilder = new SearchSourceBuilder(); 
  2. sourceBuilder.query(QueryBuilders.termQuery("user", "kimchy")); 
  3. sourceBuilder.from(0); 
  4. sourceBuilder.size(5); 
  5. sourceBuilder.timeout(new TimeValue(60, TimeUnit.SECONDS));

 

SearchSourceBuilder使用默认选项创建一个。

 

设置查询。可以是任何类型QueryBuilder

 

设置from分页开始地址。预设为0。

 

设置size分页大小。默认为10

 

设置一个可选的超时时间，以控制允许搜索的时间。

在此之后，SearchSourceBuilder只需要将添加到 SearchRequest：

  1. SearchRequest searchRequest = new SearchRequest();
  2. searchRequest.indices("posts");
  3. searchRequest.source(sourceBuilder);

 

 # # MatchQueryBuilder

 

搜索查询是使用QueryBuilder对象创建的。一个QueryBuilder存在通过Elasticsearch支持的每一个搜索查询类型查询DSL。

QueryBuilder可以使用其构造函数创建一个：

MatchQueryBuilder matchQueryBuilder = new MatchQueryBuilder("user", "kimchy");

 

这个其实就是：where user="kimchy"

创建QueryBuilder对象后，该对象将提供方法来配置其创建的搜索查询的选项：

  1. matchQueryBuilder.fuzziness(Fuzziness.AUTO); 
  2. matchQueryBuilder.prefixLength(3); 
  3. matchQueryBuilder.maxExpansions(10);

 

对匹配查询启用模糊匹配

 

在匹配查询中设置前缀长度选项

 

设置最大扩展选项以控制查询的模糊过程

QueryBuilder也可以使用QueryBuilders实用程序类创建对象。此类提供了一些辅助方法，可以QueryBuilder使用流畅的编程样式来创建对象：

  1. QueryBuilder matchQueryBuilder = QueryBuilders.matchQuery("user", "kimchy")
  2.                                                 .fuzziness(Fuzziness.AUTO)
  3.                                                 .prefixLength(3)
  4.                                                 .maxExpansions(10);

无论用于创建它的方法是什么，都QueryBuilder必须将对象添加到SearchSourceBuilder，如下所示：

searchSourceBuilder.query(matchQueryBuilder);

  https://www.elastic.co/guide/en/elasticsearch/client/java-rest/7.6/java-rest-high-query-builders.html 提供了所有可用搜索查询的列表以及它们的相应QueryBuilder对象和QueryBuilders帮助方法。

 

# # 添加排序

在SearchSourceBuilder允许添加一个或多个SortBuilder实例。有四个特殊的实现（Field-，Score-，GeoDistance-和ScriptSortBuilder）。

  1. sourceBuilder.sort(new ScoreSortBuilder().order(SortOrder.DESC)); 
  2. sourceBuilder.sort(new FieldSortBuilder("id").order(SortOrder.ASC));

 

根据打分降序排列（默认）

 

也按_id字段升序排序 

 
 
# # 过滤查询条件（让查询结果不再评分，可以提升性能）
 

  默认情况下，搜索请求返回文档的内容，_source但是就像在Rest API中一样，您可以覆盖此行为。例如，您可以_source完全关闭检索：

sourceBuilder.fetchSource(false);

  该方法还接受一个或多个通配符模式的数组，以控制以更细粒度的方式包含或排除哪些字段：

  1. String[] includeFields = new String[] {"title", "innerObject.*"};
  2. String[] excludeFields = new String[] {"user"};
  3. sourceBuilder.fetchSource(includeFields, excludeFields);

 

# # 高亮显示

 突出显示搜索结果可以通过设置来实现HighlightBuilder的 SearchSourceBuilder。通过向中添加一个或多个HighlightBuilder.Field实例，可以为每个字段定义不同的突出显示行为HighlightBuilder。

  1. SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
  2. HighlightBuilder highlightBuilder = new HighlightBuilder();
  3. //添加高亮显示的字段 
  4. HighlightBuilder.Field highlightTitle =
  5.         new HighlightBuilder.Field("title"); 
  6. //指定高亮的类型
  7. highlightTitle.highlighterType("unified");  
  8. //将高亮的相关配置告诉Builder
  9. highlightBuilder.field(highlightTitle); 
  10. //新加一个高亮显示的字段 
  11. HighlightBuilder.Field highlightUser = new HighlightBuilder.Field("user");
  12. highlightBuilder.field(highlightUser);
  13. //将高亮的相关配置告诉上级Builder
  14. searchSourceBuilder.highlighter(highlightBuilder);
 

  Rest API文档中有许多选项的详细说明。Rest API参数（例如pre_tags）通常由具有相似名称（例如#preTags(String ...)）的设置器更改。

突出显示的文本片段可以以后被检索来自SearchResponse。

 

# # 聚合

  可以通过先创建适当的集合AggregationBuilder，然后将其设置在上，将聚合添加到搜索中SearchSourceBuilder。在以下示例中，我们terms在公司名称上创建一个汇总，并在公司中员工的平均年龄上进行子汇总：

  1. SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
  2. TermsAggregationBuilder aggregation = AggregationBuilders.terms("by_company")
  3.         .field("company.keyword");
  4. aggregation.subAggregation(AggregationBuilders.avg("average_age")
  5.         .field("age"));
  6. searchSourceBuilder.aggregation(aggregation);

Building Aggregations 页面提供了所有可用聚合及其相应AggregationBuilder对象和AggregationBuilders帮助器方法的列表。

后面我们将看到如何来访问聚合的SearchResponse。

 

 

# # Requesting Suggestions

要将“Suggestions”添加到搜索请求中，请使用SuggestionBuilder可从SuggestBuilders工厂类轻松访问的实现之一。建议使用者需要添加到顶层SuggestBuilder，它本身可以在上设置 SearchSourceBuilder。

  1. SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
  2. SuggestionBuilder termSuggestionBuilder =
  3.     SuggestBuilders.termSuggestion("user").text("kmichy"); 
  4. SuggestBuilder suggestBuilder = new SuggestBuilder();
  5. suggestBuilder.addSuggestion("suggest_user", termSuggestionBuilder); 
  6. searchSourceBuilder.suggest(suggestBuilder);

 

TermSuggestionBuilder为user字段和文本创建一个新的kmichy

 

添加建议生成器并命名 suggest_user

 

  想要使用 聚合（aggregations），就必须指定下边的为true

  1. SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
  2. searchSourceBuilder.profile(true);

 

# # 返回结果（同步情况下）

当SearchRequest以以下方式执行时，客户端将等待SearchResponse返回，然后继续执行代码：

SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);

IOException如果无法在 high-level REST client 中解析REST响应，请求超时或类似的情况（如果服务器没有响应返回），则同步调用可能会引发错误。

在服务器返回4xx或5xx错误代码的情况下，高级客户端尝试改为解析响应正文错误详细信息，然后引发泛型ElasticsearchException并将原始的ResponseException作为抑制的异常添加到它。

 
# # 返回结果（异步接收）
 

 执行 SearchRequest也可以异步方式完成，以便客户端可以直接返回。用户需要通过将请求和侦听器传递给异步搜索方法来指定如何处理响应或潜在的失败：

client.searchAsync(searchRequest, RequestOptions.DEFAULT, listener);

 

的SearchRequest执行和ActionListener对执行完毕时使用

异步方法不会阻塞并立即返回。完成ActionListener后，onResponse如果执行成功完成，则使用onFailure方法进行调用；如果执行失败，则使用方法进行调用。故障情况和预期的异常与同步执行情况相同。

典型的侦听器search如下所示：

  1. ActionListener<SearchResponse> listener = new ActionListener<SearchResponse>() {
  2.     @Override
  3.     public void onResponse(SearchResponse searchResponse) {
  4.       //成功后执行的内容
  5.         
  6.     }
  7.  
  8.     @Override
  9.     public void onFailure(Exception e) {
  10.       //失败后执行的内容    
  11.     }
  12. };
 
 

 # #  SearchResponse

  在SearchResponse由执行搜索返回提供有关搜索执行本身以及访问返回文档的详细信息。首先，有关于请求执行本身的有用信息，例如HTTP状态代码，执行时间或请求是提前终止还是超时：

  1. RestStatus status = searchResponse.status();
  2. TimeValue took = searchResponse.getTook();
  3. Boolean terminatedEarly = searchResponse.isTerminatedEarly();
  4. boolean timedOut = searchResponse.isTimedOut();

  其次，响应还提供有关受搜索影响的分片总数以及成功与不成功分片的统计信息，从而提供有关分片级别执行的信息。可能的失败也可以通过遍历数组进行处理， ShardSearchFailures如以下示例所示：

  1. int totalShards = searchResponse.getTotalShards();
  2. int successfulShards = searchResponse.getSuccessfulShards();
  3. int failedShards = searchResponse.getFailedShards();
  4. for (ShardSearchFailure failure : searchResponse.getShardFailures()) {
  5.     // failures should be handled here
  6. }

 

# # 检索SearchHits（返回结果的内容）

要访问返回的文档，我们需要首先获取SearchHits 响应中包含的内容：

SearchHits hits = searchResponse.getHits();

将SearchHits提供所有点击全局信息，比如命中总数或最大比分：

  1. TotalHits totalHits = hits.getTotalHits();
  2. // the total number of hits, must be interpreted in the context of totalHits.relation
  3. long numHits = totalHits.value;
  4. // whether the number of hits is accurate (EQUAL_TO) or a lower bound of the total (GREATER_THAN_OR_EQUAL_TO)
  5. TotalHits.Relation relation = totalHits.relation;
  6. float maxScore = hits.getMaxScore();

嵌套在中的SearchHits是可以迭代的各个搜索结果：

  1. SearchHit[] searchHits = hits.getHits();
  2. for (SearchHit hit : searchHits) {
  3.     // do something with the SearchHit
  4. }

的SearchHit可访问索引一样，文档ID和每个搜索命中的得分基本信息：

  1. String index = hit.getIndex();
  2. String id = hit.getId();
  3. float score = hit.getScore();

此外，它使您可以以简单的JSON-String或键/值对的映射的形式获取文档源。在此映射中，常规字段由字段名称键入并包含字段值。多值字段以对象列表的形式返回，嵌套对象以另一个键/值映射的形式返回。这些情况需要相应地强制转换：

  1. String sourceAsString = hit.getSourceAsString();
  2. Map<String, Object> sourceAsMap = hit.getSourceAsMap();
  3. String documentTitle = (String) sourceAsMap.get("title");
  4. List<Object> users = (List<Object>) sourceAsMap.get("user");
  5. Map<String, Object> innerObject =
  6.         (Map<String, Object>) sourceAsMap.get("innerObject");
 
 # # 高亮显示
 

 如果需要，可以从SearchHit结果中的每个检索出突出显示的文本片段。命中对象提供对HighlightField实例的字段名称映射的访问，每个实例包含一个或多个突出显示的文本片段：

  1. SearchHits hits = searchResponse.getHits();
  2. for (SearchHit hit : hits.getHits()) {
  3.     Map<String, HighlightField> highlightFields = hit.getHighlightFields();
  4.     HighlightField highlight = highlightFields.get("title"); 
  5.     Text[] fragments = highlight.fragments();  
  6.     String fragmentString = fragments[0].string();
  7. }
 

 

 # # 检索聚合

可以从检索聚合，方法是SearchResponse先获取聚合树的根，Aggregations对象，然后按名称获取聚合。

  1. Aggregations aggregations = searchResponse.getAggregations();
  2. Terms byCompanyAggregation = aggregations.get("by_company"); 
  3. Bucket elasticBucket = byCompanyAggregation.getBucketByKey("Elastic"); 
  4. Avg averageAge = elasticBucket.getAggregations().get("average_age"); 
  5. double avg = averageAge.getValue();

 

获取by_company条款汇总

 

获取带有密钥的存储桶 Elastic

 

average_age从该存储桶中获取子聚合

请注意，如果按名称访问聚合，则需要根据请求的聚合类型指定聚合接口，否则ClassCastException将抛出：

Range range = aggregations.get("by_company");

 

这将引发异常，因为“ by_company”是一个terms聚合，但是我们尝试将其作为range聚合进行检索

也可以将所有聚合作为以聚合名称作为关键字的映射来访问。在这种情况下，必须明确地强制转换为正确的聚合接口：

  1. Map<String, Aggregation> aggregationMap = aggregations.getAsMap();
  2. Terms companyAggregation = (Terms) aggregationMap.get("by_company");

还有一些getter会将所有顶级聚合返回为列表：

List<Aggregation> aggregationList = aggregations.asList();

 您可以遍历所有聚合，然后例如根据其类型决定如何进一步处理它们：

  1. for (Aggregation agg : aggregations) {
  2.     String type = agg.getType();
  3.     if (type.equals(TermsAggregationBuilder.NAME)) {
  4.         Bucket elasticBucket = ((Terms) agg).getBucketByKey("Elastic");
  5.         long numberOfDocs = elasticBucket.getDocCount();
  6.     }
  7. }
  8.     
  9.       
  10.          
  11.         
  12.
 
 # # 聚合结果
 

要从中获取建议SearchResponse，请使用Suggest对象作为入口点，然后检索嵌套的建议对象：

  1. Suggest suggest = searchResponse.getSuggest(); 
  2. TermSuggestion termSuggestion = suggest.getSuggestion("suggest_user"); 
  3. for (TermSuggestion.Entry entry : termSuggestion.getEntries()) { 
  4.     for (TermSuggestion.Entry.Option option : entry) { 
  5.         String suggestText = option.getText().string();
  6.     }
  7. }

 

 # # 检索分析结果

SearchResponse使用getProfileResults()方法从中检索分析结果。该方法为执行中涉及的每个分片返回一个Map包含一个ProfileShardResult对象的对象 SearchRequest。使用唯一地标识配置文件结果所对应的分片的密钥ProfileShardResult存储在其中Map。

以下示例代码显示了如何迭代每个分片的所有分析结果：

  1. Map<String, ProfileShardResult> profilingResults =
  2.         searchResponse.getProfileResults(); 
  3. for (Map.Entry<String, ProfileShardResult> profilingResult : profilingResults.entrySet()) { 
  4.     String key = profilingResult.getKey(); 
  5.     ProfileShardResult profileShardResult = profilingResult.getValue(); 
  6. }

 

检索Map的ProfileShardResult从SearchResponse

 

如果知道密钥，则可以通过分片的密钥来检索分析结果，否则，对所有分析结果进行迭代可能会更简单

 

检索标识ProfileShardResult属于哪个分片的密钥

 

检索ProfileShardResult给定分片的

所述ProfileShardResult对象本身包含一个或多个查询简档的结果，一个用于抵靠底层Lucene索引执行的每个查询：

  1. List<QueryProfileShardResult> queryProfileShardResults =
  2.         profileShardResult.getQueryProfileResults(); 
  3. for (QueryProfileShardResult queryProfileResult : queryProfileShardResults) { 
  4.  
  5. }

 

检索列表 QueryProfileShardResult

 

遍历每个 QueryProfileShardResult

每个都QueryProfileShardResult可以访问详细的查询树执行，以ProfileResult对象列表的形式返回：

  1. for (ProfileResult profileResult : queryProfileResult.getQueryResults()) { 
  2.     String queryName = profileResult.getQueryName(); 
  3.     long queryTimeInMillis = profileResult.getTime(); 
  4.     List<ProfileResult> profiledChildren = profileResult.getProfiledChildren(); 
  5. }

 

遍历概要文件结果

 

检索Lucene查询的名称

 

检索执行Lucene查询的毫秒数

 

检索子查询的概要文件结果（如果有）

Rest API文档包含有关性能分析查询的更多信息，并带有查询性能分析信息的描述。

该QueryProfileShardResult还可以访问了Lucene的收藏家的分析信息：

  1. CollectorResult collectorResult = queryProfileResult.getCollectorResult();  
  2. String collectorName = collectorResult.getName();  
  3. Long collectorTimeInMillis = collectorResult.getTime(); 
  4. List<CollectorResult> profiledChildren = collectorResult.getProfiledChildren();

 

检索Lucene收集器的分析结果

 

检索Lucene收集器的名称

 

检索执行Lucene收集器所花费的毫秒数

 

检索子收集器的概要文件结果（如果有）

Rest API文档包含有关Lucene收集器性能分析信息的更多信息。请参阅分析查询。

通过与查询树执行非常类似的方式，这些QueryProfileShardResult对象可以访问详细的聚合树执行：

  1. AggregationProfileShardResult aggsProfileResults =
  2.         profileShardResult.getAggregationProfileResults(); 
  3. for (ProfileResult profileResult : aggsProfileResults.getProfileResults()) { 
  4.     String aggName = profileResult.getQueryName(); 
  5.     long aggTimeInMillis = profileResult.getTime(); 
  6.     List<ProfileResult> profiledChildren = profileResult.getProfiledChildren(); 
  7. }

 

检索 AggregationProfileShardResult

 

遍历聚合配置文件结果

 

检索聚合的类型（与用于执行聚合的Java类相对应）

 

检索执行Lucene收集器所花费的毫秒数

 

检索子聚合的概要文件结果（如果有）

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/羊村懒王/article/detail/68588
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号