当前位置:   article > 正文

ES的查询过程、倒排索引_es查询过程

es查询过程

                 ES数据的新增、修改、删除的底层原理

一、ES的搜索过程

  1、query phase 查询阶段:
        1.客户端发送请求,接受到的节点变成coordinate node协调节点;
        2.协调节点将搜索请求广播给:该索引中每个节点的副本分片or主分片;
        3.每个分片将自己的搜索结果(一些doc id)返回给协调节点,由协调节点做数据的合并、排序、分页等操作,产出最终的查询结果;
  2、fetch phase 取回阶段:
        4.协调节点根据查询阶段得到的结果集(doc id),向含有改文档的分片发送get请求拉取实际的doc数据,返回给客户端。

二、Lucene介绍

         分片shard是一个Lucene实例

三、ES的索引原理

  1、传统关系型数据的索引结构:B树、B+树(Mysql)  

  2、倒排索引:k是分词后的关键字,v是doc文档编号
        正排索引:k是doc文档编号,v是文档内容

  3、索引逻辑:把term index加载到内存然后定位关键字在term dictionary中的大概位置,再找到具体term,再根据倒排索引posting list快速定位文档。  (一切设计都是为了提高搜索的性能)
            Posting List:term关联的int数组,存储了所有符合某个term的文档id
            term dictionary:term的字典(所有term的集合),方便检索term
            term index:结构是trie树(字典树),通过term index快速定位term dictionary的某个offset,再往后顺序查找

  4、为什么ES/Lucene的检索比mysql快:
       mysql只有term dictionary这层,以B+tree存储在磁盘上,检索时需要若干次的随机访问磁盘操作;
       Lucene在term dictionary的基础上添加了term index来加速检索,term index以树的形式缓存在内存中。从term index定位到term dictionary的区域,再去磁盘上找term,减少磁盘的随机访问次数

  5、聚合查询里带有过滤条件或检索条件:先由倒排索引完成搜索,确定文档范围,再由正排索引提取field,做聚合计算。

  6、type=keyword类型字段不会分词,直接根据字符串内容建立倒排索引;
        type=text类型在存入ES时,会先分词,去掉停顿词(无意义的词,比如"的"/"啊",没必要建立索引),再根据分词后的关键字(term)建立倒排索引。

 

四、ELK

    ELK日志系统:数据分布式存储、日志解析、可视化查询
           elasticsearch:分布式存储、全文检索
           logstash:日志收集系统
           kibana:数据可视化

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/知新_RL/article/detail/882539
推荐阅读
相关标签
  

闽ICP备14008679号