Elasticsearch介绍、安装以及IK分词器 --学习笔记

Elasticsearch 是什么？

Elasticsearch 是一个高度可扩展的开源全文搜索和分析引擎。它允许你以极快的速度存储、搜索和分析大量数据。Elasticsearch 基于 Apache Lucene 构建，提供了一个分布式、多租户能力的全文搜索引擎，带有 HTTP web 接口和无模式 JSON 文档。这意味着你可以用 Elasticsearch 存储、搜索、分析的数据种类非常广泛，几乎可以适用于任何类型的用例。

当项目中需要使用到搜索查询功能时，光靠MySqld的模糊查询就显得心有余而力不足了，模糊查询的匹配要求非常严格，需要搜索结果中必须带有相关关键字，而且当搜索量大了之后，使用MySql进行大量的查询操作效率也会大打折扣。而在Elasticsearch 搜索引擎中，用户输入出现个别错字，或者用拼音搜索、同义词搜索都能正确匹配到数据。

Elasticsearch 安装

基于docker环境下的安装命令：

docker run -d \
  --name 容器名 \
  -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
  -e "discovery.type=single-node" \
  -v es-data:/usr/share/elasticsearch/data \
  -v es-plugins:/usr/share/elasticsearch/plugins \
  --privileged \
  --network 网络名 \
  -p 9200:9200 \
  -p 9300:9300 \
  elasticsearch:版本号

kibana安装

kibanna用于图形化展示Elasticsearch，可以对Elasticsearch进行控制台操作：

docker run -d \
--name kibana \
-e ELASTICSEARCH_HOSTS=http://es:9200 \
--network 网络名 \
-p 5601:5601  \
kibana:7.12.1

倒排索引和正向索引

正向索引机制

在讨论数据库（如MySQL）的查询优化时，重要的是要理解索引的作用及其在模糊查询中的局限性。例如，当对数据库中某一张拥有成千上万条数据的表进行模糊查询时，如使用SQL的LIKE语句，查询性能可能受到影响。假设我们对该表的一个字段使用模糊查询，可能使用类似LIKE '%关键字%'的查询条件。即使查询的第一条记录就是我们需要找的数据，查询操作并不会因此停止。原因在于数据库系统需要找出所有匹配的记录，而不仅仅是第一条匹配的记录。因此，系统不得不继续扫描整张表，以确保没有遗漏任何符合条件的数据。

这种查询效率不高的原因部分在于，标准索引主要优化了精确匹配或范围查询的性能。对于以通配符开始的模糊查询（例如LIKE '%关键字%'），标准索引往往无法被有效利用，因为这违背了索引设计的预期使用方式。

倒排索引机制

倒排索引（Inverted Index）是一种数据库索引方式，它与前面讨论的正向索引或数据库中常用的标准索引不同。倒排索引在文档检索系统，如搜索引擎，以及在一些特定类型的数据库优化中非常关键。它的主要思想是根据文档内容中出现的词汇来建立索引，而不是文档到词汇的映射，这与正向索引正相反。

倒排索引主要由两个部分组成：一是词表（Term List），二是倒排列表（Inverted List）。词表中包含了所有文档中出现的词汇，而对于每个词汇，倒排列表则记录了该词汇出现在哪些文档中，通常还包括词在文档中出现的位置、频率等信息。

也就是说倒排索引会将每个文档中出现的词汇提取出来，记录于倒排列表之中，当查询时，直接根据查询输入中的词汇去找相关词汇的倒排列表记录，就可以直接找到有记录相关词汇的文档了，而不必向正向索引一样每次查询都遍历全表。

倒排索引最典型的应用是在搜索引擎中，它使得用户能在短时间内从互联网的海量信息中找到所需的内容。此外，在一些特定的数据库产品中，特别是那些面向文本检索的数据库系统，也广泛采用倒排索引来优化查询性能和存储效率。

总体而言，倒排索引因其特有的结构和优势，成为了处理大规模文本数据，特别是搜索和文本分析领域的重要技术之一。

那么为什么一个叫做正向索引，一个叫做倒排索引呢？

• 正向索引是最传统的，根据id索引的方式。但根据词条查询时，必须先逐条获取每个文档，然后判断文档中是否包含所需要的词条，是根据文档找词条的过程。

• 而倒排索引则相反，是先找到用户要搜索的词条，根据词条得到保护词条的文档的id，然后根据id获取文档。是根据词条找文档的过程。

正向索引：

• 优点：

  • 可以给多个字段创建索引

  • 根据索引字段搜索、排序速度非常快

• 缺点：

  • 根据非索引字段，或者索引字段中的部分词条查找时，只能全表扫描。

倒排索引：

• 优点：

  • 根据词条搜索、模糊搜索时，速度非常快

• 缺点：

  • 只能给词条创建索引，而不是字段

  • 无法根据字段做排序

文档和字段

elasticsearch是面向文档（Document）存储的，可以是数据库中的一条商品数据，一个订单信息。文档数据会被序列化为json格式后存储在elasticsearch中：

因此，原本数据库中的一行数据就是ES中的一个JSON文档；而数据库中每行数据都包含很多列，这些列就转换为JSON文档中的字段（Field）。 

索引和映射

随着业务发展，需要在es中存储的文档也会越来越多，比如有商品的文档、用户的文档、订单文档等等。

所有文档都散乱存放显然非常混乱，也不方便管理。

因此，我们要将类型相同的文档集中在一起管理，称为索引（Index）。

例如：

商品索引

{
    "id": 1,
    "title": "小米手机",
    "price": 3499
}
 
{
    "id": 2,
    "title": "华为手机",
    "price": 4999
}
 
{
    "id": 3,
    "title": "三星手机",
    "price": 3999
}

用户索引

{
    "id": 101,
    "name": "张三",
    "age": 21
}
 
{
    "id": 102,
    "name": "李四",
    "age": 24
}
 
{
    "id": 103,
    "name": "麻子",
    "age": 18
}

• 所有用户文档，就可以组织在一起，称为用户的索引；

• 所有商品的文档，可以组织在一起，称为商品的索引；

因此，我们可以把索引当做是数据库中的表。

数据库的表会有约束信息，用来定义表的结构、字段的名称、类型等信息。因此，索引库中就有映射（mapping），是索引中文档的字段约束信息，类似表的结构约束。

mysql与elasticsearch

IK分词器

Elasticsearch的关键就是倒排索引，而倒排索引依赖于对文档内容的分词，而分词则需要高效、精准的分词算法，IK分词器就是这样一个中文分词算法。

安装Ik分词器

方法一

下载好分词器，然后上传到Elasticsearch挂载的插件目录。

方法二

在线安装，运行命令，然后重启容器：

docker exec -it es ./bin/elasticsearch-plugin  install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.12.1/elasticsearch-analysis-ik-7.12.1.zip

IK分词器的使用

IK分词器包含两种模式：

• ik_smart：智能语义切分

• ik_max_word：最细粒度切分

只需要在创建索引库时指定"analyzer"字段的值为IK分词器，相当于告诉Elasticsearch用什么分词器对该索引库进行分词：

 "analyzer": "ik_smart",

当然，虽然IK分词器可以对大部分常规的词汇进行分词，但对于紧跟时代潮流涌现的那些时下热词之类的，依旧是无法进行分词的，此时就需要自己拓展词典。

拓展词典

1）打开IK分词器config目录：

注意，如果采用在线安装的通过，默认是没有config目录的，需要自行下载config目录上传至对应目录。

在IKAnalyzer.cfg.xml配置文件内容添加：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
	<comment>IK Analyzer 扩展配置</comment>
	<!--用户可以在这里配置自己的扩展字典 -->
	<entry key="ext_dict">ext.dic</entry>
</properties>

在IK分词器的config目录新建一个 ext.dic：

蔡徐坤
坤哥
坤坤
鸡你太美
666

这下对于那些网络热词也可以进行分词了