Elasticsearch：使用 ELSER 进行语义搜索

Elastic Learned Sparse EncodeR（或 ELSER）是一种由 Elastic 训练的 NLP 模型，使你能够使用稀疏向量表示来执行语义搜索。 语义搜索不是根据搜索词进行字面匹配，而是根据搜索查询的意图和上下文含义检索结果。

本教程中的说明向你展示了如何使用 ELSER 对数据执行语义搜索。

提示：在使用 ELSER v1 进行语义搜索期间，仅考虑每个字段的前 512 个提取的标记。 有关详细信息，请参阅此页面。

有关 ELSER v2 的教程，请参阅文章 “Elasticsearch：使用 ELSER v2 进行语义搜索”。

要求

要使用 ELSER 执行语义搜索，你必须在集群中部署 NLP 模型。 请参阅 ELSER 文档以了解如何下载和部署模型。

创建索引映射

首先，必须创建目标索引的映射 —— 包含模型根据你的文本创建的标记的索引。 目标索引必须有一个具有 rank_features 字段类型的字段来索引 ELSER 输出。

PUT my-index
{
  "mappings": {
    "properties": {
      "ml.tokens": {
        "type": "rank_features" 
      },
      "text_field": {
        "type": "text" 
      }
    }
  }
}

注意：

• 包含预测的字段是 rank_features 字段。
• 用于创建稀疏向量表示的 text 字段。

有关 rank_features 字段的使用，请详细阅读文章 “Elasticsearch：Rank feature query - 排名功能查询”。

使用推理处理器创建摄取管道

创建一个带有推理处理器的摄取管道，以使用 ELSER 对管道中摄取的数据进行推理。

PUT _ingest/pipeline/elser-v1-test
{
  "processors": [
    {
      "inference": {
        "model_id": ".elser_model_1",
        "target_field": "ml",
        "field_map": {
          "text": "text_field"
        },
        "inference_config": {
          "text_expansion": { 
            "results_field": "tokens"
          }
        }
      }
    }
  ]
}

text_expansion 推理类型需要在推理摄取处理器中使用。

加载数据

在此步骤中，你将加载稍后在推理摄取管道中使用的数据，以从中提取 token。

使用 msmarco-passagetest2019-top1000 数据集，它是 MS MACRO Passage Ranking 数据集的子集。 它包含 200 个查询，每个查询都附有相关文本段落的列表。 所有独特的段落及其 ID 都已从该数据集中提取并编译成一个 tsv 文件。

使用机器学习 UI 中的数据可视化工具下载文件并将其上传到你的集群。 将名称 id 分配给第一列，将 text 分配给第二列。 索引名称是 test-data。 上传完成后，n你可以看到一个名为 test-data 的索引，其中包含 182469 个文档。

关于如何加载这个数据，请详细阅读文章 “Elasticsearch：如何部署 NLP：文本嵌入和向量搜索”。

通过推理摄取管道摄取数据

通过使用 ELSER 作为推理模型的推理管道重新索引数据，从文本创建 tokens。

POST _reindex?wait_for_completion=false
{
  "source": {
    "index": "test-data"
  },
  "dest": {
    "index": "my-index",
    "pipeline": "elser-v1-test"
  }
}

该调用返回一个任务 ID 以监控进度：

GET _tasks/<task_id>

你还可以打开经过训练的模型 UI，选择 ELSER 下的 Pipelines 选项卡以跟踪进度。 完成该过程可能需要几分钟时间。

我们通过如下的命令来查看被写入的文档：

GET my-index/_search

使用 text_expansion 查询进行语义搜索

要执行语义搜索，请使用 text_expansion 查询，并提供查询文本和 ELSER 模型 ID。 下面的示例使用查询文本 “How to avoid muscle soreness after running?”： 

GET my-index/_search
{
   "query":{
      "text_expansion":{
         "ml.tokens":{
            "model_id":".elser_model_1",
            "model_text":"How to avoid muscle soreness after running?"
         }
      }
   }
}

上面搜索的结果是：

结果是根据相关性排序的 my-index 索引中与你的查询文本含义最接近的前 10 个文档。 结果还包含为每个相关搜索结果提取的 token 及其权重。

"hits":[
   {
      "_index":"my-index",
      "_id":"978UAYgBKCQMet06sLEy",
      "_score":18.612831,
      "_ignored":[
         "text.keyword"
      ],
      "_source":{
         "id":7361587,
         "text":"For example, if you go for a run, you will mostly use the muscles in your lower body. Give yourself 2 days to rest those muscles so they have a chance to heal before you exercise them again. Not giving your muscles enough time to rest can cause muscle damage, rather than muscle development.",
         "ml":{
            "tokens":{
               "muscular":0.075696334,
               "mostly":0.52380747,
               "practice":0.23430172,
               "rehab":0.3673556,
               "cycling":0.13947526,
               "your":0.35725075,
               "years":0.69484913,
               "soon":0.005317828,
               "leg":0.41748235,
               "fatigue":0.3157955,
               "rehabilitation":0.13636169,
               "muscles":1.302141,
               "exercises":0.36694175,
               (...)
            },
            "model_id":".elser_model_1"
         }
      }
   },
   (...)
]

将语义搜索与其他查询相结合

你可以将 text_expansion 与复合查询中的其他查询结合使用。 例如，在布尔或全文查询中使用过滤器子句，可能会或可能不会使用与 text_expansion 查询相同的查询文本。 这使你能够合并来自两个查询的搜索结果。

来自 text_expansion 查询的搜索命中往往得分高于其他 Elasticsearch 查询。 这些分数可以通过使用 boost 参数增加或减少每个查询的相关性分数来规范化。 text_expansion 查询的召回率可能很高，因为相关性较低的结果很长。 使用 min_score 参数修剪那些不太相关的文档。

GET my-index/_search
{
  "query": {
    "bool": { 
      "should": [
        {
          "text_expansion": {
            "ml.tokens": {
              "model_text": "How to avoid muscle soreness after running?",
              "model_id": ".elser_model_1",
              "boost": 1 
            }
          }
        },
        {
          "query_string": {
            "query": "toxins",
            "boost": 4 
          }
        }
      ]
    }
  },
  "min_score": 10 
}

说明：

• text_expansion 和 query_string 查询都在 bool 查询的 should 子句中。
• text_expansion 查询的提升值为 1，这是默认值。 这意味着该查询结果的相关性分数没有提高。
• query_string 查询的提升值为 4。 此查询结果的相关性分数增加，导致它们在搜索结果中排名更高。
• 仅显示分数等于或高于 10 的结果。