无需OpenAI API Key，构建个人化知识库的终极指南_深度学习建立知识库

一、介绍

今天和大家一起学习下使用LangChain＋LLM 来构建本地知识库。

我们先来了解几个名词。

二、什么是LLM？

LLM指的是大语言模型（Large Language Models），大语言模型（LLM）是指使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。大语言模型可以处理多种自然语言任务，如文本分类、问答、对话等，是通向人工智能的一条重要途径。

所以，LLM就是AI模型。

三、什么是Embeddings？

embedding中文翻译为嵌入，并不能很好的理解embedding的概念。我们看一下OpenAI的文档是怎么解释：

用中文翻译总结一下就是：

嵌入（Embedding）是一种将文本或对象转换为向量表示的技术，将词语、句子或其他文本形式转换为固定长度的向量表示。嵌入向量是由一系列浮点数构成的向量。通过计算两个嵌入向量之间的距离，可以衡量它们之间的相关性。距离较小的嵌入向量表示文本之间具有较高的相关性，而距离较大的嵌入向量表示文本之间相关性较低。

embedding在自然语言处理的许多任务中发挥重要作用。例如：

1. 在搜索任务中，可以使用embedding来度量查询字符串与文本结果之间的相关性，从而对搜索结果进行排序。
2. 在聚类任务中，可以使用embedding将相似的文本字符串进行分组。
3. 在推荐系统中，可以根据embedding的相似性来推荐与用户兴趣相关的文本或物品。
4. 还可用于异常检测、多样性分析和文本分类等任务。

总之，Embedding是将文本或对象转换为向量表示的技术，可以衡量文本之间的相关性，在各种自然语言处理任务中发挥重要作用。

四、LangChain

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/笔触狂放9/article/detail/225378