在自己电脑PC上构建本地大模型知识库之ChatOllama 基于 Ollama 的 100% 本地 RAG 应用程序

什么是 RAG？

RAG（检索增强生成）是一种在生成响应之前通过引用训练数据源之外的权威知识库来优化大型语言模型输出的过程。大型语言模型 (LLM) 经过大量数据训练，并使用数十亿个参数来生成原始输出，用于回答问题、语言翻译和完成句子等任务。RAG将 LLM 原本强大的功能扩展到特定领域或组织的内部知识库，而无需重新训练模型。这是一种经济有效的方法，可以提高法学硕士的产出，使其在各种情况下保持相关性、准确性和实用性。

为什么 RAG 很重要？

LLM 是智能聊天机器人和其他自然语言处理 (NLP) 应用程序的关键 AI 技术。其目标是通过交叉引用权威知识源来创建能够回答各种情境下用户查询的机器人。然而，LLM 技术的性质导致响应不可预测。此外，LLM 的训练数据是静态的，并且其知识有一个截止日期。

LLM 的已知挑战包括：

在没有答案的情况下提供错误的信息。
当用户期望具体的、当前的响应时，提供过时或通用的信息。
从非权威来源创建回应。
由于术语混淆而产生不准确的反应，不同的训练源使用相同的术语来指代不同的东西。
RAG是解决这些挑战的一种方法。它引导法学硕士从权威的、预先确定的知识源中检索相关信息。

为什么需要 100% 本地 RAG？

在用例中RAG，特定于某个领域的知识会被输入到 LLM。使用外部模型或服务时，用户面临将私人数据泄露给第三方的风险。例如，当公司使用 OpenAI 的服务时，RAG 应用程序中的私人知识会被发送给 OpenAI，这可能并不是所有用户都希望看到的。高度私密数据的所有者希望所有数据交互都在组织内部进行。这正是 100% 本地 RAG 的意义所在。