在笔记本电脑上使用 LLM 的 5 种方法

在线访问 ChatGPT 非常简单 - 您所需要的只是互联网连接和良好的浏览器。但是，这样做可能会损害您的隐私和数据。OpenAI 存储您的即时响应和其他元数据以重新训练模型。虽然这可能不是某些人关心的问题，但其他注重隐私的人可能更喜欢在本地使用这些模型，而无需任何外部跟踪。

在这篇文章中，我们将讨论在本地使用大型语言模型 (LLM) 的五种方法。大多数软件与所有主要操作系统兼容，并且可以轻松下载和安装以立即使用。通过在笔记本电脑上使用法学硕士，您可以自由选择自己的型号。您只需从 HuggingFace 中心下载模型并开始使用即可。此外，您可以授予这些应用程序对项目文件夹的访问权限并生成上下文感知响应。

 

1.GPT4All

 

GPT4All是一款尖端的开源软件，使用户能够轻松下载和安装最先进的开源模型。 

只需从网站下载 GPT4ALL 并将其安装到您的系统上即可。接下来，从面板中选择适合您需求的型号并开始使用。如果您安装了 CUDA (Nvidia GPU)，GPT4ALL 将自动开始使用您的 GPU 生成每秒最多 30 个令牌的快速响应。

 

 

您可以提供对包含重要文档和代码的多个文件夹的访问权限，GPT4ALL 将使用检索增强生成生成响应。GPT4ALL 用户友好、速度快，在 AI 社区中很受欢迎。

阅读有关 GPT4ALL 的博客，了解有关功能和用例的更多信息：终极开源大型语言模型生态系统。

 

2.LM工作室

 

LM Studio是一款新软件，与 GPT4ALL 相比具有多种优势。用户界面非常出色，只需点击几下即可安装 Hugging Face Hub 中的任何模型。此外，它还提供 GPU 卸载和 GPT4ALL 中不可用的其他选项。但是，LM Studio 是一个封闭源代码，它没有通过读取项目文件来生成上下文感知响应的选项。

 

 

LM Studio 提供对数千个开源 LLM 的访问，允许您启动行为类似于 OpenAI 的 API 的本地推理服务器。您可以通过具有多个选项的交互式用户界面修改法学硕士的回答。

另外，请阅读使用 LM Studio 在本地运行法学硕士，了解有关 LM Studio 及其主要功能的更多信息。

 

3.奥拉玛

 

Ollama是一种命令行界面 (CLI) 工具，可快速操作 Llama 2、Mistral 和 Gemma 等大型语言模型。如果您是黑客或开发人员，这个 CLI 工具是一个绝佳的选择。您可以下载并安装该软件并使用“llama run llama2”命令开始使用LLaMA 2模型。您可以在 GitHub 存储库中找到其他模型命令。 

 

 

它还允许您启动可与其他应用程序集成的本地 HTTP 服务器。例如，您可以通过提供本地服务器地址来使用 Code GPT VSCode 扩展，并开始将其用作 AI 编码助手。

使用这5 名人工智能编码助手改善您的编码和数据工作流程。 

 

4.LLaMA.cpp

 

LLaMA.cpp是一个提供 CLI 和图形用户界面 (GUI) 的工具。它允许您在本地使用任何开源法学硕士，没有任何麻烦。该工具是高度可定制的，并且可以快速响应任何查询，因为它完全是用纯 C/C++ 编写的。 

 

 

LLaMA.cpp 支持所有类型的操作系统、CPU 和 GPU。您还可以使用多模式模型，例如 LLaVA、BakLLaVA、Obsidian 和 ShareGPT4V。

了解如何使用 LLaMA.cpp 和 Google GPU在 Google Colab 上免费运行 Mixtral 8x7b 。

 

5. NVIDIA 与 RTX 聊天

 

要使用NVIDIA Chat with RTX，您需要在笔记本电脑上下载并安装 Windows 11 应用程序。此应用程序与配备 30 系列或 40 系列 RTX NVIDIA 显卡、至少 8GB RAM 和 50GB 可用存储空间的笔记本电脑兼容。此外，您的笔记本电脑应至少有 16GB RAM 才能顺利运行 Chat with RTX。

 

 

通过 Chat with RTX，您可以在笔记本电脑上本地运行 LLaMA 和 Mistral 模型。它是一款快速高效的应用程序，甚至可以从您提供的文档或 YouTube 视频中学习。不过，需要注意的是，Chat with RTX 依赖于 TensorRTX-LLM，它仅在 30 系列 GPU 或更高版本上受支持。

 

结论

 

如果您想利用最新的法学硕士，同时保持数据安全和私密，您可以使用 GPT4All、LM Studio、Ollama、LLaMA.cpp 或 NVIDIA Chat with RTX 等工具。每个工具都有其独特的优势，无论是易于使用的界面、命令行可访问性还是对多模式模型的支持。通过正确的设置，您可以拥有一个强大的人工智能助手，可以生成定制的上下文感知响应。

我建议从 GPT4All 和 LM Studio 开始，因为它们满足了大部分基本需求。之后，您可以尝试 Ollama 和 LLaMA.cpp，最后尝试使用 RTX 聊天。