如何运行自己的本地 LLM：2024 年更新了 8 个新的开源工具！_ollama generate和chat api

这篇文章是关于如何运行自己的本地大型语言模型（LLMs）的，它介绍了2024年8个新的开源工具。

1) HuggingFace Transformers

Hugging Face Transformers 是一个最先进的机器学习库，它为自然语言处理（NLP）、计算机视觉、音频任务等提供了易于访问的广泛预训练模型。这是一个由 Hugging Face 开发的开源库，该公司围绕机器学习和 NLP 建立了一个强大的社区。

以下是 Hugging Face Transformers 的一些关键特性：

1. 预训练模型：Transformers 提供了 API 和工具，可以轻松下载和训练最先进的预训练模型。使用这些模型可以减少你的计算成本、碳足迹，并节省从头开始训练模型所需的时间和资源。
2. 多模态支持：这些模型支持不同模态中的常见任务，如文本分类、命名实体识别、问答、语言建模、摘要、翻译、多项选择、NLP 的文本生成；计算机视觉的图像分类、对象检测和分割；音频的自动语音识别和音频分类；以及多模态任务的表格问答、光学字符识别、从扫描文档中提取信息、视频分类和视觉问答。
3. 框架互操作性：Transformers 支持 PyTorch、TensorFlow 和 JAX 之间的框架互操作性。这提供了在模型生命周期的每个阶段使用不同框架的灵活性；在一个框架中训练模型，并在另一个框架中加载它进行推理。
4. 社区和协作：Hugging Face 有很强的社区焦点，拥有一个模型中心，这是一个繁忙的中心，用户在那里交换和发现数千个模型和数据集，促进了 NLP 中的集体创新文化。
5. 易用性：Transformers 库简化了机器学习之旅，为开发人员提供了一个高效的途径，可以下载、训练并无缝集成机器学习模型到他们的工作流程中。
6. 多样化的数据集：Datasets 库作为一个全面的 toolbox，为开发人员提供了多样化的数据集，以便他们可以毫不费力地训练和测试语言模型。

总的来说，Hugging Face Transformers 是一个强大的工具，它使语言技术和机器学习的复杂性对每个人，从初学者到专家，都变得易于接近。

2) gpt4all

抱歉，我不能描述这个！

GPT4All 是由 Nomic AI 开发的开源生态系统，它允许你在消费级 CPU 和任何 GPU 上本地运行强大且定制的大型语言模型（LLMs）。它的目的是成为任何人都可以自由使用、分发和构建的最佳指令调整助手风格的语言模型。

以下是 GPT4All 的一些关键特性：

1. 本地运行：GPT4All 在你的机器上本地运行，这意味着它不需要互联网连接或 GPU。这使它成为一个注重隐私的聊天机器人。
2. 免费使用：它是免费使用的，这意味着你不必为平台或硬件订阅付费。
3. 定制大型语言模型：GPT4All 允许你训练和部署强大且定制的大型语言模型。
4. 多种能力：GPT4All 可以回答有关世界的问题，协助撰写电子邮件、文档、创意故事、诗歌、歌曲和剧本，理解文档，并为简单的编码任务提供指导。
5. 开源生态系统：GPT4All 是一个开源生态系统的一部分，这意味着你可以为其开发和改进做出贡献。

总的来说，GPT4All 是一个工具，它通过允许任何人在自己的硬件上本地运行大型语言模型，使 AI 资源的访问民主化。

官方网站是（不出所料）

https://gpt4all.io

像这个列表上的所有 LLMs（正确配置时），gpt4all 不需要互联网或 GPU。

3) ollama

再次，神奇！

Ollama 是一个开源命令行工具，允许你在计算机上运行、创建和共享大型语言模型。它旨在在机器上本地运行开源的大型语言模型。Ollama 支持各种模型，如 Llama 3、Mistral、Gemma 等。

它通过将模型权重、配置和数据捆绑成一个由 Modelfile 定义的单一包来简化流程。这意味着你可以在没有任何注册或等待列表的情况下运行大型语言模型，如 Llama 2 和 Code Llama。

Ollama 适用于 macOS、Linux 和 Windows。它最初支持 Llama，然后扩展了其模型库以包括 Mistral 和 Phi-25 等模型。因此，如果你有兴趣在本地机器上运行大型语言模型，Ollama 可能是一个伟大的工具要考虑！

Ollama 的多模态能力允许它同时处理文本和图像输入。这意味着你可以向模型提问或给它涉及文本和图像的提示，它将根据这两种类型的输入生成响应。

要使用此功能，你只需输入你的提示，然后将图像拖放。Ollama 的 Generate API 和 Chat API 都有一个新参数 images。images 参数接受一个包含 base64 编码的 PNG 或 JPEG 格式图像的列表。Ollama 支持高达 100MB 的图像大小。

例如，你可以通过在终端中输入 ollama run llava 来运行一个多模态模型，如 LLaVA。在后台，Ollama 将下载 LLaVA 7B 模型并运行它。如果你想使用不同的参数大小，你可以尝试使用 ollama run llava:13b 来运行 13B 模型。

更多的多模态模型正在变得可用，如 BakLLaVA 7B。你可以通过在终端中输入 ollama run bakllava 来运行它。

这种多模态能力使 Ollama 成为一个强大的工具，可以根据文本和图像输入的组合生成创造性和上下文相关的响应。这是一个利用大型语言模型的更具互动性和吸引力的方式。

4. localllm

难以解释，不是吗？

我发现这是最方便的方式。完整的解释在下面的链接中给出：

Google Cloud Blog

localllm 是 Google Cloud Platform 开发的一个工具，允许你在 Cloud Workstations 上本地运行大型语言模型（LLMs）。它对希望利用 LLMs 的力量而不受 GPU 可用性限制的开发者特别有用。

以下是 localllm 的一些关键点：

• 它旨在在本地 CPU 上运行，消除了对 GPU 的需求。
• 它使用 HuggingFace 的量化模型，这些是为在计算资源有限的设备上运行而优化的 AI 模型。
• 该工具是结合量化模型、Cloud Workstations 和通常可用资源开发基于 AI 的应用程序的解决方案的一部分。
• 它通过命令行实用程序提供对量化模型的简单访问。

从本质上讲，localllm 是寻求在其应用程序中利用 LLMs 的开发者的游戏规则改变者，提供了一种灵活高效的应用程序开发方法。

5. Llama 3 (Meta 发布的版本 3)

现在那是一个壮观的 Llama！

Meta 的 Llama 3，通常被称为 Llama 3，是 Meta 的大型语言模型（LLM）的最新迭代。它是一个强大的 AI 工具，在自然语言处理（NLP）和机器学习（ML）领域取得了重大进展。

Llama 3 是一个为开发者、研究人员和企业设计、实验和负责任地扩展他们的生成性 AI 想法的开源大型语言模型。它是基础系统的一部分，为全球社区的创新提供了基石。

该模型提供 8B 和 70B 的预训练和指令调整版本，以支持广泛的应用。它擅长理解语言细微差别并执行翻译和对话生成等复杂任务。

Llama 3 在超过 15 万亿个令牌的数据 上进行了训练，训练数据集比 Llama 2 使用的数据集大 7 倍，包括 4 倍多的代码。这导致了迄今为止最能干的 Llama 模型，支持 8K 上下文长度，是 Llama 2 容量的两倍。

随着 Llama 3 的发布，Meta 更新了负责任使用指南（RUG），以提供有关负责任地使用 LLMs 的最全面信息。他们的系统中心方法包括更新他们的信任和安全工具与 Llama Guard 2，优化以支持 MLCommons 宣布的新分类法，将其覆盖范围扩展到更全面的安全类别，代码盾和 Cybersec Eval 2。

总结来说，Llama 3 代表了 AI 技术的重大进步，为广泛的应用提供了增强的能力和改进的性能。

链接：https://huggingface.co/meta-llama

6. LLM

解释这个。我当然可以！

llm Python 脚本来自 PyPI，是一个命令行实用程序和 Python 库，用于与大型语言模型（LLMs）交互，包括 OpenAI、PaLM 和您自己的机器上安装的本地模型。

以下是其功能简介：

1. 与 LLMs 交互：你可以从命令行运行提示，将结果存储在 SQLite 中，生成嵌入向量等。
2. 支持自托管语言模型：LLM CLI 工具现在通过插件支持自托管语言模型。
3. 处理嵌入向量：LLM 提供了处理嵌入向量的工具。
4. 安装：你可以使用命令 pip install llm 通过 pip 安装此工具，或者使用命令 brew install llm 通过 Homebrew 安装。
5. 入门：如果你有 OpenAI API 密钥，你可以立即开始使用 OpenAI 模型。作为 OpenAI 的替代品，你可以安装插件来访问其他提供商的模型，包括可以安装并在你自己的设备上运行的模型。
6. 本地安装模型：LLM 插件可以添加对其他模型的支持，包括在你自己机器上运行的模型。例如，要下载并本地运行 Mistral 7B Instruct，你可以安装 llm-gpt4all 插件。
7. 运行提示：一旦你保存了一个密钥，你可以像这样运行一个提示：llm "五只宠物企鹅的可爱名字"。
8. 与模型聊天：你还可以使用 llm chat 命令与模型开始一个聊天会话。
9. 使用系统提示：你可以使用 -s/--system 选项设置一个系统提示，为处理工具的其他输入提供指令。

7. LlamaFile

带有一些重型选项的 Llama！

LlamaFile 是一个可执行的大型语言模型（LLM），你可以在自己的计算机上运行。它包含了给定开放 LLM 的权重，以及实际在计算机上运行该模型所需的一切。

LlamaFile 的目标是使开放的 LLMs 对开发者和最终用户更加易于访问。 它将模型与框架结合成一个单一文件的可执行文件（称为“LlamaFile”），在大多数计算机上本地运行，无需安装。这意味着所有操作都发生在本地，没有数据会离开你的计算机。

例如，你可以下载 LLaVA 模型的示例 LlamaFile，这是一种新的 LLM，不仅可以聊天；你还可以上传图像并询问有关它们的问题。

除了托管一个 Web UI 聊天服务器，当启动一个 LlamaFile 时，它还提供了一个与 OpenAI API 兼容的聊天完成端点。这是为了支持最常见的 OpenAI API 使用情况，以一种完全本地运行的方式。

这项倡议是确保 AI 保持自由和开放的努力的一部分，并增加信任和安全性。它的目的是降低入门门槛，增加用户选择，并将技术直接交到人们的手中。

链接：

8. ChatGPT-Next-Web

那是下一个级别，确实！

ChatGPT-Next-Web，也称为 NextChat，是一个开源应用程序，为与 GPT-3.5、GPT-4 和 Gemini-Pro 等高级语言模型交互提供了一个用户界面。它建立在 Next.js，一个流行的 JavaScript 框架上。

以下是 ChatGPT-Next-Web 的一些关键特性：

部署： 它可以在 Vercel 上免费一键部署，在不到 1 分钟的时间内完成。

• 紧凑的客户端： 它提供了一个紧凑的客户端（约 5MB），可以在 Linux、Windows 和 MacOS 上运行。
• 兼容性： 它完全兼容自部署的语言学习模型（LLMs），建议与 RWKV-Runner 或 LocalAI 一起使用。
• 隐私： 所有数据都存储在浏览器中，确保隐私。
• Markdown 支持： 它支持 Markdown，包括 LaTex、mermaid、代码高亮等。
• 提示模板： 你可以创建、共享和调试你的聊天工具与提示模板。
• 多语言支持： 它支持包括英语、简体中文、繁体中文、日语、法语、西班牙语、意大利语、土耳其语、德语、越南语、俄语、捷克语、韩语、印尼语在内的多种语言。

这是一个多功能工具，允许用户以更个性化和受控的方式与 AI 模型交互。它被全球的开发者和 AI 爱好者用来创建和部署他们自己的 ChatGPT 应用程序。

网站：https://github.com/ChatGPTNextWeb/ChatGPT-Next-Web

9. LocalAI

不确定哪个星球，但看起来确实很漂亮！

• LocalAI 是一个免费、开源的项目，充当 OpenAI API 的替代品。它允许你使用消费级硬件本地或在现场运行各种 AI 模型。以下是 LocalAI 的一些关键特性：
  • 本地推理： LocalAI 允许你本地或在现场运行语言学习模型（LLMs），生成图像、音频等。
  • 兼容性： 它与 OpenAI API 规范兼容。
  • 不需要 GPU： LocalAI 的运行不需要 GPU。
  • 隐私： 由于所有数据都在当地处理，你的数据保持私密。
  • 多种模型支持： 它支持多种模型家族和架构。
  • 快速推理： 一旦首次加载，它会将模型保留在内存中，以加快推理速度。
  • 社区驱动： LocalAI 是一个社区驱动的项目，欢迎社区的贡献。

https://localai.io

10. gpt4free

瑞士在多元宇宙中！

• GPT4Free，也称为 G4F，是一个开源项目，提供对像 GPT-3.5 和 GPT-4 这样强大的语言模型的访问。以下是 GPT4Free 的一些关键特性：
  • 概念验证： GPT4Free 作为一个概念验证，展示了开发具有超时、负载平衡和流量控制功能的多供应商请求的 API 包。
  • 免费访问： 它通过逆向工程用于这些模型的付费访问应用程序编程接口（APIs），提供了对这些高性能 AI 模型的免费访问。
  • 安装： 你可以使用 Python、Docker 或 Web UI 安装 GPT4Free。
  • 隐私： GPT4Free 会保存对话数据，但所有数据都遵循严格的隐私准则。
  • 自定义模型参数： 你可以自定义模型参数，如 ‘presence_penalty’，以满足你的特定需求。
  • 多语言支持： GPT4Free 支持多种语言，确保不同地理区域的用户都能获得流畅的体验。

https://gpt4free.io

11. PrivateGPT

如果那不是私人的，我不知道是什么！

PrivateGPT 是一个开源的、生产就绪的 AI 项目，允许你使用大型语言模型（LLMs）的力量与你自己的文档进行交互，100% 私密。

以下是 PrivateGPT 的一些关键特性：

• 隐私： 所有数据都在当地处理，确保在任何时候都不会有数据离开你的执行环境。
• 本地推理： PrivateGPT 允许你使用 LLMs 提问你的文档，即使在没有互联网连接的情况下也是如此。
• API： 它提供了一个 API，提供构建私密、上下文感知 AI 应用程序所需的所有原语。它遵循并扩展了 OpenAI API 标准，并支持正常和流式响应。
• 高级和低级 API： API 分为两个逻辑块：一个高级 API，它抽象了检索增强生成（RAG）管道实现的所有复杂性；一个低级 API，允许高级用户实现自己的复杂管道。
• Gradio UI 客户端： 提供了一个工作的 Gradio UI 客户端来测试 API，以及一组有用的工具，如批量模型下载脚本、摄取脚本、文档文件夹监视等。

PrivateGPT 是一个多功能工具，允许用户以更个性化和受控的方式与 AI 模型交互。它被全球的开发者和 AI 爱好者用来创建和部署他们自己的 AI 应用程序。

12. Text-Generation-WebUI

外星人？蜘蛛？蘑菇？Oobabooga？你得到我了。

Text-Generation-WebUI，也称为 TGW 或“oobabooga”，是一个开源项目，为与大型语言模型交互提供了一个基于 Gradio 的 Web 界面。

以下是 Text-Generation-WebUI 的一些关键特性：

• 界面模式： 它提供了三种界面模式：默认（两列）、笔记本和聊天。
• 模型后端： 它支持多种模型后端，包括 Transformers、llama.cpp（通过 llama-cpp-python）、ExLlamaV2、AutoGPTQ、AutoAWQ、GPTQ-for-LLaMa 和 QuIP。
• 模型切换： 它提供了一个下拉菜单，可以快速切换不同的模型。
• 扩展： 它支持大量的扩展（内置和用户贡献的），包括 Coqui TTS 用于逼真的声音输出、Whisper STT 用于声音输入、翻译、多模态管道、向量数据库、Stable Diffusion 集成等。
• 与自定义角色聊天： 你可以与自定义角色聊天。
• 精确的聊天模板： 它为指令遵循模型提供了精确的聊天模板，包括 Llama-2-chat、Alpaca、Vicuna、Mistral。
• LoRA： 你可以用自己的数据训练新的 LoRAs，按需加载/卸载 LoRAs 进行生成。
• Transformers 库集成： 它支持通过 bitsandbytes 加载 4 位或 8 位精度的模型，使用 transformers samplers（llamacpp_HF loader）的 llama.cpp，以及使用 PyTorch 进行 32 位精度的 CPU 推理。
• OpenAI 兼容 API 服务器： 它提供了一个与 OpenAI 兼容的 API 服务器，具有聊天和完成端点。

13. H2O.ai

现在那是所有版本的 H2O！

H2O.ai 是一家提供 AI 解决方案的公司，以民主化 AI 而闻名。他们提供包括：

H2O 开源： 这是一个完全开源的、分布式的内存内机器学习平台，具有线性可扩展性。它支持最广泛使用的统计和机器学习算法，包括梯度提升机、广义线性模型、深度学习等。它还具有行业领先的 AutoML 功能，可以自动运行所有算法及其超参数，以产生最佳模型的排行榜。

H2O.ai 云平台： 这是一个基于云的平台，用于创建和部署具有可定制大型语言模型（LLMs）的生成性 AI 解决方案。它提供的功能包括内部数据的信息检索、数据提取、摘要和其他批量处理任务，以及用于数据分析的代码/SQL 生成。它还提供了一个可定制的评估和验证框架，该框架与模型无关。

企业支持： 当 AI 成为企业成功的关键任务时，H2O.ai 提供你需要的服务，以优化你在人员和技术上的投资，实现你的 AI 愿景。

PrivateGPT： 这是一个产品，允许你使用大型语言模型（LLMs）的力量与你的文档进行交互，100% 私密。它提供了一个 API，提供构建私密、上下文感知 AI 应用程序所需的所有原语。

H2O.ai 被全球超过 18,000 个组织使用，在 R 和 Python 社区中非常流行。对于想要在没有互联网连接或昂贵硬件需求的情况下本地运行 AI 模型的人来说，它是一个强大的工具。

14. LightLLM

我知道这是 LightLLM，但这是不是有点过分？

LightLLM 是一个基于 Python 的大型语言模型（LLM）推理和服务框架。它以其轻量级设计、易于扩展和高速性能而闻名。

以下是 LightLLM 的一些关键特性：

• 三进程异步协作： 令牌化、模型推理和反令牌化是异步执行的，从而显著提高了 GPU 利用率。
• Nopad（Unpad）：为多个模型提供 nopad 注意力操作的支持，有效处理长度差异较大的请求。
• 动态批处理： 启用请求的动态批处理调度。
• FlashAttention： 整合 FlashAttention 以提高推理速度并减少 GPU 内存占用。
• 张量并行性： 在多个 GPU 上利用张量并行性以加快推理速度。
• 令牌注意力： 实施 token-wise 的 KV 缓存内存管理机制，允许在推理期间零内存浪费。
• 高性能路由器： 与令牌注意力协作，精心管理每个令牌的 GPU 内存，从而优化系统吞吐量。
• Int8KV 缓存： 这个特性将令牌的容量增加到几乎是原来的两倍。

LightLLM 支持包括 BLOOM、LLaMA、LLaMA V2、StarCoder、Qwen-7b、ChatGLM2-6b、Baichuan-7b、Baichuan2-7b、Baichuan2-13b、Baichuan-13b、InternLM-7b、Yi-34b、Qwen-VL、Qwen-VL-Chat、Llava-7b、Llava-13b、Mixtral、Stablelm、MiniCPM 在内的各种模型。

15. GPT Academic

学术，伙计……这是学术！

GPT Academic， 也称为 gpt_academic，是一个开源项目，为大型语言模型（LLMs）如 GPT 和 GLM 提供了一个实用的交互界面。它特别针对学术阅读、写作和代码解释进行了优化。

以下是 GPT Academic 的一些关键特性：

• 模块化设计： 它支持模块化设计，允许创建自定义快捷按钮和功能插件。
• 项目分析： 为 Python、C++ 和其他语言提供项目分析能力。
• PDF/LaTex 论文翻译与摘要： 提供翻译和摘要 PDF/LaTex 学术论文的功能。
• 并行查询： 支持跨多个 LLM 模型的并行查询。
• 本地模型支持： 支持本地模型，如 chatglm3。
• 与各种模型集成： 与各种模型集成，如 deepseekcoder、Llama2、rwkv、claude2、moss 等。
• 可定制性： 高度可定制，支持添加新模型、插件和快捷键。

https://academicgpt.net

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】