在本地运行LLM的6种方法_本地_llm模型本地部署

商业人工智能和大型语言模型（LLM）有一个很大的缺点：隐私！在处理敏感或专有数据时，我们无法从这些工具中受益。

这使我们了解如何在本地运营私有 LLM。开源模型提供了一种解决方案，但它们也有其自身的一系列挑战和好处。

和我一起探索 ChatGPT 的本地替代品，您可以在自己的计算机上运行它。

设定期望

开源非常广泛，有数千种可用的模型，从像 Meta 这样的大型组织提供的模型到个人爱好者开发的模型不等。然而，运行它们会带来一系列挑战：

• 它们可能需要强大的硬件：充足的内存，可能还需要一个 GPU
• 虽然开源模型正在改进，但它们通常无法与 ChatGPT 等更完善的产品的功能相匹配，后者受益于大型工程师团队的支持。
• 并非所有型号都可以用于商业用途。

正如谷歌泄露的一份文件所暗示的那样，开源和闭源模型之间的差距正在缩小。

1.Hugging Face and Transformers

Hugging Face 是机器学习和 AI 的 Docker Hub 等价物，提供了大量开源模型。幸运的是，Hugging Face 会定期对模型进行基准测试，并提供排行榜以帮助选择可用的最佳模型。

Hugging Face 还提供了 transformers，这是一个 Python 库，可以简化在本地运行 LLM。以下示例使用该库运行较旧的 GPT-2 microsoft/DialoGPT 中型模型。在第一次运行时，变形金刚将下载模型，您可以与它进行五次交互。该脚本还需要安装 PyTorch。

from transformers importAutoModelForCausalLM, AutoTokenizer
import torch

1
2
3

tokenizer = AutoTokenizer.from_pretrained("microsoft/DialoGPT-medium", padding_side='left')
model = AutoModelForCausalLM.from_pretrained("microsoft/DialoGPT-medium")
# source: https://huggingface.co/microsoft/DialoGPT-medium# Let's chat for 5 lines
for step in range(5):
    # encode the new user input, add the eos_token and return a tensor in Pytorch
    new_user_input_ids = tokenizer.encode(input(">> User:") + tokenizer.eos_token, return_tensors='pt')    # append the new user input tokens to the chat history
    bot_input_ids = torch.cat([chat_history_ids, new_user_input_ids], dim=-1) if step > 0 else new_user_input_ids    # generated a response while limiting the total chat history to 1000 tokens, 
    chat_history_ids = model.generate(bot_input_ids, max_length=1000, pad_token_id=tokenizer.eos_token_id)    # pretty print last output tokens from bot
    print("DialoGPT: {}".format(tokenizer.decode(chat_history_ids[:, bot_input_ids.shape[-1]:][0], skip_special_tokens=True)))

1
2
3
4
5
6
7
8
9
10

Transformers优点：

• 自动模型下载
• 可用的代码片段
• 实验和学习的理想选择

Transformers缺点：

• 需要对 ML 和 NLP 有扎实的理解
• 编码和配置技能是必要的

2. LangChain

我们可以在本地运行 LLM 的另一种方法是使用 LangChain。LangChain 是一个用于构建 AI 应用程序的 Python 框架。它提供了抽象和中间件，用于在其支持的模型之一之上开发 AI 应用程序。例如，以下代码向 microsoft/DialoGPT 中型模型提出一个问题：

from Langchain.LLMs.huggingface_pipeline import HuggingFacePipeline

1
2

hf = HuggingFacePipeline.from_model_id(
    model_id="microsoft/DialoGPT-medium", task="text-generation", pipeline_kwargs={"max_new_tokens": 200, "pad_token_id": 50256},
)
from langchain.prompts import PromptTemplatetemplate = """Question: {question}Answer: Let's think step by step."""
prompt = PromptTemplate.from_template(template)chain = prompt | hfquestion = "What is electroencephalography?"print(chain.invoke({"question": question}))

1
2
3
4
5
6

LangChain的优点：

• 更轻松的模型管理
• 用于 AI 应用程序开发的有用实用程序

LangChain缺点：

• 限速，与变形金刚相同
• 您仍必须对应用程序的逻辑进行编码或创建合适的 UI。

3. Llama.cpp

Llama.cpp 是一个基于 C 和 C++ 的 LLM 推理引擎，针对 Apple 芯片进行了优化，并运行 Meta 的 Llama2 模型。

克隆存储库并构建项目后，我们可以使用以下命令运行模型：

$ ./main -m /path/to/model-file.gguf -p “Hi，there！”

1
2

Llama.cpp优点：

• 比基于 Python 的解决方案具有更高的性能
• 在适度的硬件上支持 Llama 7B 等大型模型
• 提供绑定以使用其他语言构建 AI 应用程序，同时通过 Llama.cpp 运行推理。

Llama.cpp缺点：

• 有限的模型支持
• 需要工具构建

4.Llamafile

Llamafile 由 Mozilla 开发，为运行 LLM 提供了一种用户友好的替代方案。 Llamafile 以其可移植性和创建单文件可执行文件的能力而闻名。

一旦我们下载了 llamafile 和任何 GGUF 格式的模型，我们就可以启动本地浏览器会话：

$ ./llamafile -m /path/to/model.gguf

1
2

Llamafile 优点：

• 与 Llama.cpp 相同的速度优势
• 您可以生成嵌入了模型的单个可执行文件

Llamafile 缺点：

• 该项目仍处于早期阶段
• 并非所有模型都受支持，只有 Llama.cpp 支持的模型。

5.Ollama

Ollama 是 Llama.cpp 和 Llamafile 的更用户友好的替代品。下载在计算机上安装服务的可执行文件。安装后，打开终端并运行：

$ Ollama Run llama2

1
2

Ollama 将下载模型并开始交互式会话。

Ollama优点：

• 易于安装和使用。
• 可以运行骆驼和骆马模型。
• 它真的很快。

Ollama 缺点：

• 提供有限的模型库。
• 自行管理模型，不能复用自己的模型。
• 运行 LLM 的不可调选项。
• 暂无 Windows 版本。

6. GPT4ALL

GPT4ALL 是一款易于使用的桌面应用程序，具有直观的 GUI。它支持本地模型运行，并通过 API 密钥提供与 OpenAI 的连接。它以其处理本地文档上下文的能力而著称，从而确保了隐私。

优点：

• 具有友好用户界面的精美替代品
• 支持一系列精选模型

缺点：

• 型号选择有限
• 某些型号有商业使用限制

结论

选择正确的工具在本地运行 LLM 取决于您的需求和专业知识。从用户友好的应用程序（如 GPT4ALL）到更多技术选项（如 Llama.cpp 和基于 Python 的解决方案），环境提供了多种选择。开源模型正在迎头赶上，提供了对数据和隐私的更多控制。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

AI时代的职场新潮流

听说AI要来抢工作了？别担心，新岗位可比旧岗位有趣多了！想象一下，你从搬砖工升级成了机器人操作员，从算盘小能手变成了大数据分析师，这不是美滋滋吗？所以，社会生产效率提升了，我们也能更轻松地工作。不过，想成为AI界的佼佼者？那就得赶紧学起来，不然就会被同行们甩得连AI的尾巴都摸不着了！

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。