当前位置:   article > 正文

手把手带你本地部署大模型_本地大模型部署

本地大模型部署

这篇文章的唯一目的是实现在本地运行大模型,我们使用LMStudio这个工具协助达成这个目标。

一,下载安装LM Studio

打开下载页面https://lmstudio.ai/下载LM Studio。

在这里插入图片描述
这个工具是免安装的,双击就可以打开软件。
在这里插入图片描述

二,本地部署大模型

1,搜索模型

打开LM Studio后,就可以在软件中搜索要部署的模型了,比如我们想部署阿里的通义千问,可以输入关键字qwen

在这里插入图片描述

搜索结果会以列表的形式罗列出来。

在这里插入图片描述

我们会发现通过关键字搜索出来的模型非常多,选择的依据主要有两个

  • 模型参数。上面图中每个模型都带有一个参数,比如7B,14B,0.5B,数字越大,说明模型越复杂,耗费的资源越多,一般在自己的电脑上部署大模型,选择0.5B体验下即可。关于模型参数的具体知识,见文章最后一部分。
  • 模型的格式。要选择GGUF,GGUF格式是为了使大型语言模型的推理更加高效、轻量级和易于部署而设计的,特别适用于资源受限的设备或环境。

2,下载大模型

比方说我们选择高亮的Qwen1.5-1.8B-Chat-GGUF模型。

如下图,在右下角找到Download按钮,点击下载。

在这里插入图片描述
可能会遇到下载很慢的情况,耐心等待,或者不通过这里下载,去网站手段下载模型,然后加载进来也行。

3,加载大模型

在这里插入图片描述
如上图,在LM Studio中按如下步骤,加载刚刚下载的大模型,并进行测试。

  • ① 左侧选择chat
  • ② 点击下拉列表,查看已经下载的大模型
  • ③ 选择我们想要加载的大模型

4,测试大模型

加载大模型之后,按照下面步骤测试大模型是否正常加载。

  • ① 点击 New Chat 新建一个会话
  • ② 输入一个问题,根据AI的回答确认模型是否正常加载

在这里插入图片描述

5,部署大模型

在LM Studio中部署大模型,也非常简单。

  • ① 点击左侧菜单,切换到部署界面
  • ② 点击Start Server按钮,开始部署
    在这里插入图片描述
    大模型很快就部署好了,当然,这是因为我们选择的模型比较小,不用耗费很多资源。

6, 验证

模型部署好了之后,LM Studio中还提供了各种访问大模型的Demo。

如下图,我们选择使用Python进行访问,点击chat(python)按钮,copy下面的代码到pycharm中,执行代码。
在这里插入图片描述
如果在LM Studio的控制台能看到类似的日志,说明大模型运行正常。

在这里插入图片描述

关于大模型参数的补充知识

在提及大模型如7B、33B、70B时,这里的数值代表的是模型的参数量,也就是构成神经网络的权重和偏置的数量。在深度学习中,模型的复杂度与其参数量成正比,更多的参数意味着模型具有更强的学习能力和表达能力,但也需要更多的计算资源来进行训练和推理。

  • 7B:指的是模型拥有大约70亿(7 Billion)个参数。
  • 33B:指的是模型拥有大约330亿(33 Billion)个参数。
  • 70B:指的是模型拥有大约700亿(70 Billion)个参数。

这些参数是模型学习得到的,用于捕捉输入数据与输出预测之间的复杂关系。较大的模型通常能够更好地拟合复杂的数据分布,但同时也可能带来过拟合的风险,需要大量的数据进行训练以避免这种情况。

在实际应用中,选择多大的模型取决于多种因素,包括计算资源的限制、模型的预期用途、数据集的大小和复杂性等。例如,对于资源有限的设备,可能需要使用较小的模型(如7B);而对于云服务或高性能计算集群,则可能使用更大的模型(如70B)。

声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:【wpsshop博客】
推荐阅读
相关标签
  

闽ICP备14008679号