用自己电脑部署大模型，私有化，很香！_怎么让大模型控制电脑

这段时间一直在研究大语言模型私有部署的相关内容，相信大家也非常的感兴趣。

到目前为止，其实还是有很多的开源模型，其实大家去 GitHub Trending 上看看，就能够发现很多。

今天也是手把手地教大家怎么在自己的电脑上部署一个大语言模型。

当然这里我说下，我的电脑是一台 MacBook Pro ，M1 Pro 芯片，32G 内存+1TB 存储。

其实对于 m芯片或者 intel 芯片或者显卡，修改的地方并不多。所以这几个都大差不差。

这次部署的是什么模型呢？

https://github.com/THUDM/ChatGLM3

上面是他们的开源地址，现在也有 4.7k 的 star 了，非常适合小白用户来部署。

可以看到他们的简介：ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上。

这里着重说了部署门槛低，确实是低，大家往下看就知道了。

首先，直接把他们代码拿下来：

git clone https://github.com/THUDM/ChatGLM3
1

然后进入到ChatGLM3

cd ChatGLM3
1

直接用 pip install

pip install -r requirements.txt
1

官方推荐：其中 transformers 库版本推荐为 4.30.2，torch 推荐使用 2.0 及以上的版本，以获得最佳的推理性能。

当然我们不需要管太多，先安装好这些。

另外在这里我的 Python 版本是 3.9 的，大家最好版本高一点。

除了把代码弄下来，我们还需要去下载模型。

在 GitHub 地址中，有提供ChatGLM3-6B、ChatGLM3-6B-Base、ChatGLM3-6B-32K三种。大家可以按需取。

但是这里需要注意，如果你的机器一般，最好先部署ChatGLM3-6B，别逞强，我也是部署的这个。

下载模型之前，先下载好 Git lFS，这玩意就是 git，只不过是支持大文件下载的。

下面是安装方法：

https://docs.github.com/zh/repositories/working-with-files/managing-large-files/installing-git-large-file-storage

安装完之后，我们在项目目录下建一个THUDM文件夹，然后进入THUDM文件夹。最后我们执行下面的命令：

git clone https://huggingface.co/THUDM/chatglm3-6b
1

此时就会开始下载了。

如果你觉得下载的慢，可以使用国内的 modelscope

git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
1

准备好了之后，其实就基本上完成了。

ChatGLM3提供了很多种模式给我们使用，例如综合 Demo、代码调用、openai API部署

这里我们来讲下代码调用：

>>> from transformers import AutoTokenizer, AutoModel
>>> tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True)
>>> model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True, device='cuda')>>> model = model.eval()
>>> response, history = model.chat(tokenizer, "你好", history=[])
>>> print(response)
>你好声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/weixin_40725706/article/detail/916833