ChatGLM2-6B在windows下的部署_chatglm2-6b部署windows

2023-08-10 ChatGLM2-6B在windows下的部署

一、部署环境

1、Windows 10 专业版， 64位，版本号：22H2，内存：32GB

2、已安装CUDA11.3

3、已安装Anaconda3 64bit版本

4、有显卡NVIDIA GeForce RTX 3060 Laptop GPU

二、从huggingface下载chatglm2-6b模型文件

1、进入Anaconda Powershell Prompt

2、创建保存chatglm2-6b的huggingface模型的公共目录。之所以创建一个公共目录，是因为这个模型文件是可以被各种应用共用的。注意创建目录所在磁盘至少要有30GB的空间，因为chatglm2-6b的模型文件至少有23GB大小。
mkdir -p D:_ChatGPT_common_test

3、进入刚刚创建的目录，在这里下载chatglm2-6b的huggingface模型文件。注意下载前要提前打开fanqiang软件，否则下载无法成功。模型文件大概23GB，因此下载时间很长，需要耐心等待。下载过程中可能多次报“Recv failure: Connection was reset”错误，遇到错误就重新下载，直到成功为止。
cd D:_ChatGPT_common_test
git clone https://huggingface.co/THUDM/chatglm2-6b

4、下载时如果报如下错误：
Errors logged to ‘D:_ChatGPT_common_test\chatglm2-6b.git\lfs\logs\20230810T095928.1917897.log’.
Use git lfs logs last to view the log.
error: external filter ‘git-lfs filter-process’ failed
fatal: pytorch_model-00001-of-00007.bin: smudge filter lfs failed
warning: Clone succeeded, but checkout failed.
You can inspect what was checked out with ‘git status’
and retry with ‘git restore --source=HEAD