【ChatGLM】ChatGLM本地部署LOG_cpu推理成功，gpu待买_chatglm怎么设计log记录文件

环境要求：CUDA版本的torch：  torch>=1.10

---

第一步：新建一个虚拟环境，安装torch

                 # 新建环境：conda create --name test python=3.6 

                 # 安装torch（win）：【已解决】cuda不可用_PULSE_喔豁的博客-CSDN博客 

                 # 安装torch（linux）：我没写自己搜

第一步：git lfs install 

                # 目的：安装Git LFS。

                # 完成：返回Git LFS initialized. 成功

第二步：git clone https://huggingface.co/THUDM/chatglm-6b  

                # 目的：下载所需文件。

                # 如果下载不成功则手动下载：

                # ①下载地址：https://huggingface.co/THUDM/chatglm-6b/tree/main  

第三步：git clone git@github.com:THUDM/ChatGLM-6B.git

                # 目的：下载官方源代码。如果下载不成功则手动下载：

                # ①下载地址：https://github.com/THUDM/ChatGLM-6B

第四步：pip install -r requirements.txt

# 目的：安装相关依赖。

第五步：修改cli_demo.py和web_demo.py中的模型路径

第六步：发现自己GPU内存不够，扭头跑CPU版的

                # git clone https://huggingface.co/THUDM/chatglm-6b-int4

                # 目的：下载CPU版所需文件。

                # 如果下载不成功则手动下载：

                # ①下载地址：https://huggingface.co/THUDM/chatglm-6b-int4/tree/main  

 第七步：编译quantization_kernels.c和quantization_kernels_parallel.c文件【chatglm-6b-int4】

                # gcc -v看看gcc装了没有，如果装了就不管了

第八步：调用代码，运行推理

--------------------

from transformers import AutoTokenizer, AutoModel

# 绝对路径
tokenizer = AutoTokenizer.from_pretrained("E:\CODE\chatglm-6b\chatglm_int4_file", trust_remote_code=True)
model = AutoModel.from_pretrained("E:\CODE\chatglm-6b\chatglm_int4_file", trust_remote_code=True).float()
model = model.eval()
input = "我该怎么训练你"
response, history = model.chat(tokenizer, input, history=[])
print(response)

----------------------------------

没错CPU只能推理，训练找个又好又大的gpu先

可慢可慢了