训练自己业务的行业垂类大模型-生成式模型：从0到1复现ChatGLM的p-tuning和lora 微调_inspect the output of the command and see if you c

目录

1、基础环境配置

2、临时更改当前环境

3、安装chatglm的使用环境

1.安装 Python 3.8

2.安装各种包

4、跑通原本的chatglm：

5、p-tuning微调：

6、lora 微调

---

1、基础环境配置

下载anaconda版本：Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

使用的是Anaconda3-2020.02-Linux-x86_64.sh

chmod +x Anaconda3-2020.02-Linux-x86_64.sh
sh Anaconda3-2020.02-Linux-x86_64.sh

安装过程中 一直enter 键，出现 More 展示协议，输入【yes】统一协议。之后一直enter 键即可，尤其遇到 让更改PATH 路径，选择默认的[no]即可，这样之后用conda单独建立想用的python 版本或者环境。

2、临时更改当前环境

export PATH="/home/anaconda3/bin:$PATH"

此时 ~/.bashrc 目录的path 并无变化

更改 PATH 环境变量后，可以通过以下步骤验证是否成功：

1. 打开一个终端窗口（Terminal）。

2. 输入以下命令来激活 Anaconda 环境：

   source anaconda3/bin/activate

   假设Anaconda 安装在 "/home/user/anaconda" 目录下，那么需要使用上面的命令来激活 Anaconda 环境。

3. 输入以下命令来检查 Anaconda 环境是否激活成功：

   which python

   如果输出的是 Anaconda 中安装的 Python 的路径（例如：/home/user/anaconda/bin/python），则说明 Anaconda 环境已经成功激活了。

4. 输入以下命令来退出 Anaconda 环境：

   conda deactivate

   这样就可以将环境还原回系统默认环境了。​

5. 然后conda 命令就可以用了

验证步骤尽量实验一下，有时直接conda 命令显示-bash: conda: command not found

3、安装chatglm的使用环境

1.安装 Python 3.8

先修改anaconda 的安装channels：channels 指的是软件包仓库的源地址

sudo vim ~/.condarc
 
# 将下面信息粘贴进去：
channels:
 - http://大家设置自家的源/cloud/conda-forge
 - http://大家设置自家的源/cloud/pytorch
 - http://大家设置自家的源/pkgs/main/
 - http://大家设置自家的源/pkgs/free/
show_channel_urls: true

创建python 3.8环境详细步骤

1. 使用上一个终端环境，千万别关闭。

2. 输入以下命令来创建一个 Python 3.8 的临时环境：

   conda create --name tmp_py38 python=3.8

   这个命令会在 Anaconda 中创建一个名为 "tmp_py38" 的新环境，并安装 Python 3.8 版本。

3. 输入以下命令来激活这个新环境：

   conda activate tmp_py38

4. 在这个环境下，可以按照需求安装所需要的 Python 包和依赖。

5. 完成后，可以使用以下命令退出这个临时环境：

   conda deactivate

2.安装各种包

先安装chatglm需要的基础包：

ChatGLM-6B/requirements.txt at main · THUDM/ChatGLM-6B · GitHub

pip install --retries 0 -r requirements.txt

然后按照微调需要的包：

ChatGLM-6B/ptuning at main · THUDM/ChatGLM-6B · GitHub

pip install  --retries 0 rouge_chinese nltk jieba datasets

安装完之后 torch 应该是1.13版本的，此时运行代码出现【libcublas.so.11: symbol cublasLtHSHMatmulAlgoInit, version libcublasLt.so.11 not defined in file libcublasLt.so.11 with link time reference】

参考：解决libcublas.so.11: symbol cublasLtHSHMatmulAlgoInit_be_humble的博客-CSDN博客

pip uninstall nvidia_cublas_cu11

4、跑通原本的chatglm：

将chatglm的源码下载下来，修改模型路径，运行cli_demo.py

修改模型路径

7 tokenizer = AutoTokenizer.from_pretrained("./pretrained_models", trust_remote_code=True)

8 model = AutoModel.from_pretrained("./pretrained_models", trust_remote_code=True).half().cuda()

9 model = model.eval()

使用案例

欢迎使用 ChatGLM-6B 模型，输入内容即可进行对话，clear 清空对话历史，stop 终止程序

用户：你好啊

ChatGLM-6B：你好

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Monodyee/article/detail/255343