GLM3-6B微调实践-从0开始，搭建Web页面的训练平台

作者：2023面试高手 | 2024-06-07 17:55:16

踩

glm3-6b

在根据本篇文章实践以前，请确保你满足了以下基础条件，如果你没有满足，请自行解决，本篇文章教的是如何搭建语言模型的微调平台，不教如何安装Linux 显卡驱动以及docker

本教程使用的是著名的开源项目“LLaMA-Factory”

基础环境

1.Linux 系统，Nvidia驱动

2.docker环境

3.显卡显存最少24G，本地运行内存最少64G

安装项目

从github上下载项目，运行如下命令

git clone https://github.com/hiyouga/LLaMA-Factory

下载完成后，进入项目，直接使用项目中的docker compose文件进行部署。但是由于在国内环境，所以需要对docker部署文件进行一些修改。需要修改的是Docker file 以及docker-compose 文件

关于项目中的docker部署文件内容不清楚的，可以借助这个GLM4智能体来理解Docker文件字段的含义，这个智能体也是作者自己做的，内部包含有大量的Dockerfile样例以及官方的文档作为基础知识库，精确度高，请放心使用

项目部署文件本地化适配

修改Dockerfile文件的内容如下,主要是修改了python源的地址，改成了清华的地址。

Dockerfile文件的修改内容


FROM nvcr.io/nvidia/pytorch:24.01-py3
 
WORKDIR /app
 
COPY requirements.txt /app/
RUN pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
 
COPY . /app/
RUN pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -e .[deepspeed,metrics,bitsandbytes,qwen]
 
 
VOLUME [ "/app/hf_model", "/app/data", "/app/output" ]
EXPOSE 7860
 
CMD [ "python", "src/train_web.py" ]

"/app/hf_model" 是模型存放的路径

"/app/data" 数据集存放的路径

"/app/output" 微调模型后文件存放的路径

以上这些路径都是在容器中创建，用来存放宿主机映射数据文件的。

docker-compose.yml文件的修改内容


services:
  llama-factory:
    build:
      dockerfile: Dockerfile
      context: .
    container_name: llama_factory
    volumes:
      - ./hf_cache:/app/hf_model
      - ./data:/app/data
      - ./output:/app/output
      - /etc/localtime:/etc/localtime 
    environment:
      - CUDA_VISIBLE_DEVICES=0
    ports:
      - "7860:7860"
    ipc: host
    deploy:
      resources:
        reservations:
          devices:
          - driver: nvidia
            #count: "all"
            device_ids: ['0']
            capabilities: [gpu]
    restart: unless-stopped