部署微调框架LLaMA-Factory_llama-factory 微调本地部署

LLaMA Factory

1.我们在ChatGLM3的github官方页面上能看到对LLaMA-Factory的推荐

2.LLaMA Factory github链接 

hiyouga/LLaMA-Factory: Unify Efficient Fine-Tuning of 100+ LLMs (github.com) 

步骤一：安装LLaMA Factory

1. 进入DSW开发环境。

   1. 登录PAI控制台。

   2. 在页面左上方，选择DSW实例所在的地域。

   3. 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击默认工作空间名称，进入对应工作空间内。

   4. 在左侧导航栏，选择模型开发与训练>交互式建模（DSW）。

   5. 单击需要打开的实例操作列下的打开，进入DSW实例开发环境。

2. 在Launcher页面中，单击快速开始区域Notebook下的Python3。

3. 在Notebook中执行以下代码，拉取LLaMA-Factory项目到DSW实例。

   !git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
   

4. 安装LLaMA-Factory依赖环境。

   !pip uninstall -y vllm
   !pip install llamafactory[metrics]==0.7.1
   

5. 运行如下命令，如果显示llamafactory-cli的版本，则表示安装成功。

   !llamafactory-cli version
   

   [2024-05-08 10:25:22,857] [INFO] [real_accelerator.py:161:get_accelerator] Setting ds_accelerator to cuda (auto detect)
   Welcome to LLaMA Factory, version 0.7.1.dev0
   

步骤二：启动LLaMA-Factory

1.看到如下页面就已经部署成功