秋刀鱼在做梦

这个屌丝很懒，什么也没留下！

热门标签

LLama3 大模型安装配置详细步骤_liama3部署

作者：秋刀鱼在做梦 | 2024-08-08 14:36:56

踩

liama3部署

本地生成 SSH Key

ssh-keygen

cat ~\.ssh\id_rsa.pub

添加成功

ssh -p 46090 root@ssh.intern-ai.org.cn -CNg -L 7860:127.0.0.1:7860 -o StrictHostKeyChecking=no

环境配置


conda create -n llama3 python=3.10
conda activate llama3
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia

安装 git-lfs 依赖 git-lfs install `git-lfs` 是 Git Large File Storage 的缩写，是 Git 的一个扩展，用于处理大文件的版本控制。


conda install git-lfs
git-lfs install

下载模型（InternStudio 中不建议执行这一步）


mkdir -p ~/model
cd ~/model
git clone https://code.openxlab.org.cn/MrCat/Llama-3-8B-Instruct.git Meta-Llama-3-8B-Instruct

或者软链接 InternStudio 中的模型

ln -s /root/share/new_models/meta-llama/Meta-Llama-3-8B-Instruct ~/model/Meta-Llama-3-8B-Instruct

Web Demo 部署


cd ~
git clone https://github.com/SmartFlowAI/Llama3-XTuner-CN

安装 XTuner 时会自动安装其他依赖


cd ~
git clone https://github.com/SmartFlowAI/Llama3-XTuner-CN

安装 XTuner 时会自动安装其他依赖


cd ~
git clone -b v0.1.18 https://github.com/InternLM/XTuner
cd XTuner
pip install -e .

运行 web_demo.py


streamlit run ~/Llama3-XTuner-CN/tools/internstudio_web_demo.py \
  ~/model/Meta-Llama-3-8B-Instruct

ubuntu版: sudo apt-get install git-lfs
centeros:sudo yum install git-lfs

pip install -e . 是 pip 命令的一种使用方式，它表示在当前目录下安装一个可编辑包。具体含义如下：

pip 是 Python 的软件包管理器，用于安装、卸载和管理 Python 包；
install 是 pip 命令的一个子命令，用于安装 Python 包；
-e 表示使用可编辑模式安装包，即把包安装到当前目录，并且可以通过编辑包代码实时调试；
. 表示安装当前目录下的包。
因此，pip install -e . 的含义是：在当前目录下安装一个包，并创建一个软连接引用该包（而不是将包复制到 site-packages 目录下）。这个软连接是一个指向包代码的符号链接，它可以使包的修改直接反映到当前目录下的项目中，从而方便开发和调试。需要注意的是，只有包含 setup.py 文件（Python 包的打包脚本）的包才能使用 pip install -e . 命令安装。另外，为了避免环境冲突，建议在虚拟环境中使用该命令。

VSCode 远程连接 InternStudio 开发机

我们可以使用 Ctrl + Shift + ~ 快捷键打开 vscode 终端，然后点击右边的 Ports 界面，接着点击 Foward a Port 按钮。

自我认知训练数据集准备


cd ~/Llama3-Tutorial
python tools/gdata.py

启动API服务器

命令行客户端连接API服务器

使用Gradio作为前端，启动网页客户端。

整整跑了1个小时。。。牛逼

实际测试最下面，跟官方测试差异部分，可能是KV Cache 太小缘故

使用LMDeploy运行视觉多模态大模型Llava-Llama-3

安装依赖

pip install git+https://github.com/haotian-liu/LLaVA.git

运行模型

python pipeline_llava.py


from lmdeploy import pipeline, ChatTemplateConfig
from lmdeploy.vl import load_image
pipe = pipeline('xtuner/llava-llama-3-8b-v1_1-hf',
                chat_template_config=ChatTemplateConfig(model_name='llama3'))
 
image = load_image('https://raw.githubusercontent.com/open-mmlab/mmdeploy/main/tests/data/tiger.jpeg')
response = pipe(('describe this image', image))
print(response.text)

在显示下面的内容后，就表示已经转换好了。转换好的数据位于 ~/Agent-FLAN/data_converted

微调启动，这个时间貌似非常久要2天

xtuner train ~/Llama3-Tutorial/configs/llama3-agentflan/llama3_8b_instruct_qlora_agentflan_3e.py --work-dir ~/llama3_agent_pth --deepspeed deepspeed_zero2

可以用微调好的现场的权重文件


export MKL_SERVICE_FORCE_INTEL=1
xtuner convert merge /root/model/Meta-Llama-3-8B-Instruct \
    /share/new_models/agent-flan/iter_2316_hf \
    ~/llama3_agent_pth/merged

oepncompass 评测


下载数据集到 data/ 处
wget https://github.com/open-compass/opencompass/releases/download/0.2.2.rc1/OpenCompassData-core-20240207.zip
unzip OpenCompassData-core-20240207.zip