LLama3 大模型安装配置详细步骤_llama3-8b 模型下载安装 git clone

 

本地生成 SSH Key

ssh-keygen

 

cat ~\.ssh\id_rsa.pub

 

 添加成功

 

ssh -p 46090 root@ssh.intern-ai.org.cn -CNg -L 7860:127.0.0.1:7860 -o StrictHostKeyChecking=no

 

环境配置

conda create -n llama3 python=3.10
conda activate llama3
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia

安装 git-lfs 依赖  git-lfs install git-lfs 是 Git Large File Storage 的缩写，是 Git 的一个扩展，用于处理大文件的版本控制。

conda install git-lfs
git-lfs install

下载模型 （InternStudio 中不建议执行这一步）

mkdir -p ~/model
cd ~/model
git clone https://code.openxlab.org.cn/MrCat/Llama-3-8B-Instruct.git Meta-Llama-3-8B-Instruct

或者软链接 InternStudio 中的模型

ln -s /root/share/new_models/meta-llama/Meta-Llama-3-8B-Instruct ~/model/Meta-Llama-3-8B-Instruct

Web Demo 部署

cd ~
git clone https://github.com/SmartFlowAI/Llama3-XTuner-CN

安装 XTuner 时会自动安装其他依赖

cd ~
git clone https://github.com/SmartFlowAI/Llama3-XTuner-CN

安装 XTuner 时会自动安装其他依赖

cd ~
git clone -b v0.1.18 https://github.com/InternLM/XTuner
cd XTuner
pip install -e .

运行 web_demo.py

streamlit run ~/Llama3-XTuner-CN/tools/internstudio_web_demo.py \
  ~/model/Meta-Llama-3-8B-Instruct

ubuntu版: sudo apt-get install git-lfs
centeros:sudo yum install git-lfs

pip install -e . 是 pip 命令的一种使用方式，它表示在当前目录下安装一个可编辑包。具体含义如下：

pip 是 Python 的软件包管理器，用于安装、卸载和管理 Python 包；
install 是 pip 命令的一个子命令，用于安装 Python 包；
-e 表示使用可编辑模式安装包，即把包安装到当前目录，并且可以通过编辑包代码实时调试；
. 表示安装当前目录下的包。
因此，pip install -e . 的含义是：在当前目录下安装一个包，并创建一个软连接引用该包（而不是将包复制到 site-packages 目录下）。这个软连接是一个指向包代码的符号链接，它可以使包的修改直接反映到当前目录下的项目中，从而方便开发和调试。需要注意的是，只有包含 setup.py 文件（Python 包的打包脚本）的包才能使用 pip install -e . 命令安装。另外，为了避免环境冲突，建议在虚拟环境中使用该命令。

VSCode 远程连接 InternStudio 开发机

我们可以使用 Ctrl + Shift + ~ 快捷键打开 vscode 终端，然后点击右边的 Ports 界面，接着点击 Foward a Port 按钮。

 

自我认知训练数据集准备

cd ~/Llama3-Tutorial
python tools/gdata.py 

 

Llama3-Tutorial/docs/hello_world.md at main · SmartFlowAI/Llama3-Tutorial · GitHub