手把手教你在autodl上部署llama模型_autodl ollama部署

一、注册AutoDL账号、租用GPU

进入 AutoDL官网链接 注册账号，需要先充点钱，如下创建新实例。

随便选择一张3090创建实例即可，镜像可以按照如下选择

点击进入JupyterLab

二、创建conda环境

进入终端，如图：

依次执行以下代码,最后一行代码运行时间稍长，耐心等待即可。

cd autodl-tmp

conda create -n llama3 python=3.10

source activate

conda activate llama3

conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia
1
2
3
4
5
6
7
8
9

创建成功即如图所示，注意检查如下标注的两个地方是否一致！！！

补充下载一些库，不然后面会报错，依旧是在终端依次执行

pip install modelscope

pip install packaging

pip install streamlit

pip install 'transformers==4.41.2'
1
2
3
4
5
6
7

三、下载llama模型

下载Llama3-Tutorial，继续在终端执行如下代码。

git clone https://github.com/SmartFlowAI/Llama3-Tutorial
1

点击进入左边autodl-tmp文件夹，创建一个新的python文件，命名为down.py

通过SDK从魔塔下载模型，复制如下代码粘贴进down.py文件中，记得crtl+s保存

import torch 
from modelscope import snapshot_download
import os
 
model_dir = snapshot_download('LLM-Research/Meta-Llama-3-8B-Instruct',cache_dir='/root/autodl-tmp', revision='master')
1
2
3
4
5

返回终端运行下面的代码，运行时间较长，耐心等待即可

python down.py
1

如下图所示便是执行成功

通过软链接把下载文件映射到model文件夹，在终端执行下面的代码。

ln -s /root/autodl-tmp/LLM-Research/Meta-Llama-3-8B-Instruct /root/autodl-tmp/model
1

检查一下/root/autodl-tmp-model/路径下是否有Meta-Llama-3-8B-Instruct文件夹。

四、启动模型

在终端执行下面代码。

streamlit run /root/autodl-tmp/Llama3-Tutorial/tools/internstudio_web_demo.py /root/autodl-tmp/model/Meta-Llama-3-8B-Instruct
1

如下便是执行成功。

JupyterLab保持开启，返回AutoDL控制台页面，记住登录指令和密码，之后都要用到。

• 我的登录指令：ssh -p 50301 root@connect.yza1.seetacloud.com

根据登录指令和JupyterLab中最后输出的Local URL编写一段指令

• 8501即Local URL的最后四位（可能需要修改）
• root@connect.yza1.seetacloud.com来自于你的登录指令（可能需要修改）
• 50301也是来自于你的登录指令（一定需要修改）

检查一下上面两个对应是否正确，按照自己的环境来修改下面这行代码

ssh -CNg -L 8501:127.0.0.1:8501 root@connect.yza1.seetacloud.com -p 50301
1

返回自己的电脑，按住Win+R，打开cmd，将上述修改后的代码复制进去,回车出现下列提示，接下来把AutoDL中的密码复制进去，crtl+v之后仍然没有显示密码出来是正常的，接着按回车即可。

打开浏览器，输入127.0.0.1：8501出现如下页面即部署完成。

参考借鉴：在AutoDL平台上运行Meta-Llama-3-8B-Instruct模型