从 0 到 1 安装运行 Qwen2_python cuda 运行qwen2 gguf

环境信息：
PyTorch 2.0.0
Python 3.8(ubuntu20.04)
Cuda 11.8
RTX 3090(24GB) * 1
模型
/home/zhangwei/llm
源码
/usr/local/project/conda/Qwen/Qwen

mkdir -p /root/autodl-tmp/usr/local/project/conda/Qwen  #【用来存放Qwen2源码】
mkdir -p /root/autodl-tmp/home/zhangwei/llm  #【用来存放Qwen2模型】


cd  /root/autodl-tmp/usr/local/project/conda/Qwen #【进入文件夹】
git clone https://github.com/QwenLM/Qwen2.git #[下载Qwen源码】

cd /root/autodl-tmp/usr/local/project/conda/Qwen/Qwen

pip install -r requirements.txt

pip install -r requirements_web_demo.txt

cd  /root/autodl-tmp/home/zhangwei/llm #【进入模型文件夹】

#安装modelscope
pip install modelscope opencv-python

#下载模型
modelscope download --model 'qwen/Qwen2-7B-Instruct'  --cache_dir '/root/autodl-tmp/home/zhangwei/llm'
#下载模型
modelscope download --model 'qwen/Qwen2-72B-Instruct-GPTQ-Int4'  --cache_dir '/root/autodl-tmp/home/zhangwei/llm'

#如果提示缺AutoGPTQ就安装AutoGPTQ，cuda 11.7
#对于 CUDA 11.7： 
pip install auto-gptq --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu117/
#对于 CUDA 11.8： 
pip install auto-gptq --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu118/
#对于 RoCm 5.4.2： 
pip install auto-gptq --extra-index-url https://huggingface.github.io/autogptq-index/whl/rocm542/

#运行时选择自己想要用的模型
#提示缺什么就用pip装什么，需要注意的是版本 cuda 、python 等版本的兼容问题
#web运行
#--server-port 指定运行端口
#--server-name 指定 IP
#-c 指定模型目录
python web_demo.py --server-port 6006 --server-name 0.0.0.0 -c /root/autodl-tmp/home/zhangwei/llm/qwen/Qwen2-7B-Instruct 

#命令行运行
#-c 指定模型目录
python cli_demo.py -c /root/autodl-tmp/home/zhangwei/llm/qwen/Qwen2-7B-Instruct 




1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49