第十三篇-Tesla P40+ModelScope+Gradio+QWen-14B-Int4_tesla p40 是否支持q4量化

本文主要实现Qwen-14B-Chat-Int4部署与测试
1

环境

  系统：CentOS-7
  CPU: 14C28T
  显卡：Tesla P40 24G
  驱动: 515
  CUDA: 11.7
  cuDNN: 8.9.2.26
1
2
3
4
5
6

创建环境

conda create --name modelscope python=3.10

conda activate modelscope
1
2
3

克隆项目

git clone https://github.com/lvxy/qwen-chat-gradio.git
cd qwen-chat-gradio
1
2

安装依赖-1

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
1

安装依赖-2

pip install auto-gptq optimum -i https://pypi.tuna.tsinghua.edu.cn/simple
1

下载模型

python down-models-qwen-14b-int4.py
可以在他服务器下载，这个是modelscope源(国内)，速度还是非常好的
1
2

运行

修改 服务器模型文件位置
1

cd qwen-14b-int4
python run-qwen-14b-int4-chat.py
1
2

访问使用

    http://127.0.0.1:7860
1

可以使用体验了

内存与性能

内存消耗在11G~16G
P40太差，速度还是比较慢的，”写一篇100字的关于大山的作文“ 大概35秒返回
1
2