千问Qwen7B chat：本地部署及网页端使用_qwen-7b-chat部署

作者：盐析白兔 | 2024-07-31 10:29:50

踩

qwen-7b-chat部署

基于前面的安装经验，千问大模型的本地部署并不算难，主要时间用在大模型文件的下载上。同时系统运行对硬件也有较高的要求，本机的硬件配置为N卡3060，显存12G。

Python 3.9.18

CUDA 12.1

pytorch 2.2.2

2. 克隆代码到本地

git clone https://github.com/QwenLM/Qwen.git

3. 进入Qwen目录，执行安装命令

# 安装依赖

pip install -r requirements.txt

# 安装 web_demo 依赖

pip install -r requirements_web_demo.txt

4. 运行命令

python web_demo.py --server-port 8087 --server-name "0.0.0.0"

会下载很多模型文件，需要一点时间。下载完成后启动界面如下

在输入框里输入沟通内容“你是谁”。我们看一下后台输出：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/盐析白兔/article/detail/908435