如何开发一个基于通义千问-14B的对话应用_通义千问开发

目录

一：开发流程

二：安装

---

一：开发流程

1：安装环境

需要安装python依赖环境

2：配置项目

我们利用Langchain-Chatchat和Qwen1.5-14B-Chat-GPTQ-Int4来实现一个对话项目应用

3：启动项目

二：安装

1：安装环境

初始化一个python环境：

conda create -n qwen-chat python=3.11.7 

>activate qwen-chat   

安装CUDA ：

https://developer.nvidia.com/cuda-toolkit-archive

安装模型推理引擎我们使用的基于Transformers的Qwen ，需要安装Transformers 

这里安装Qwen 1.5版本的

pip install transformers==4.37.2

安装量化库:

pip install auto-gptq==0.6.0 --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu118/

我这里显卡是118版本的

安装pytorch:

pip install torch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1 --ind