赞
踩
目录
1:安装环境
需要安装python依赖环境
2:配置项目
我们利用Langchain-Chatchat和Qwen1.5-14B-Chat-GPTQ-Int4来实现一个对话项目应用
3:启动项目
1:安装环境
初始化一个python环境:
conda create -n qwen-chat python=3.11.7
>activate qwen-chat
安装CUDA :
https://developer.nvidia.com/cuda-toolkit-archive
安装模型推理引擎我们使用的基于Transformers的Qwen ,需要安装Transformers
这里安装Qwen 1.5版本的
pip install transformers==4.37.2
安装量化库:
pip install auto-gptq==0.6.0 --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu118/
我这里显卡是118版本的
安装pytorch:
pip install torch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1 --ind
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。