大模型部署手记（2）baichuan2+Windows GPU_百川大模型私有化部署

1.简介

组织机构：百川智能（前搜狗CEO王小川创立）

代码仓：GitHub - baichuan-inc/Baichuan2: A series of large language models developed by Baichuan Intelligent Technology

模型：baichuan-inc/Baichuan2-7B-Chat-4bits

下载：https://huggingface.co/baichuan-inc/Baichuan2-7B-Chat-4bits

镜像下载：https://aliendao.cn/models/baichuan-inc/Baichuan2-7B-Chat-4bits

硬件环境：暗影精灵7Plus

Windows版本：Windows 11家庭中文版 Insider Preview 22H2

内存 32G

GPU显卡：Nvidia GTX 3080 Laptop （16G）

参考资料：https://zhuanlan.zhihu.com/p/658999248

2.代码和模型下载

下载代码仓：

git clone GitHub - baichuan-inc/Baichuan2: A series of large language models developed by Baichuan Intelligent Technology

打开 https://huggingface.co/baichuan-inc/Baichuan2-7B-Chat-4bits 下载模型

并将其拷贝到 d:\Baichuan2\baichuan-inc\Baichuan2-7B-Chat-4bits 目录

3.安装依赖

创建conda环境

conda create -n baichuan2 python=3.10

conda activate baichuan2

cd Baichuan2

安装量化包：

pip install bitsandbytes --prefer-binary --extra-index-url=https://jllllll.github.io/bitsandbytes-windows-webui

安装Pytorch 2.0.1 for CUDA

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

安装加速包：

pip install xformers

将代码 cli_demo.py 改成4bit量化的模型：

d:

cd d:\Baichuan2

pip install -r requirements.txt

4.部署验证

运行命令行模式：

python cli_demo.py

做一些简单的交互：

修改web_demo.py文件：

运行网页模式：

python web_demo.py

这里好像哪里不对，但是系统提示可以使用streamlit运行：

streamlit run web_demo.py

系统自动打开浏览器：

做一些简单的交互：

（全文完，谢谢阅读）