百川baichuan2-7B-Chat-int4量化 Windows部署记录_百川2-7b gpu安装

记录一下自己遇到过的问题：

1. 首先参考的是如下的部署教程：
大模型部署手记（2）baichuan2+Windows GPU_张小白TWO的博客-CSDN博客
Baichuan-13B-Chat本地部署 - 知乎
win10 Baichuan2-7B-Chat-4bits 上部署 百川2-7B-对话模型-4bits量化版-CSDN博客
AI免费开源语言模型百川Baichuan2代下载安装部署教程-openAI维基百科

2. 然后发现直接安装requirements的话，torch会装成cpu版的，所以我首先用命令行安装了torch2.0.1+cu118。
PyTorch安装（CPU版本和CPU版本）——解决pip安装下载速度慢慢慢慢慢的问题-CSDN博客

3.  然后发现xformers一直版本不匹配，这个其实和2是一个问题，因为之前的torch版本没有装对，所以xformers一直有问题，所以也算是一起解决了。

4. deepspeed第三方库无法直接安装，因为本身是针对Linux平台的，github官网上提供了源码和Windows平台的安装指令，我安装过程中遇到了问题，用下方文章提到的办法解决了。
ps：官网说Windows即使安装了也只支持推理模型，我使用的的确只有推理模块，所以目前为止安装成功后没有问题
如何在window10安装DeepSpeed chat（补充编译报错C2398部分）_deepspeed安装-CSDN博客
Win11系统下安装Deepspeed报错处理_vah101的博客-CSDN博客

5. 重新运行后发现还是有报错，这次变成了

raise RuntimeError('''
RuntimeError:
CUDA Setup failed despite GPU being available. Inspect the CUDA SETUP outputs above to fix your environment!
''')

 然后查了发现应该是bitsandbytes第三方库的问题，同样还是Linux和Windows的问题，虽然直接pip可以安装bitsandbytes的Windows版，但是版本太低，还是会报错，继续搜索，最终在下方链接中找到最新的bitsandbytes for Windows版本，安装后该问题解决。
在部署大模型时，bitsandbytes报CUDA相关错，解决方案 - 知乎
使用 Baichuan2-13B-Chat-4bits 模型报错 · Issue #35 · baichuan-inc/Baichuan2 · GitHub

6. 再次运行，这次的错误如下所示：
AttributeError: 'BaichuanTokenizer' object has no attribute 'sp_model'
查询后在该issue中找到了解决方法：
AttributeError: 'BaichuanTokenizer' object has no attribute 'sp_model' · Issue #204 · baichuan-inc/Baichuan2 · GitHub

7. 最终运行 python cli_demo.py ，就能跑起来了。

最后附上我的conda list：

accelerate                0.24.1                   pypi_0    pypi
altair                    5.2.0                    pypi_0    pypi
attrs                     23.1.0                   pypi_0    pypi
bitsandbytes              0.41.1                   pypi_0    pypi
bitsandbytes-windows      0.37.5                   pypi_0    pypi
blinker                   1.7.0                    pypi_0    pypi
bzip2                     1.0.8                he774522_0    http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
ca-certificates           2023.08.22           haa95532_0    http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
cachetools                5.3.2                    pypi_0    pypi
certifi                   2023.11.17               pypi_0    pypi
charset-normalizer        3.3.2                    pypi_0    pypi
click                     8.1.7                    pypi_0    pypi
colorama                  0.4.6                    pypi_0    pypi
cpm-kernels               1.0.11                   pypi_0    pypi
filelock                  3.13.1                   pypi_0    pypi
fsspec                    2023.10.0                pypi_0    pypi
gitdb                     4.0.11                   pypi_0    pypi
gitpython                 3.1.40                   pypi_0    pypi
huggingface-hub           0.19.4                   pypi_0    pypi
idna                      3.6                      pypi_0    pypi
importlib-metadata        6.8.0                    pypi_0    pypi
jinja2                    3.1.2                    pypi_0    pypi
jsonschema                4.20.0                   pypi_0    pypi
jsonschema-specifications 2023.11.1                pypi_0    pypi
libffi                    3.4.4                hd77b12b_0    http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
markdown-it-py            3.0.0                    pypi_0    pypi
markupsafe                2.1.3                    pypi_0    pypi
mdurl                     0.1.2                    pypi_0    pypi
mpmath                    1.3.0                    pypi_0    pypi
mypy-extensions           1.0.0                    pypi_0    pypi
networkx                  3.2.1                    pypi_0    pypi
numpy                     1.23.5                   pypi_0    pypi
openssl                   3.0.12               h2bbff1b_0    http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
packaging                 23.2                     pypi_0    pypi
pandas                    2.1.3                    pypi_0    pypi
pillow                    10.1.0                   pypi_0    pypi
pip                       23.3.1          py310haa95532_0    http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
protobuf                  4.25.1                   pypi_0    pypi
psutil                    5.9.6                    pypi_0    pypi
pyarrow                   14.0.1                   pypi_0    pypi
pydeck                    0.8.1b0                  pypi_0    pypi
pygments                  2.17.2                   pypi_0    pypi
pyre-extensions           0.0.29                   pypi_0    pypi
python                    3.10.13              he1021f5_0    http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
python-dateutil           2.8.2                    pypi_0    pypi
pytz                      2023.3.post1             pypi_0    pypi
pyyaml                    6.0.1                    pypi_0    pypi
referencing               0.31.0                   pypi_0    pypi
regex                     2023.10.3                pypi_0    pypi
requests                  2.31.0                   pypi_0    pypi
rich                      13.7.0                   pypi_0    pypi
rpds-py                   0.13.1                   pypi_0    pypi
safetensors               0.4.1                    pypi_0    pypi
scipy                     1.11.3                   pypi_0    pypi
sentencepiece             0.1.97                   pypi_0    pypi
setuptools                68.0.0          py310haa95532_0    http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
six                       1.16.0                   pypi_0    pypi
smmap                     5.0.1                    pypi_0    pypi
sqlite                    3.41.2               h2bbff1b_0    http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
streamlit                 1.28.2                   pypi_0    pypi
sympy                     1.12                     pypi_0    pypi
tenacity                  8.2.3                    pypi_0    pypi
tk                        8.6.12               h2bbff1b_0    http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
tokenizers                0.15.0                   pypi_0    pypi
toml                      0.10.2                   pypi_0    pypi
toolz                     0.12.0                   pypi_0    pypi
torch                     2.0.1+cu118              pypi_0    pypi
tornado                   6.4                      pypi_0    pypi
tqdm                      4.66.1                   pypi_0    pypi
transformers              4.35.2                   pypi_0    pypi
transformers-stream-generator 0.0.4                    pypi_0    pypi
typing-extensions         4.8.0                    pypi_0    pypi
typing-inspect            0.9.0                    pypi_0    pypi
tzdata                    2023.3                   pypi_0    pypi
tzlocal                   5.2                      pypi_0    pypi
urllib3                   2.1.0                    pypi_0    pypi
validators                0.22.0                   pypi_0    pypi
vc                        14.2                 h21ff451_1    http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
vs2015_runtime            14.27.29016          h5e58377_2    http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
watchdog                  3.0.0                    pypi_0    pypi
wheel                     0.41.2          py310haa95532_0    http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
xformers                  0.0.22                   pypi_0    pypi
xz                        5.4.2                h8cc25b3_0    http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
zipp                      3.17.0                   pypi_0    pypi
zlib                      1.2.13               h8cc25b3_0    http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main