qwen72b-int4踩坑记录 ubuntu18.4 A100_qwen 72b int

1、安装cuda、gpu驱动、torch

直接安装cuda多次尝试失败！，不要勾选安装驱动！

gpu驱动可以系统自己安装！

torch使用cuda方式，比pip好用

2、qwen对版本要求严格：

未同步版本前，报显存错误

预编译auto-gptq版本对torch版本及其CUDA版本要求严格

统一cuda12.1版本，完美支持

3、加速推理flash attention 2

直接使用pip安装

提前安装ninja，否则编译过程会持续很长时间，pip install flash-attn --no-build-isolation
继续安装如下，不然依旧会报警告！

# 下方安装可选，安装可能比较缓慢。
# pip install csrc/layer_norm
# 如果flash-attn版本高于2.1.1，下方无需安装。
# pip install csrc/rotary