安装flash-attention失败的终极解决方案_building wheels for collected packages: flash-attn

安装大语言模型的时候，有时候需要安装flash-attention来加速。比如说通义千问里的安装方法：
git clone https://github.com/Dao-AILab/flash-attention
cd flash-attention && pip install .

我们经常安着安着就卡住了，比如说下面的进度：
Requirement already satisfied: mpmath>=0.19 in /root/anaconda3/envs/QWEN/lib/python3.10/site-packages (from sympy->torch->flash-attn) (1.3.0)
Building wheels for collected packages: flash-attn
  Building wheel for flash-attn (setup.py) 
等好久都没反应。

后来找到https://github.com/Dao-AILab/flash-attention，在这里找到了答案，原来要先安装ninja。然后运行ninja --version和echo $?。
如果你运行了echo $?之后返回不是0，需要卸载ninja重新安装。直到echo $?之后返回0。
pip install flash-attn --no-build-isolation再次迎来一段等待。结果报错如下：

  Building wheel for flash-attn (setup.py) ... error
  error: subprocess-exited-with-error
  
  × python setup.py bdist_wheel did not run successfully.
  │ exit code: 1
  ╰─> [9 lines of output]
      fatal: not a git repository (or any of the parent directories): .git
      
      
      torch.__version__  = 2.2.0+cu121
      
      
      running bdist_wheel
      Guessing wheel URL:  https://github.com/Dao-AILab/flash-attention/releases/download/v2.5.2/flash_attn-2.5.2+cu122torch2.2cxx11abiFALSE-cp310-cp310-linux_x86_64.whl
      error: <urlopen error [Errno 110] Connection timed out>
      [end of output]
  
  note: This error originates from a subprocess, and is likely not a problem with pip.
  ERROR: Failed building wheel for flash-attn
  Running setup.py clean for flash-attn
Failed to build flash-attn

（补充一句，如果你的torch不是 2.2.0+cu121。那还得安装 2.2.0+cu121 这个版本）

看来是网络超时，加上代理，重新 pip install https://github.com/Dao-AILab/flash-attention/releases/download/v2.5.2/flash_attn-2.5.2+cu122torch2.2cxx11abiFALSE-cp310-cp310-linux_x86_64.whl的方式来安装。最后成功。

总结如下：
1、默认pip flash-attn 的时候，如果你之前没安装ninja，那就要等几个小时（GitHub上说是2小时）。
2、安装了ninja还要用echo $?来检测ninja是否正常。
3、正常的情况下。报了error: <urlopen error [Errno 110] Connection timed out>。说明网络超时，你还得用代理来pip这个链接。这才能安装上flash-attn。

这就是flash-attn安装的艰辛过程。