当前位置:   article > 正文

配深度学习环境要注意的不多,也就

配深度学习环境要注意的不多,也就

1. 使用nvcc -V命令查看cuda版本,再在官网选择对应版本的pytorch。(是的不要根据python的版本去选择pytorch指令)

2. 用conda安装pytorch可能一直有cpuonly的玄学问题。(哪怕选择的是CUDA版本的pytorch安装命令)改用pip安装或者去https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/linux-64/

下载下安装包后自己 conda install --use-local xxx.tar.bz2 

3. torchtext不会被顺带安装,要安装完pytorch之后pip安装指定版本的。

4. miniconda下一个的安装包默认是在当前的虚拟环境,可以用conda list查看当前环境已经安装的包。

5. 安装torchtext的时候如果torchtext和pytorch版本不一致,哪怕是第二个小数点后的版本不一致,pytorch也会被重新安装。torchtext 0.9.1 和 pytorch 1.8.1刚好对应。妙哉。

6. 有三种安装方式,优先级如下: mamba > conda > pip

7. pip install一个包,若环境中已存在这个包的其他版本(无论高或低),那么会在安装完成后卸载掉。

8. 不要过分迷信官网给的安装指令。pytorch官网中给的安装命令中有的包括torchvision,torchaudio,但是如果不做视觉、声音方面的东西,后面两个包根本没用嘛,比如我做序列处理,需要的torchtext反而没被安装。我先安装torchtext,再安装pytorch才把一篇论文中的模型复现的。

9. 打印CUDA_VISIBLE_DEVICES这个环境变量看看(echo $CUDA_VISIBLE_DEVICES),显示的是你可以用哪几块GPU,如果结果是2,3,那么你在程序中写的gpu_ranks:0实际上是第二块GPU。这也是为什么明明GPU显存看上去很够用,但是报错CUDA out of memory.

比较好的方式是在运行前使用nvidia-smi查看哪几块卡显存充足,再在程序开头加上os.environ["CUDA_VISIBLE_DEVICES"] = '0,1,2,3'

10. 不要忽视包的版本号透露的信息,例如

 py3.7_cuda11.3 表示当前环境下的python应当是3.7版,cudatoolkit应该是11.3版。

cudatoolkit 的版本应该根据nvcc -V 的结果

11. $CUDA_HOME 一般等于/usr/local/cuda-11.1(对应nvcc -V) 11.1可能是别的

12. ModuleNotFoundError 所提示的模块名 有时需要将下划线(_)换成短横线(-)才能安装

例如

ModuleNotFoundError: No module named 'cpm_kernels'

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/盐析白兔/article/detail/886207
推荐阅读
相关标签
  

闽ICP备14008679号