当前位置:   article > 正文

Win10/11机器学习环境搭建—python、pycharm、anaconda、pytorch_gpu、tensorflow_gpu、Jupyter Notebook_anaconda+cuda+cudnn+tensorflow+pytorch+pycharm+win

anaconda+cuda+cudnn+tensorflow+pytorch+pycharm+win10深度学习环境

目录

Python-Anaconda- CUDA-cudnn-Torch- Tensorflow-显卡驱动-版本对应关系

Anaconda下载、安装和运行

【问题】'conda' 不是内部或外部命令,也不是可运行的程序或批处理文件

Anaconda常用指令 

Anaconda创建虚拟环境

Anaconda下载源更换为国内源

Anaconda虚拟环境中安装CUDA

【问题】CUDA driver initialization failed

Anaconda安装pytorch_gpu

Anaconda安装tensorflow_gpu

Jupyter notebook中添加虚拟环境

修改Jupyter Notebook默认的工作目录 

指定文件夹打开Jupyter Notebook

pycharm下载安装

pycharm创建工程

pycharm给项目添加虚拟环境

pycharm安装新模块

【问题】pycharm无法导入本地模块


我的W10电脑软件版本:
        Python 3.7.0
        pycharm 2020.1
        anaconda3_5.3.0_4.5.11
        pytorch环境:python3.7,Torchvision0.12.0,pytorch1.11.0,CUDA 11.3,cudnn 8.2.1,

我的W11电脑软件版本:
        Python 3.7.1
        pycharm 2020.1.3
        anaconda3_5.3.0_4.5.11
        pytorch环境:python3.7,Torchvision0.12.0,pytorch-gpu1.11.0,CUDA 11.3,cudnn 8.2.1,
        tensorflow环境:python3.7,tensorflow-gpu2.6.0,CUDA 11.2,cudnn 8.1,

Python-Anaconda- CUDA-cudnn-Torch- Tensorflow-显卡驱动-版本对应关系

Anaconda & python 版本对应关系

CUDA & 显卡驱动 版本对应关系

(尤其对于早些年的电脑虚拟环境安装的CUDA版本过高,但显卡驱动不够高级)

CUDA & torch 版本对应关系(安装pytorch时指定CUDA版本)

https://img-blog.csdnimg.cn/418aba5ca5684528aca6b43de3b2e224.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBATG9uZWx5IFBsYW5ldC4=,size_11,color_FFFFFF,t_70,g_se,x_16

pytorch & torchvision & Python 版本对应关系

https://img-blog.csdnimg.cn/e43f9ff4d1c04e249496ca38ebc2010f.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBATG9uZWx5IFBsYW5ldC4=,size_12,color_FFFFFF,t_70,g_se,x_16

Tensorflow_gpu & python & CUDA & cudnn 版本对应关系

Anaconda下载、安装和运行

【Anaconda安装教程】Anaconda安装教程

【Anaconda官方下载地址】Index of /

【Anaconda镜像下载地址】清华大学开源软件镜像站

注意版本对应关系,我安装的python3.7,对应anaconda3-5.3.0anaconda & python 版本关系

关键安装步骤:

  

【问题】'conda' 不是内部或外部命令,也不是可运行的程序或批处理文件

【原因】:环境变量没有添加或者少添加造成的

【解决办法】

W10:我的电脑→右键属性→高级系统设置→环境变量→系统变量→Path→双击进入→新建→浏览→找到Anaconda和Scripts的路径添加,然后点击确定就好了。

W11:打开运行【Win+R】,输入【sysdm.cpl】,回车。

添加好环境变量后查看conda版本

Anaconda常用指令 

创建虚拟环境        conda create -n xxx python=3.7
激活虚拟环境        conda activate xxx
查看所有环境        conda info --env
查看安装的包        conda list
退出虚拟环境        conda deactivate
删除虚拟环境        conda remove -n xxx --all
更新所有库            conda update --all
更新conda自身      conda update conda

anaconda换源:
制定清华的源:
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
显示源地址:       conda config --set show_channel_urls yes

安装第三方包:    pip install xxx
                             conda install xxx

更新第三方包:    pip install --upgrade xxx
                             conda update xxx

删除第三方包:    pip uninstall xxx
                             conda uninstall xxx

如果安装的时候是用pip安装的,那么删除的时候也要用pip。 同理,用conda安装的要用conda指令来删除。

Anaconda创建虚拟环境

1、打开Anaconda Prompt

2、创建虚拟环境,命名为taidi

输入:conda create -n XXX python=3.7(xxx为自定义环境名字、3.7为Python版本)

3、激活虚拟环境 activate taidi

4、anaconda虚拟环境安装新模块

在该虚拟环境中输入” conda install xxx”(xxx为需要安装的模块)

Anaconda下载源更换为国内源

没有.condarc文件输入以下命令

conda config --set show_channel_urls yes

【法一】手动修改anaconda下载源的配置文件

anaconda | 镜像站使用帮助 | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

用记事本打开.condarc文件" C:\Users\用户名\.condarc",将框中所有代码复制到.condarc文件中

【法二】使用anaconda添加下载源的命令来进行相应的下载源的添加。

打开anaconda输入以下命令(我的W11用http://开头)

  1. conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  2. conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
  3. conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
  4. conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
  5. conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro/
  6. conda config --set show_channel_urls yes

【国内可用的anaconda下载源】opencv_fjc的博客

阿里云                     http://mirrors.aliyun.com/pypi/simple/
中国科技大学          https://pypi.mirrors.ustc.edu.cn/simple/
豆瓣(douban)          http://pypi.douban.com/simple/
清华大学                 https://pypi.tuna.tsinghua.edu.cn/simple/
中国科学技术大学   http://pypi.mirrors.ustc.edu.cn/simple/

【问题】W11一打开anaconda弹出错误报告ERROR REPORT,删除添加的源用默认即可。

【注意】
1、2022.6.27-W11清华源中没有pytorch的GPU版本,用科大源,或者默认。
2、安装过一个台式机镜像链接后要补充完整win-64/
3、有时需要删除.condarc文件中的 - defaults
4、安装matplotlib包下载慢,换成清华源就好了
        pip install -i https://pypi.tuna.tsinghua.edu.cn/simple matplotlib

Anaconda虚拟环境中安装CUDA

Anaconda虚拟环境中安装CUDA

如何查看cuda的版本?

当我们运行不同的代码时,可能会用到不同版本的Pytorch/Tensorflow,不同版本的Pytorch/Tensorflow在使用GPU时,对应不同的CUDA版本,这时候就需要安装不同的CUDA版本。
在系统中安装多个版本的CUDA,比较麻烦,这时候就可以在虚拟环境里面直接安装CUDA。 

  1. 创建虚拟环境:conda create -n XXX python=3.X
  2. 激活虚拟环境:source activate XXX
  3. 安装Pytorch/Tensorflow的GPU版本
  4. 验证是否安装成功(在安装pytorch/ Tensorflow后验证)

注意: Python版本要和CUDA版本相对应
# 安装CUDA和cudn

  1. conda install cudatoolkit=11.3     # 指定版本CUDA11.3
  2. conda install cudnn=8.2            # 指定版本cudnn8.2,也可不指定版本

指定搜索包的路径,速度会更快
# 安装CUDA

conda install cudatoolkit=11.3 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/win-64/

# 安装cudn

conda install cudnn=8.2 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ win-64/

安装之后的 CUDA 和 cudnn 会存放在虚拟环境的 lib 文件夹 或者 include 文件夹里面。

【在安装torch_gpu或tensorflow_gpu后验证CUDA是否安装成功】
# Pytorch

  1. import torch
  2. print(torch.cuda.is_available())

# Tensorflow

  1. import tensorflow as tf
  2. print(tf.test.is_gpu_available())

CondaHTTPError: HTTP 000 CONNECTION FAILED for url 
【解决办法】https://blog.csdn.net/qq_35831906/article/details/124189786

【问题】CUDA driver initialization failed

安装好CUDA和cudnn后提示错误,无法使用

这里需要注意CUDA需要对应合适版本的显卡驱动,我的CUDA=11.3,那么我的显卡驱动版本就要>=452.39

【查看显卡驱动版本】

方案一:在cmd下使用nvidia-smi命令,如图
Windows NVIDIA Corporation下没有NVSMI文件夹解决方法

方案二:直接打开NVIDIA控制面板查看

查看到我的显卡驱动版本过低,这时需要升级驱动
window10系统英伟达NVIDIA显卡驱动和CUDA软件的安装和升级

升级驱动版本到457.51

然后验证CUDA是否可以正常使用

import torch
print(torch.cuda.is_available)

Anaconda安装pytorch_gpu

注:需要先安装pytorch对应版本的CUDA

【pytorch安装视频教程】pytorch安装视频教程

【pytorch官网】PyTorch

【离线下载包】

https://download.pytorch.org/whl/torch_stable.html
  1. // 然后用 pip install 命令安装
  2. pip install torch-1.11.0+cu113-cp37-cp37m-win_amd64.whl
  3. pip install torchvision-0.12.0+cu113-cp37-cp37m-win_amd64.whl
  4. pip install torchaudio-0.11.0+cu113-cp37-cp37m-win_amd64.whl

1、打开pytorch官网,点击Install
2、选择安装信息,生成安装命令

注意!!!官网给出的安装命令中,-c参数指明了Pytorch安装的下载源,执行该命令的时候,一定要把-c pytorch去掉,更换Anaconda的下载源为国内源。

3、打开Anaconda Prompt
4、创建并激活虚拟环境
        conda create -n pytorch python=3.7
        activate pytorch
5、更换下载源
6、安装CUDA:conda install cudatoolkit=11.3
7、安装cudnn:conda install cudnn=8.2
8、安装pytorch-gpu: conda install pytorch torchvision torchaudio cudatoolkit=11.3
9、测试
        在该虚拟环境中,进入python开发环境,输入
        import torch
        torch.cuda.is_available()
        输出 True

Anaconda安装tensorflow_gpu

【官网安装教程】:https://www.tensorflow.org/install

1、打开Anaconda Prompt
2、创建并激活虚拟环境
        conda create -n tensorflow python=3.7
        activate tensorflow
3、更换下载源
4、安装CUDA:conda install cudatoolkit=11.2
5、安装cudnn:conda install cudnn=8.1
6、安装tensorflow-gpu:
        pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow-gpu==2.6.0
7、测试
        在该虚拟环境中,进入python开发环境,输入
        import tensorflow as tf
        print(tf.test.is_gpu_available())
        输出 True

Jupyter notebook中添加虚拟环境

需要先在虚拟环境中安装Jupyter Notebook,XXX即虚拟环境名字。
在anaconda命令交互界面下:

  • 1、activate XXX
  • 2、pip install ipykernel ipython
  • 3、ipython kernel install --user --name XXX
  • 4、输入Jupyter Notebook,打开Jupyter Notebook,此时打开的位置是默认文件夹

修改Jupyter Notebook默认的工作目录 

在anaconda命令交互界面下:

  1. 激活虚拟环境输入:jupyter notebook --generate-config
  2. 生产jupyter配置文件,用记事本打开文件,查找“#c.NotebookApp.notebook_dir = ''”,删除#键,在单引号中输入目标地址
  3. 创建用户环境变量如下:JupyterNotebook值自定义
  4. 开始菜单中找到jupyter notebook右键单击选择“更多—打开文件位置”,打开快捷方式图标,快捷方式图标上右击设置起始位置属性值%HOMEPATH%和目标框中%USERPROFILE%替换为创建的用户环境变量%JupyterNotebook%即可。

指定文件夹打开Jupyter Notebook

需要将生产jupyter配置文件复原,按照下面的操作即可。

  • 1、激活虚拟环境
  • 2、定位到指定文件夹
  • 3、输入Jupyter Notebook

pycharm下载安装

pycharm官网下载社区版(免费):Download PyCharm

参考博主:PyCharm安装教程

关键步骤:

pycharm创建工程

pycharm给项目添加虚拟环境

1、pycharm首页:File => Settings => 你的项目名下的python interpreter => 设置按钮 => add python interpreter

2、在该页面下的Virtualenv Environment(虚拟环境设置界面),有两种设置添加虚拟环境的选项。

New environment => 新建虚拟环境:选择你的项目的根目录和需要的python版本,完成。
Existing environment => 选择现有的虚拟环境。

pycharm安装新模块

1、pycharm首页:File => Settings => 你的项目名下的python interpreter

2、搜索需要安装的模块,点击install pakage

3、安装成功

【问题】pycharm无法导入本地模块

【解决方法】右键点击需要导入的模块当前文件夹所在的上一级目录,将其设置为根目录

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/weixin_40725706/article/detail/505320
推荐阅读
相关标签
  

闽ICP备14008679号