pytorch（01）环境配置及安装

pytorch

pytorch定位：深度学习框架

1. 人工智能：多领域交叉科学技术
2. 机器学习：计算机智能决策算法
3. 深度学习：高效的机器学习算法

pytorch实现模型训练需要5个模块

1. 数据
   • 将数据从硬盘读进内存
   • 组织数据进行训练，图片预处理以及数据增强
     • 裁剪、缩放、翻转
2. 模型
   • 构建模型模块，组织复杂网络
   • 初始化网络参数，定义网络层
3. 损失函数
   • 创建损失函数，设置损失函数超参数
   • 选择损失函数(18个)，回归、分类
4. 优化器
   • 管理模型参数去更新模型参数
   • 在进行迁移学习的过程中，希望一部分网络模型的参数大一些，有一部分小一些，因此，根据曲线变化情况来调整学习率，需要管理多个参数组实现不同学习率
   • 调整学习率
5. 迭代训练
   • 观察训练效果，是否收敛，是否停止，绘制Loss/Accuray曲线
   • 使用TensorBoard分析
6. 模型应用
   • 图像分类，图像分割，目标检测
   • 对抗生成，循环网络

学习路线

Step1. Pytorch基础：环境安装、Tensor、Autograd(自动求导)、计算图(动态图、静态图)
Step2. Pytorch核心：

1. 数据模块：Dataloader,Dataset,Transform
2. 模型模块：Module
   LossFunction,Optimizer损失函数和优化器来优化模型
   TensorBoard可视化
3. 深度学习模型：应用，图像分类、分割、目标检测

第一周

python工具包：内置包：os,sys,glob,re,math
第三方包:pytorch,tnsorflow,numpy
存放地址 本地磁盘:ProgramData/Anaconda3/envs/pytorch_cpu/Lib
其中，pytorch_cpu是虚拟环境名，Lib是工具包所在文件夹
python环境包括解释器和工具包，不同的项目需要不同的python环境
比如：
虚拟环境1. 解释器为python.exe(python2.7),工具包为pytoch=0.4.0,numpy=1.17.0
虚拟环境2. 解释器为python.exe(python2.7),工具包为pytoch=1.1.0,numpy=1.17.0
如何进行管理，此时就需要Anaconda进行管理。

Anaconda安装

安装步骤：

1. 官网下载安装包 https://www.anaconda.com/products/individual
   时间为2020/12/11的地址

2. 运行下载的Python 3.8

   64-Bit Graphical Installer (457 MB)

3. 选择路径，勾选Add Anaconda to the system PATH environment variable,等待安装完成

4. 验证安装完成，打开cmd，输入conda，回车(如果出现很长的信息就表示安装成功)

5. 添加中科大镜像

Pycharm安装

安装步骤：

1. 官网下载安装包：https://www.jetbrains.com/pycharm/download/#section=windows
2. 运行下载的exe文件
3. 选择路径，勾选Add launchers dir to the PATH,等待安装完成

PyTorch安装

安装步骤：

1. 检查是否有合适GPU，若有，需安装CUDA与CuDNN
2. CUDA与CuDNN安装(非必须)
3. 下载whl文件，登录

CUDA安装

安装步骤：
去CUDA官网官网选择合适的版本下载安装即可。下面只赘述验证CUDA是否安装成功：
将cuda的路径复制，打开cmd。笔者这里是C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\bin
打开命令行cmd
进入到当前目录下 cd C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\bin
执行nvcc -V指令
即可验证是否正确安装，如果正确安装就会显示版本。

CUDNN安装

安装步骤：
去CUDNN官网下载即可。将下载压缩包解压，前三个文件夹复制粘贴至CUDA的目录下(cuda\bin的上一目录)
验证是否安装成功：
进入到cuda中extras的demo_suite目录，同样在cmd命令行中进入cd C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\extras\demo_suite
紧接着执行两个程序bandwidthTest.exe,deviceQuery.exe C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\extras\demo_suite>bandwidthTest.exe
如果显示的Result = PASS，则显示CUDNN安装成功
接下来再查看设备C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\extras\demo_suite>deviceQuery.exe
会显示GPU型号同时Result=PASS即表示cuda和cudnn安装成功。

Pytorch的安装

首先进入官网，获得安装的command代码，command中包含了网址，建议通过网址进行下载，这样速度比较快。例如笔者进行下载的是pip install torch===1.7.1+cu110 torchvision===0.8.2+cu110 torchaudio===0.7.2 -f https://download.pytorch.org/whl/torch_stable.html是通过pip进行安装，那笔者访问https://download.pytorch.org/whl/torch_stable.html进行下载。下载时候ctrl+f进行搜索对应的版本。接下来打开pycharm，创建一个项目。
在底部的terminal栏中用conda创建一个虚拟环境，conda create -n pytorch_gpu python=3.7
紧接着采用conda activate pytorch_gpu激活虚拟环境，进入刚刚下载的目录。
再使用 pip install "torch-1.7.1+cu110-cp38-cp38-win_amd64.whl"
此时显示Successfully installed numpy-1.19.4 torch-1.7.1+cu110 typing-extensions-3.7.4.3
此时设置setting，将project Interpreter添加pytorch_gpu的环境。
此时输入

import torch
print("hello pytorch {}".format(torch.__version__))

会显示

hello pytorch 1.7.1+cu110
Process finished with exit code 0

至此全部安装成功。
也许会出现ImportError: numpy.core.multiarray failed to import，是因为numpy的版本不对，如果你的对应Python是3.8的，但是他默认安装1.9太高了，需要把Numpy卸载重新安装。