基于Anaconda的机器学习环境安装流程（Transformers+PyTorch+Gym+matplotlib）_pycharm如何下载transformer

主要用于自然语言处理方向
自用备份

一、Anaconda下载与安装

  官网下载后直接安装：
  ANACONDA下载链接

二、Python和Pycharm下载与安装

  官网下载

三、PyTorch安装

3.1 第一步

  打开anaconda，左侧Environments,下侧点击create，选择python版本3.9.19,新建虚拟环境

3.2 第二步

  有GPU的电脑，查询电脑驱动版本，指令如下：
  win+R后输入cmd运行命令提示符

nvidia-smi
1

nvidia官网版本号查看：版本号查看网址
  在该连接下查看Driver Version版本和CUDA Version版本是否符合。
如不符合，电脑右下角右键nvidia图标，选择NVIDIA geforece experience打开，右上角选择驱动程序，下载更新后快速安装。

3.3 第三步

  打开anaconda，左侧Environments,左键环境右侧绿色圆形三角标志，选择第一项，Open Terminal

  打开如下界面

PyTorch官网指令查询网址
  进入Pytorch官网根据电脑环境选择后，复制对应的命令。例如


  复制该指令，粘贴在界面中，回车运行如下图所示：


  可直接下载，包略大，如失败，可用手机热点或科学上网下载，也可使用清华等镜像下载。

  运行完成后，可输入

pip list
1

  查看已安装的包，如显示，则成功

四、gym安装

4.1 升级pip

python -m pip install --upgrade pip  -i https://pypi.tuna.tsinghua.edu.cn/simple some-package
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
python -m pip install --upgrade pip
pip install --upgrade pip
1
2
3
4

4.2 永久更换为清华的pip源，安装pandas

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas
1

4.3 安装gym

pip install gym
1

4.4 查看以上安装

pip list
1

五、安装transformer

5.1 安装transforms及其它包

datasets包
  datasets包是一个用于加载和处理各种自然语言处理(NLP)数据集的Python库。它提供了一个简单的API，使得用户可以轻松地访问和预处理数据集，以便用于各种NLP任务，如文本分类、命名实体识别、语义角色标注等。datasets包支持许多常见的NLP数据集，如CoNLL、SQuAD、GLUE等，并且还提供了一些自定义的数据集。使用datasets包可以大大简化NLP数据集的处理和使用。

nltk包
  Natural Language Toolkit，自然语言处理工具包，在NLP领域中，最常使用的一个Python库。

pip install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple //可切换其他pip源
pip install datasets
pip install nltk
conda install tensorflow 
1
2
3
4

5.2 安装其他包

  依次执行以下指令，或合成一个指令运行，建议分别执行。

pip install keras
pip install protobuf
pip install numpy
pip install evaluate 
pip install scikit-learn
pip install torchvision 
pip install tensorflow-dataset 
pip install pyspark
pip install tensorflow-datasets
pip install torchtext
1
2
3
4
5
6
7
8
9
10

pip install keras protobuf numpy evaluate  scikit-learn torchvision  tensorflow-dataset pyspark tensorflow-datasets
1

五补充、matplotlib包安装

之前遗漏的部分，所以在后边的list中没有展示
首先使用指令查看符合版本

 conda search matplotlib
1

之后使用指令安装

conda install matplotlib
1

六、备份与还原

6.1 备份

  为了避免日后重新安装出现版本升级后带来的问题，将各个包pip/conda 导入导出为transformersenv_requirement.txt做备份

pip list --format=freeze> transformersenv_requirements1.txt
conda list -e > transformersenv_requirement2.txt
1
2

6.2 还原

  复现可以通过如下操作进行

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r transformersenv_requirements1.txt
conda install --yes --file transformersenv_requirement2.txt
1
2

七、版本演示

个人版本展示

7.1 pip list

7.2 conda list

八、新建项目验证

打开pycharm，左上角新建项目，选择先前配置的解释器，添加本地解释器

左侧选择Conda环境，添加可执行文件，选择自己新建的环境，确定

在main.py运行以下代码，运行后得出以下结果，即成功

import torch

print(torch.__version__);
print('gpu:',torch.cuda.is_available());
1
2
3
4

参考来源
[1]基于Python3.8版本的pytorch与transformers安装 https://zhuanlan.zhihu.com/p/625201188?utm_id=0
[2]【pycharm使用技巧】机器学习and深度学习一些常用包（package）和模块（moudule）的安装指令(随时更新补充) https://zhuanlan.zhihu.com/p/625201188?utm_id=0
[3]PyTorch学习之环境准备 https://blog.csdn.net/Onero/article/details/121177632