【常见工具】深度学习环境安装anaconda、tensorflow、pycharm_深度学习需要安装

目录

1.安装anaconda

2.安装tensorflow-gpu

3.安装pycharm

4.VNC操作

5.安装Pytorch

PS: linux下常见的操作：

1.Linux下强制关闭程序：

2.导出环境

2.1.pip导出

2.2.conda导出

2.3.其他

3.windows下的环境安装 & pycharm远程配置

4.bash的简单实用

配置HIT的服务器：

---

1.安装anaconda

Linux杂谈 | (3) 在Linux服务器上安装Anaconda_linux服务器安装anaconda_CoreJT的博客-CSDN博客
首先需要定位到anaconda的bin目录，然后激活 

cd /home/dongb/anaconda3/bin
source activate
conda create -n DeepSC python=3.6  %创建名为DeepSC的环境

版本：Anaconda3-2020.07-Linux-x86_64.sh

安装步骤：
安装：bash Anaconda3-2020.07-Linux-x86_64.sh

设置路径：/data1/chenyc/package/anaconda3

激活：source ~/.bashrc # 设置环境变量

查看：conda list

conda -V

2.安装tensorflow-gpu

在Linux服务器上配置tensorflow-gpu版（最详细教程）_linux安装tensorflow_睡虎的博客-CSDN博客

创建python3.5环境：conda create -n ads-b python=3.5

激活环境：conda activate ads-b

创建tensorflow环境：source activate tensorflow16

查看cuda及cudnn: nvcc -V

或者查看 CUDA 版本：

cat /usr/local/cuda/version.txt

查看 CUDNN 版本：

cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2

Cudnn:7.6.0

安装：TensorFlow-gpu

pip install tensorflow-gpu==1.10

2023.9.20

好久没有在windows上使用tensorflow-gpu，再次安装依旧踩了不少坑

• CUDA & CUDNN
• 由于环境需要的CUDA=11.2，我的版本较高，首先需要卸载已有的CUDA（直接在控制面板卸载，注意一下几个不用卸载，下面的链接写的很详细），然后安装对应的CUDNN，我这里cudnn=8.1.1,下载前记得查看tensorflow-gpu与CUDA、cuDNN对应的版本（Build from source on Windows  |  TensorFlow）
• 卸载错误的cuda版本+安装正确的cuda+cudnn+pytorch - 简书
• 下面这张图是查看cudnn版本
• 
• 查看是否能够调用

• import tensorflow as tf
  print(tf.__version__)
  print(tf.test.is_gpu_available())
  

• 这里踩得的最大的一个坑就是一定要把CPU版本的tensorflow全部卸载干净，包括什么tensorflow-estimate等等，然后再安装gpu 版本
• 还遇到一个问题
• AttributeError: module 'tensorflow.core.function.trace_type' has no attribute 'from_value'
• 参考这个帖子
• python - AttributeError: module 'tensorflow.core.function.trace_type' has no attribute 'from_value' - Stack Overflow

直接在命令行安装 就可以解决

pip3 install keras tensorflow

3.安装pycharm

sh pycharm.sh

启动anaconda

$ source ~/anaconda3/bin/activate root
 
$ anaconda-navigator
 
cd package/anaconda3/bin
 
cd package/pycharm-community-2020.2.1/bin
 
解压：tar -zxvf  pycharm-community-2020.2.1.tar.gz

4.VNC操作

打开或者关闭vnc

vncserver :1                              
 
vncserver -kill :1

5.安装Pytorch

Previous PyTorch Versions | PyTorch

【PyTorch基础知识】基础入门_pytorch_amc_一轮秋月的博客-CSDN博客

6.CUDA CUDNN

查看cudnn版本

Tensorflow与Python、CUDA、cuDNN的版本对应表_tensorflow版本对应python3.11_Ly.Leo的博客-CSDN博客

dpkg -l | grep cudnn

安装cudnn

conda install cudatoolkit=8.1

PS: linux下常见的操作：

1.Linux下强制关闭程序：

• 查看程序进程，以pycharm为例

ps aux|grep pycharm

• kill进程

kill -9 PID

pkill -u username #kill某个用户的全部进程
top -u username #查看某个用户的全部进程

tar -xvf

fuser -v /dev/nvidia0

查看GPU0中的进程

• 按照应用名称杀死一批进程，以python应用为例：

ps -ef|grep python|grep -v grep|cut -c 9-15|xargs kill -9

• 杀死某个指定gpu上的所有进程 ， 以gpu2为例：

fuser -v /dev/nvidia2 |awk '{for(i=1;i<=NF;i++)print "kill -9 " $i;}' |  sh

2.导出环境

为了方便别人复现代码，需要给他人提供完整的环境

2.1.pip导出

• 导出环境

pip freeze > environment.txt

• 在新建的环境中运行

pip install -r environment.txt

2.2.conda导出

• 导出环境

conda env export > environment.yml

• 在新建的环境中运行

conda env create -f environment.yml  #创建一个python环境，然后安装
conda env update --file environment.yml #仅更新

若报错：

 则需更新pip

python -m pip install --upgrade pip

2.3.其他

conda remove -n 虚拟环境的名称 --all #删除环境

3.windows下的环境安装 & pycharm远程配置

【深度学习环境】windows平台_一轮秋月的博客-CSDN博客

WIN10安装TENSORFLOW（GPU版本) ,安装搜集的有用帖子_nsorflow 版本_一轮秋月的博客-CSDN博客

Sina Visitor System

4.bash的简单实用

【bash的简单使用】_一轮秋月的博客-CSDN博客

配置HIT的服务器：

× VNC无法连接

ubuntu下安装vnc出错（灰屏）_ubuntu vnc灰屏_或许，这就是梦想吧！的博客-CSDN博客

使用MobaXterm？

ubuntu 使用MobaXterm和cpolar配置外网访问ssh和vnc_ubuntu安装mobaxterm_ASUKA@02的博客-CSDN博客

需要管理员权限：

VNC Viewer请求超时解决方案 、灰屏解决方案（gnome或xfce4）_vnc连接超时_KyrieLiu52的博客-CSDN博客

× 创建conda环境遇到问题

 方法一：换源

conda相关指令：从多方面用法介绍Conda查看源_笔记大全_设计学院

conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge 
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/

查看已有的源：

conda config --show channels

 参考： 『技术随手学』解决CondaHTTPError: HTTP 000 CONNECTION 问题 - 知乎

 直接编辑condarc可以解决之（熟悉vim操作）。