Colab使用

免费GPU——Colab平台使用

一、简介

colab是google提供的一个免费GPU的Jupyter云服务平台，可以应用各种流行库，如深度学习的pytorch，tensorflow和keras等。

二、colab使用

1，访问colab
https://colab.research.google.com/notebooks/welcome.ipynb
（注：访问google需要tz，这就需要科学上网才能注册、使用，有需要可以私我）
2，使用GPU
使用colab需要的项目是放在google的云端硬盘里的，下面是链接：https://drive.google.com/drive/my-drive。登录进去就可以新建colaboratory了

新建后更改运行时类型选择GPU


使用以下代码检查是否分配到GPU，点击左边运行或者Ctrl+shift都可。一般来说免费的会分配到Tesla K80。（这里需要说明一下因为colab为我们提供的是一个ubuntu虚拟机，所以终端命令前需要带 “!”）

!nvidia-smi
1

3，运行代码
3.1 挂载云端硬盘
colab运行原理实际上是分配给我们一台远程带GPU的主机，所以原始路径不是我们的云端硬盘，所以第一步我们必须先把谷歌云盘挂载到那台远程主机上。
点击“装载google云端硬盘”出现以下代码，出来一个框需要输入验证码，按提示点击链接复制输入即可。

from google.colab import drive
drive.mount('/content/drive')
1
2

3.2 目录
查看当前脚本目录，!pwd

修改目录cd +"复制的路径"（路径可以到左边导航栏右键点击路径目录进行复制）

cd /content/drive/MyDrive/Colab Notebooks/drive
1

3.3 运行程序

!python XXX.py
1

3.4 下面是几条常用命令
（1）上传文件

from google.colab import files
files.upload()
1
2

（2）解压文件

!unzip "压缩包路径" -d"解压路径"
1

（3）从github上拷贝项目，如下

!git clone https://github.com/tensorflow/tensorflow.git
1

（4）复制路径下文件
1）复制文件夹

import shutil
shutil.copytree("复制的文件夹", "目标路径——新文件夹名")
1
2

2）复制单个文件

import shutil
shutil.copy("复制的文件夹", "目标路径——新文件夹名")
1
2

三、扩存云端硬盘

云端硬盘中我的云端硬盘只有15G，刚上传没几个文件空间就不够用了，开colab pro需要$9.9，而且还需要开通visa信用卡，对于学生来说实在不方便，所以在此推荐一个共享云端硬盘使用方法（每个共享云盘150G存储空间）。
开启共享云盘步骤：
点击链接https://td.msgsuite.workers.dev/，按照要求填写共享云盘名称google邮箱、选择机构，再进行验证就可以了。

四、避免colab训练过程中掉线

colab理论上最多可以连续工作12小时（实际达不到），之后便会重新分配资源，但在此期间也会因网络原因或过就没有交互而导致disconnect情况，因此下面提供几行代码解决这一问题，若训练时间超过12小时断开，那就不适用了。
按F12进入console，输入以下代码enter一下就可以实现一分钟点击一次。

function ConnectButton(){
    console.log("Connect pushed"); 
    document.querySelector("#top-toolbar > colab-connect-button").shadowRoot.querySelector("#connect").click() 
}
setInterval(ConnectButton,60000);

1
2
3
4
5
6

分享就到这里，有什么问题大家再互相补充、讨论。