google colab 免费使用GPU

最近在做brain segmentation的调研，公司的显卡没到，一台笔记本只有3G的显存，跑一个3d的networks就资源耗尽。刚好听说了google有免费的显卡Tesla K80，2599美元一块，还很难买到，于是就开始尝试一番。结果等好不容易把自己demo环境部署好了，运行中发现资源耗尽，运行命令查看cpu 内存上线268M、gpu内存上限358M，浪费了精力。但是呢？对于日常的小任务数据还是可以用colab GPU，故写一篇文章记录一下。

---

一、准备

在Google Drive上创建文件夹

Colab用的数据都存储在Google Drive云端硬盘上，所以，我们需要先指定要在Google Drive上用的文件夹，比如说，可以在Google Drive上创建一个“app”文件夹，或者其他什么名字，也可以选择Colab笔记本默认的文件夹。

新建Colab笔记本
在刚刚创建的app文件夹里点击右键，选择“More”，然后从菜单里选择“Colaboratory”，这样就新建出了一个Colab笔记本。

点击笔记本的名字，可以重命名

二、设置免费GPU

这一步，要改变笔记本所用的默认硬件。在笔记本里点Edit>Notebook settings（编辑>笔记本设置），或者Runtime>Change runtime type（运行时>改变运行时类型），然后在Hardware accelerator（硬件加速器）一栏选择GPU。

然后，Google Colab就可以用了。

三、查看GPU、CPU情况

查看GPU是否在colab中

import tensorflow as tf
tf.test.gpu_device_name()
1
2

如果结果为空，则不能使用GPU，如果结果为/device:GPU:0

使用!/opt/bin/nvidia-smi查看显存情况

查看显卡内存使用上限

from tensorflow.python.client import device_lib
device_lib.list_local_devices()
1
2

其他见六

四、挂载google drive（也就是google网盘）

在笔记本里先运行下面这些代码，来安装必要的库、执行授权

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}
1
2
3
4
5
6
7
8
9
10
11
12

运行的时候应该会看到下图所示的结果：

看见那个链接之后，点击它，复制验证码并粘贴到文本框里。

授权完成后，就可以挂载Google Drive了：

!mkdir -p drive
!google-drive-ocamlfuse drive
1
2

五、clolab笔记本的使用

• install

!pip install -q keras
import keras
1
2

• uninstall

!pip uninstall -y keras 
# 注意这儿用-y是因为，google笔记本只会显示结果不能输入，因此避免安装过程中需要你输入yes什么的
1
2

• 改变目录

# 注意不能用!cd ../
!pwd
import os
os.chdir('../')
!pwd
1
2
3
4
5

• git clone

!git clone https://github.com/wxs/keras-mnist-tutorial.git
1

• 下载数据

!wget https://raw.githubusercontent.com/vincentarelbundock/Rdatasets/master/csv/datasets/Titanic.csv -P drive/app
1

• 查看内存信息

!cat /proc/meminfo
1

• 查看CPU信息

!cat /proc/cpuinfo
1

六、运行一个事例

安装Keras:

!pip install -q keras
1

上传文件mnist_cnn.py 到你的google drive中的app文件夹中，文件内容如下

用MINIST dataset训练一个简单的卷积神经网络
!python3 drive/app/mnist_cnn.py
运行结果如下：

---

参考资料

1. Google Colab Free GPU Tutorial
2. 薅资本主义羊毛，用Google免费GPU