使用Google colab进行机器学习项目开发

您是否曾经想要一个易于配置的交互环境来运行您的机器学习代码，免费访问图GPU?Google Colab 正是我们要找的。在云上运Jupyter notebooks是一种方便易用的方式，但是免费版本对GPU的使用也做了一定的限制，但不影响我们基本的代码开发使用GPU。

通过本博客，可以了解到以下技能:

• Google Colab 使用免费GPU加速训练
• 使用Google Colab 的扩展包将数据保存到Google Drive， 为pandas ,DataFrame等提供交互式显示。
• 使用Google Colab 进行训练时，保存模型的进度

概述

本博客分为五个部分;它们是:

• 什么是Google Colab?
• Google Colab快速入门指南
• 探索Colab开发环境
• 好用的谷歌Colab扩展包介绍
• 案例:在Google Drive上保存模型进度

什么是Google Colab?

引用自“Welcome to Colab”Notebok:

Colab notebooks 允许您将可执行代码和富文本与图像、HTML、LaTeX等一起组合在一个文档中。当您创建自己的Colab notebooks时，它们将存储在您的Google Drive 帐户中。您可以轻松地与同事或朋友分享您的Colab notebooks ，允许他们对您的笔记本发表评论，甚至编辑它们。

我们可以像Jupyter notebooks一样使用Google Colab。它们真的很方便，因为Google Colab托管它们，所以我们不用自己的任何计算机资源来运行这个笔记本。我们还可以共享这些笔记本，这样其他人就可以轻松地运行我们的代码，所有这些都在一个标准环境中，因为它不依赖于我们自己的本地机器。但是，在初始化期间，我们可能需要在环境中安装一些库。

谷歌Colab快速入门指南

要创建您的Google Colab文件并开始使用Google Colab，您可以访问 Google Drive并创建一个谷歌驱动器帐户(如果您没有的话)。现在，点击Google Drive页面左上角的"New"按钮，然后点击More ▷ Google Colaboratory。

然后，就可以进入新建的Google Colab文件页面:
从这里，可以使用右上角的Share 按钮与他人共享您的谷歌Colab文件或开始编码!

Colab上的快捷键和Jupyter notebooks上的快捷键是相似的。这里介绍一些常用的:

• 运行单元格:Ctrl + Enter
• 运行cell并在下面添加新cell: Alt + Enter
• 运行cell并转到下面的cell:按Shift + Enter
• 行缩进两个空格:Ctrl +]
• 将行反缩进两个空格:Ctrl + [

但也有一个额外的非常有用的，让你只运行一个单元格中特定选择的代码部分:

• 运行单元格选定的部分:按Ctrl + Shift + Enter

就像Jupyter notebook一样，你也可以用Markdown单元格书写文本。但是Colab还有一个额外的功能，可以根据你的markdown 内容自动生成一个目录，你还可以根据标记单元格中的标题隐藏部分代码。

如果你在自己的电脑上运行Jupyter，你别无选择，只能使用电脑的CPU。但是在Colab中，除了cpu之外，还可以将运行时更改为包括gpu和tpu，因为它是在谷歌的云上执行的。你可以通过Runtime ▷ Change runtime type:

然后，您可以从不同的硬件加速器中选择来装备您的环境。

与你自己的计算机不同，Google Colab不为你提供输入命令来管理你的Python环境的终端。要安装Python库和其他程序，比如可以使用!pip install numpy(但是我们稍后会看到，Colab已经预装了很多我们需要的库，比如numpy)。

在我们已经知道了如何设置Colab环境并开始运行一些代码，让我们对环境进行一些探索吧!

使用你的 Colab 开发环境

因为我们可以运行一些shell命令!使用wget命令可能是获取数据的最简单方法。例如，运行这个将把一个CSV文件带到Colab环境中:

! wget https://raw.githubusercontent.com/jbrownlee/Datasets/master/shampoo.csv
1

要查看虚拟机中Colab文件的当前工作目录，请单击屏幕左侧的file图标。默认情况下，Colab提供了一个名为sample_data的目录，其中包含几个文件:

这是我们的Colab notebook的当前工作目录。你可以在Python中通过在notebook中使用如下代码来读取这些文件:

file = open("sample_data/mnist_test.csv")
1

稍后，我们将看到如何使用Colab扩展将我们的Google Drive挂载到这个目录，以便存储和访问Google Drive帐户上的文件。
通过使用!运行shell命令，我们还可以查看Colab环境的硬件配置。看看CPU，我们可以使用:

!cat /proc/cpuinfo
1

这里给出了我的环境的输出

processor	: 0
vendor_id	: GenuineIntel
cpu family	: 6
model		: 63
model name	: Intel(R) Xeon(R) CPU @ 2.30GHz
stepping	: 0
microcode	: 0x1
cpu MHz	: 2299.998
cache size	: 46080 KB
…

processor	: 1
vendor_id	: GenuineIntel
cpu family	: 6
model		: 63
model name	: Intel(R) Xeon(R) CPU @ 2.30GHz
stepping	: 0
microcode	: 0x1
cpu MHz	: 2299.998
cache size	: 46080 KB
…
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

我们还可以检查运行时连接的GPU信息：

!nvidia-smi
1

这给出了输出，如果你有一个:

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 460.32.03    Driver Version: 460.32.03    CUDA Version: 11.2     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Tesla K80           Off  | 00000000:00:04.0 Off |                    0 |
| N/A   57C    P8    31W / 149W |      0MiB / 11441MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+                                                                         

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

这些只是一些shell命令的示例，我们可以使用它们来探索Colab环境。还有许多其他工具，例如!pip list，用于查看Colab环境可以访问的库，标准的!ls用于查看工作目录中的文件，等等。

有用Colab扩展包

Colab还提供了许多真正有用的扩展。其中一个扩展允许我们将谷歌Drive挂载到工作目录。我们可以这样做:

import os
from google.colab import drive

MOUNTPOINT = "/content/gdrive"
DATADIR = os.path.join(MOUNTPOINT, "MyDrive")
drive.mount(MOUNTPOINT)
1
2
3
4
5
6

然后，Colab将请求访问您的Google Drive文件的权限，您可以在选择想要访问的谷歌帐户后进行此操作。在赋予它所需的权限之后，我们可以看到谷歌Google Drive挂载在左侧的Files选项卡中。

然后，要将文件写入到我们的Google Drive，可以执行以下操作:

# writes directly to google drive
with open(f"{DATADIR}/test.txt", "w") as outfile:
    outfile.write("Hello World!")
1
2
3

这段代码编写了Hello World!转移到您的Google Drive的顶层的test.txt文件。类似地，我们也可以通过以下方式读取Google Drive中的文件:

...
with open(f"{DATADIR}/test.txt", "r") as infile:
    file_data = infile.read()
    print(file_data)
1
2
3
4

输出

Hello World
1

此外，Google Colab附带了一些扩展，以便使创建的笔记本又更好体验。如果我们经常使用pandas DataFrame，那么有一个用于显示交互表的扩展。为了使用这个函数，我们可以使用一些魔法的函数:

%load_ext google.colab.data_table
1

这启用了DataFrames的交互式显示，然后当我们运行:

from sklearn.datasets import fetch_openml
X = fetch_openml("diabetes", version=1, as_frame=True, return_X_y=False)["frame"]
X
1
2
3

要在以后禁用这个功能，我们可以运行:

%unload_ext google.colab.data_table
1

当我们再次显示相同的DataFrame X时，我们得到了标准的Pandas DataFrame接口:

案例:在Google Drive上保存模型进度

Google Colab可能是为我们的机器学习项目提供强大的GPU资源的最简单的方法。但是在Colab的免费版本中，谷歌限制了我们在每个会话中使用Colab笔记本的时间。我们的内核可能会无缘无故地终止。我们可以重新开始我们的Notebook，继续我们的工作，但我们可能会失去记忆中的一切。这是一个问题，如果我们需要训练我们的模型很长时间。我们的Colab实例可能在训练完成之前终止。

使用Google Colab扩展来挂载我们的Google Drive和Keras ModelCheckpoint回调，我们可以在Google Drive上保存我们的模型进度。这对于解决Colab超时特别有用。它对付费的Pro和Pro+用户更宽松，但我们的模型训练总是有可能在中途终止。如果我们不想失去部分训练的模型，它是有价值的。

在此演示中，我们将在MNIST数据集上使用LeNet-5模型。

import tensorflow as tf
from tensorflow import keras
from keras.layers import Input, Dense, Conv2D, Flatten, MaxPool2D
from keras.models import Model

class LeNet5(tf.keras.Model):
  def __init__(self):
    super(LeNet5, self).__init__()
    #creating layers in initializer
    self.conv1 = Conv2D(filters=6, kernel_size=(5,5), padding="same", activation="relu")
    self.max_pool2x2 = MaxPool2D(pool_size=(2,2))
    self.conv2 = Conv2D(filters=16, kernel_size=(5,5), padding="same", activation="relu")
    self.flatten = Flatten()
    self.fc1 = Dense(units=120, activation="relu")
    self.fc2 = Dense(units=84, activation="relu")
    self.fc3=Dense(units=10, activation="softmax")
  def call(self, input_tensor):
    conv1 = self.conv1(input_tensor)
    maxpool1 = self.max_pool2x2(conv1)
    conv2 = self.conv2(maxpool1)
    maxpool2 = self.max_pool2x2(conv2)
    flatten = self.flatten(maxpool2)
    fc1 = self.fc1(flatten)
    fc2 = self.fc2(fc1)
    fc3 = self.fc3(fc2)
    return fc3
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

然后，为了在Google Drive上训练期间保存模型进度，首先，我们需要将Google Drive挂载到Colab环境中。

import os
from google.colab import drive
MOUNTPOINT = "/content/gdrive"
DATADIR = os.path.join(MOUNTPOINT, "MyDrive")
drive.mount(MOUNTPOINT)
1
2
3
4
5

之后，我们声明Callback以将检查点模型保存到Google Drive。

import tensorflow as tf

checkpoint_path = DATADIR + "/checkpoints/cp-epoch-{epoch}.ckpt"
cp_callback = tf.keras.callbacks.ModelCheckpoint(filepath=checkpoint_path,
                                                 save_weights_only=True,
                                                 verbose=1)
1
2
3
4
5
6

接下来，我们开始利用checkpoint callbacks训练MNIST数据集,当我们的Colab会话超时:以确保我们可以恢复在最后一个epoch

import tensorflow as tf
from tensorflow import keras
from keras.layers import Input, Dense, Conv2D, Flatten, MaxPool2D
from keras.models import Model

mnist_digits = keras.datasets.mnist
(train_images, train_labels), (test_images, test_labels) = mnist_digits.load_data()

input_layer = Input(shape=(28,28,1))
model = LeNet5()(input_layer)
model = Model(inputs=input_layer, outputs=model)
model.compile(optimizer="adam", loss=tf.keras.losses.SparseCategoricalCrossentropy(), metrics="acc")
model.fit(x=train_images, y=train_labels, batch_size=256, validation_data = [test_images, test_labels], epochs=5, callbacks=[cp_callback])
1
2
3
4
5
6
7
8
9
10
11
12
13

这将训练我们的模型并给出输出:

Epoch 1/5
235/235 [==============================] - ETA: 0s - loss: 0.9580 - acc: 0.8367
Epoch 1: saving model to /content/gdrive/MyDrive/checkpoints/cp-epoch-1.ckpt
235/235 [==============================] - 11s 7ms/step - loss: 0.9580 - acc: 0.8367 - val_loss: 0.1672 - val_acc: 0.9492
Epoch 2/5
229/235 [============================>.] - ETA: 0s - loss: 0.1303 - acc: 0.9605
Epoch 2: saving model to /content/gdrive/MyDrive/checkpoints/cp-epoch-2.ckpt
235/235 [==============================] - 1s 5ms/step - loss: 0.1298 - acc: 0.9607 - val_loss: 0.0951 - val_acc: 0.9707
Epoch 3/5
234/235 [============================>.] - ETA: 0s - loss: 0.0810 - acc: 0.9746
Epoch 3: saving model to /content/gdrive/MyDrive/checkpoints/cp-epoch-3.ckpt
235/235 [==============================] - 1s 6ms/step - loss: 0.0811 - acc: 0.9746 - val_loss: 0.0800 - val_acc: 0.9749
Epoch 4/5
230/235 [============================>.] - ETA: 0s - loss: 0.0582 - acc: 0.9818
Epoch 4: saving model to /content/gdrive/MyDrive/checkpoints/cp-epoch-4.ckpt
235/235 [==============================] - 1s 6ms/step - loss: 0.0580 - acc: 0.9819 - val_loss: 0.0653 - val_acc: 0.9806
Epoch 5/5
222/235 [===========================>..] - ETA: 0s - loss: 0.0446 - acc: 0.9858
Epoch 5: saving model to /content/gdrive/MyDrive/checkpoints/cp-epoch-5.ckpt
235/235 [==============================] - 1s 6ms/step - loss: 0.0445 - acc: 0.9859 - val_loss: 0.0583 - val_acc: 0.9825
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

从输出中，我们可以看到checkpoints已经被保存。看看我的Google Drive文件夹，我们也可以看到存储在那里的checkpoints。

Colab实例位于谷歌的云环境中。它运行的机器有一些存储空间，所以我们可以安装一个包或下载一些文件到它。但是，我们不应该将checkpoint保存在那里，因为我们不能保证在会话终止后能取回它。因此，在上面的示例中，我们将Google Drive装入实例，并将checkpoints保存在Google Drive中。这就是我们如何确保checkpoints文件是可访问的。

在这里，我们将模型训练和保存的完整代码附加到Google Drive:

import os
from google.colab import drive
import tensorflow as tf
from tensorflow import keras
from keras.layers import Input, Dense, Conv2D, Flatten, MaxPool2D
from keras.models import Model

MOUNTPOINT = "/content/gdrive"
DATADIR = os.path.join(MOUNTPOINT, "MyDrive")
drive.mount(MOUNTPOINT)

class LeNet5(tf.keras.Model):
  def __init__(self):
    super(LeNet5, self).__init__()
    self.conv1 = Conv2D(filters=6, kernel_size=(5,5), padding="same", activation="relu")
    self.max_pool2x2 = MaxPool2D(pool_size=(2,2))
    self.conv2 = Conv2D(filters=16, kernel_size=(5,5), padding="same", activation="relu")
    self.flatten = Flatten()
    self.fc1 = Dense(units=120, activation="relu")
    self.fc2 = Dense(units=84, activation="relu")
    self.fc3=Dense(units=10, activation="softmax")
  def call(self, input_tensor):
    conv1 = self.conv1(input_tensor)
    maxpool1 = self.max_pool2x2(conv1)
    conv2 = self.conv2(maxpool1)
    maxpool2 = self.max_pool2x2(conv2)
    flatten = self.flatten(maxpool2)
    fc1 = self.fc1(flatten)
    fc2 = self.fc2(fc1)
    fc3 = self.fc3(fc2)
    return fc3

mnist_digits = keras.datasets.mnist
(train_images, train_labels), (test_images, test_labels) = mnist_digits.load_data()

# saving checkpoints
checkpoint_path = DATADIR + "/checkpoints/cp-epoch-{epoch}.ckpt"
cp_callback = tf.keras.callbacks.ModelCheckpoint(filepath=checkpoint_path,
                                                 save_weights_only=True,
                                                 verbose=1)
input_layer = Input(shape=(28,28,1))
model = LeNet5()(input_layer)
model = Model(inputs=input_layer, outputs=model)
model.compile(optimizer="adam", loss=tf.keras.losses.SparseCategoricalCrossentropy(), metrics="acc")

model.fit(x=train_images, y=train_labels, batch_size=256, validation_data = [test_images, test_labels], 
          epochs=5, callbacks=[cp_callback])
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47

如果模型训练中途停止，我们可以通过重新编译模型并加载权重来继续，然后我们可以继续我们的训练:

checkpoint_path = DATADIR + "/checkpoints/cp-epoch-{epoch}.ckpt"
cp_callback = tf.keras.callbacks.ModelCheckpoint(filepath=checkpoint_path,
                                                 save_weights_only=True,
                                                 verbose=1)

input_layer = Input(shape=(28,28,1))
model = LeNet5()(input_layer)
model = Model(inputs=input_layer, outputs=model)
model.compile(optimizer="adam", loss=tf.keras.losses.SparseCategoricalCrossentropy(), metrics="acc")

# to resume from epoch 5 checkpoints
model.load_weights(DATADIR + "/checkpoints/cp-epoch-5.ckpt")

# continue training
model.fit(x=train_images, y=train_labels, batch_size=256, validation_data = [test_images, test_labels], 
          epochs=5, callbacks=[cp_callback])
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

总结

在本博客中,了解了什么Google Colab,如何利用Google Colab获得免费使用GPU,如何在Google Colab中使用 Google Drive账号,以及在Google Colab Notebook中如何保存模型和存储模型的训练checkpoints到Google Drive。

参考

“欢迎来到Colab”笔记本:https://colab.research.google.com/
jupiter Notebook文档:https://docs.jupyter.org/en/latest/