pytorch GPU 计算比 CPU 还慢的可能原因_sessionoptions.addcuda(gpudeviceid)使用gpu反而比cpu慢

1. 张量（tensor）太小，难以并行化计算。

我们先来做个简单实验：

import torch
import time

def train(size_list, epochs):

    for s in size_list:

        # CPU
        start_time1 = time.time()
        a = torch.ones(s,s)
        for _ in range(epochs):
            a += a
        cpu_time = time.time() - start_time1

        # GPU
        start_time2 = time.time()
        b = torch.ones(s,s).cuda()
        for _ in range(epochs):
            b += b
        gpu_time = time.time() - start_time2

        print('s = %d, CPU_time = %.4fs, GPU_time = %.4fs'%(s, cpu_time, gpu_time))

size_list = [8, 32, 128, 512]
epochs = 100000
train(size_list, 100000)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

s = 8, CPU_time = 0.2252s, GPU_time = 0.6376s
s = 32, CPU_time = 0.3321s, GPU_time = 0.6468s
s = 128, CPU_time = 2.2634s, GPU_time = 0.6493s
s = 512, CPU_time = 9.6728s, GPU_time = 1.5587s
1
2
3
4

可以看到，在tensor维度比较低(s = 8, 32) 时，CPU的计算耗时比GPU少，这是因为把数据从CPU搬到GPU也是需要时间的，GPU加速带来的收益被这部分搬运时间抵消了，完全展示不出cuda的加速功能。

当tensor维度达到128或以上时，GPU的计算耗时显著低于CPU的计算耗时，这时GPU加速带来的收益远高于搬运数据所花费的时间，展示出GPU加速的强大能力（老黄牛逼！）。

咳咳，分析一下：

GPU加速通过大量的计算并行化来工作。 GPU有大量的内核，每个内核都不是很强大，但是核心数量巨大。PyTorch可以使它们尽可能地并行计算, 在tensor维度比较高的情况下，GPU能够并行化更多的整体计算，显著减少计算耗时。

因此，如果遇到pytorch 用CPU比GPU还快的情况时，可以看看dataloader里单次输入的 x 维度是否太低，如果太低可以把 batch_size 调大一点，可以的话增加一下数据维度，单次输入的tensor的shape越大，GPU越能并行化计算。

当然，也不要设的太大了，比如batch_size设个大几万啥的，再强的显卡也遭不住这么折腾。

2. 模型太过简单

GPU的强大体现在它的并行计算，数据越大，模型越复杂越能体现出来。太过简单的模型CPU一下子就算完了，此时的GPU可能才刚接收完数据，没法体现GPU的强大。

因此，解决方案也很简单，换个复杂点的模型或者加深加宽现有的神经网络模型。

3. CPU 相对 GPU 强太多

在相同的、没调好的参数情况下，有时候64核的CPU用60%的核心（也就是38个）也能达到一张2080ti显卡（GPU）的效果。如果CPU是个64核的芯片，而显卡是老黄家的古董960，那CPU比GPU快也是完全有可能的，这时候瓶颈就在显卡了。

以上是我在写bug代码时遇到的情况及可能原因，可能考虑不周，欢迎大家在评论区里补充。

参考资料：
[1] https://stackoom.com/question/3bkNO
[2] https://blog.csdn.net/qq_43673118/article/details/90305340