PyTorch CUDA error: an illegal memory access was encountered_torch cuda synchronize illegal memory access

调试pytorch代码，遇到了这个错误。
还有个类似的错误CUDA error: CUBLAS_STATUS_INTERNAL_ERROR when calling cublasSgemm(...)

网络搜索，各种解答都有，驱动版本，固定cuda设备号等等。虽然都有成功的情况，但感觉不靠谱。

这个错误信息，看着还像是内存访问错误。
解决办法:

仔细检查代码，把数据统一在cpu或gpu上。

检查过程很麻烦，为了方便检查，自己写了个小函数。

def printTensor(t, tag:str):
    sz = t.size()
    p = t
    for i in range(len(sz)-1):
        p = p[0]
    if len(p)>3:
        p = p[:3]

    print('\t%s.size'%tag, t.size(), ' dev :', t.device, ": ",p.data)
    return 
1
2
3
4
5
6
7
8
9
10

使用时，printTensor(context, 'context')，输出类似

context.size torch.Size([4, 10, 10]) dev : cuda:0 : tensor([0, 0, 0], device=‘cuda:0’)

这个函数有两个要点：

1. 输出了设备
2. 输出了数据

第二点尤其重要，只输出设备不一定会触发错误。只有输出数据，pytorch按流程跑下来，才会真正出错。

笔者找到最后，发现是nn.*的网络没有明确调用to(device)导致的。但自定义的模型确实都继承了nn.Module，后续还得继续查。