PyTorch的inplace的理解_inplace=true是什么意思

       我们平时看到的 nn.ReLU(inplace=True)、nn.LeakyReLU(inplace=True)，这些语句中的inplace是什么意思？

• inplace=True指的是进行原地操作，选择进行原地覆盖运算。 比如 x+=1则是对原值x进行操作，然后将得到的结果又直接覆盖该值。y=x+5,x=y则不是对x的原地操作。
• inplace=True操作的好处就是可以节省运算内存，不用多储存其他无关变量。
•  注意：当使用 inplace=True后，对于上层网络传递下来的tensor会直接进行修改，改变输入数据，具体意思如下面例子所示：

Eg. inplace=True操作 会修改输入数据。

import torch
import torch.nn as nn

relu = nn.ReLU(inplace=True)
input = torch.randn(7)

print("输入数据：",input)

output = relu(input)
print("ReLU输出：", output)

print("ReLU处理后，输入数据：")
print(input)
1
2
3
4
5
6
7
8
9
10
11
12
13

输出：

inplace=True means that it will modify the input directly, without allocating any additional output. It can sometimes slightly decrease the memory usage, but may not always be a valid operation (because the original input is destroyed). However, if you don’t see an error, it means that your use case is valid.