PyTorch中 梯度（gradient）和优化器（optimizer）_torch 类似 tape.gradient

梯度（Gradient）:

• 梯度是一个计算图中的张量（Tensor）的属性。当你进行前向传播时，PyTorch会构建一个计算图，图中的节点是张量，边是从输入张量到输出张量的操作。
• 当你调用.backward()方法时，PyTorch会自动计算相对于图中所有具有requires_grad=True属性的张量的梯度，并将这些梯度存储在各自张量的.grad属性中。
• 这意味着每个模型参数张量（通常是权重和偏置）都有一个与之关联的梯度张量，该梯度张量表示的是损失函数关于该参数的导数。

优化器（Optimizer）:

• 优化器是一个独立的对象，它保存了模型参数的引用以及当前的学习率和其他超参数。优化器需要知道前向传播过程中哪些参数是可训练的（即哪些张量具有requires_grad=True）。
• 当你创建一个优化器实例时，你将模型的参数传递给它，例如：optimizer = torch.optim.SGD(model.parameters(), lr=0.01)。
• 优化器对象通常保存在它自己的内存空间中，它维护了当前的参数状态（比如动量项在torch.optim.SGD的情况下）和更新规则。
• 当你调用optimizer.step()时，优化器会根据存储的梯度来更新它所保存的参数。

梯度存在于模型的参数（即张量）中，而优化器则以一个单独的实体存在，维护着参数的更新规则和状态。在每次训练迭代中，优化器都会使用参数的.grad属性来更新其值。