AdamW算法

AdamW算法是优化算法Adam的一个变体，它在深度学习中广泛应用。AdamW的主要改进在于它正则化方法的改变，即通过权重衰减（weight decay）而不是L2正则化，来控制模型参数的大小，从而提升了训练的稳定性和效果。

背景

• Adam优化器结合了动量（Momentum）和RMSProp的优点，能够在各种神经网络结构中实现高效的训练。然而，Adam算法中的L2正则化实现存在一些问题，特别是在实际实现中，L2正则化被融合到了梯度更新中，这可能导致不稳定的权重更新。
• AdamW通过将权重衰减（weight decay）从梯度更新过程中分离出来，解决了这些问题。具体来说，AdamW将权重衰减直接应用到权重更新步骤中，而不是将其作为损失函数的一部分进行梯度计算。

公式

AdamW的更新公式与Adam类似，但引入了显式的权重衰减项。以下是AdamW的核心公式：

1. 偏移修正的动量估计：
   $$m_t={\beta }_1{m}_{t-1}+(1-{\beta }_1)g_t$$ $$v_t={\beta }_2{v}_{t-1}+(1-{\beta }_2)g_t^2$$

2. 偏移修正：
   $${\hat{m}}_t=\frac{m_t}{1-{\beta }_1^t}$$ $${\hat{v}}_t=\frac{v_t}{1-{\beta }_2^t}$$

3. 参数更新：
   $${\theta }_t={\theta }_{t-1}-\eta \frac{{\hat{m}}_t}{\sqrt{{\hat{v}}_t}+ϵ}-\eta \lambda {\theta }_{t-1}$$

其中：

• ${\theta }_t$ 是参数。
• $g_t$ 是梯度。
• $m_t$ 和$v_t$是一阶和二阶动量估计。
• $\eta$ 是学习率。
• ${\beta }_1$ 和${\beta }_2$分别是动量项的指数衰减率。
• $ϵ$是防止除零的小常数。
• $\lambda$ 是权重衰减系数。

优点

1. 更稳定的权重更新：权重衰减独立于梯度计算，使得权重更新更稳定。
2. 更好的正则化效果：权重衰减可以更有效地防止模型过拟合。
3. 适用于广泛的模型：AdamW在各种深度学习模型中表现优异，尤其是在大规模神经网络中。

实现

import torch
import torch.optim as optim
from torch.utils.data import DataLoader, TensorDataset

# 定义数据集和数据加载器
data = torch.randn(1000, 10)  # 假设有1000个样本，每个样本有10个特征
labels = torch.randint(0, 2, (1000,))  # 假设二分类任务
dataset = TensorDataset(data, labels)
data_loader = DataLoader(dataset, batch_size=32, shuffle=True)

# 定义模型
model = torch.nn.Linear(10, 2)
criterion = torch.nn.CrossEntropyLoss()

# 创建AdamW优化器
optimizer = optim.AdamW(model.parameters(), lr=0.001, weight_decay=0.01)

# 训练循环
num_epochs = 100
for epoch in range(num_epochs):
    for batch_data, batch_labels in data_loader:
        optimizer.zero_grad()
        outputs = model(batch_data)
        loss = criterion(outputs, batch_labels)
        loss.backward()
        optimizer.step()

    # 打印每个epoch的损失
    print(f'Epoch {epoch+1}/{num_epochs}, Loss: {loss.item()}')

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30