[torch]AdamW的weight_decay参数设置失效？_torch adamw

在影像分类任务，resnet50/34/18调参的时候，因为过拟合比较严重，所以尝试使用了weight_decay来进行调参。

但是发现weight_decay = [1e-2, 5e-2, 5e-6]的时候，输出的结果都是一样的。这就十分奇怪，甚至小数点后面好几位都是相同的。

代码如下：

self.optimizer = AdamW([
                {'params': self.model.get_backbone_params(), 'lr': args.backbone_lr, 'weight_decay': args.weight_decay},
                {'params': self.model.get_others_params(), 'lr': args.learning_rate, 'weight_decay': args.weight_decay}
            ])
1
2
3
4

之前也尝试过

self.optimizer = AdamW([
                {'params': self.model.get_backbone_params(), 'lr': args.backbone_lr},
                {'params': self.model.get_others_params(), 'lr': args.learning_rate}
            ], weight_decay=args.weight_decay)
1
2
3
4

都没有结果这个问题，不知道该怎么办，特在此记录。