UserWarning: torch.nn.utils.clip_grad_norm is now deprecated in favor of torch.nn.utils.clip_grad_no_userwarning: torch.nn.utils.weight_norm is depreca

作者：weixin_40725706 | 2024-04-07 00:55:28

踩

userwarning: torch.nn.utils.weight_norm is deprecated in favor of torch.nn.u

在 PyTorch 中，torch.nn.utils.clip_grad_norm 函数已被弃用，并推荐使用 torch.nn.utils.clip_grad_norm_ 函数。这是因为 _ 后缀版本的函数会直接修改张量的梯度值，而不会创建新的副本。

将：

torch.nn.utils.clip_grad_norm(model.parameters(), config['clip'])
1

替换为：

torch.nn.utils.clip_grad_norm_(model.parameters(), config['clip'])
1

这样做的目的是限制模型参数的梯度范数，以防止梯度过大导致训练不稳定等问题。通过使用 _ 版本的函数，将在不增加额外内存开销的情况下完成梯度裁剪操作。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/weixin_40725706/article/detail/375373