AI上推荐 之 多任务loss优化(自适应权重篇)_多分类任务的优化技术

1. 写在前面

在多任务学习中，往往会将多个相关的任务放在一起来学习。例如在推荐系统中，排序模型同时预估候选的点击率和浏览时间。相对于单任务学习，多任务学习有以下优势：

• 多个任务共享一个模型，占用内存量减少；
• 多个任务一次前向计算得出结果，推理速度增加；
• 关联任务通过共享信息，相互补充，可以提升彼此的表现。

前面的一篇文章，主要是从模型结构的角度聊了下多任务学习，介绍了工业界非常经典也常用的MMOE模型，然而，对于多任务学习， Loss的优化也非常重要， 因为我们知道通过多个目标去指导网络进行统一的训练，这些目标之间有没有冲突？ 多个目标loss之间如何配合？ loss的规模是否一致？ 等等， 所以这篇文章， 通过几篇paper， 来统一梳理下，在多任务模型训练时， 关于多个loss之间优化常用到的相关思路， 当然这些思路不仅适用于推荐， 只要是多个任务，多个loss同时指导模型训练的场景，比如cv里面的全景感知系统(可能需要同时做目标识别，分割，分类)，都可以考虑这些思路方法， 所以这次整理的更像是多任务学习loss优化的一些范式思想。这篇文章会超级长，总结了四篇经典loss优化自适应权重paper的精华内容并通过代码复现和实验进行了对比。 老规矩：根据目录，各取所需即可