阿里: 高效两阶段知识迁移的多实体跨域推荐

省时查报告-专业、及时、全面的行研报告库

省时查方案-专业、及时、全面的营销策划方案库

【免费下载】2024年3月份热门报告合集

推荐技术在vivo互联网商业化业务中的实践.pdf

推荐系统基本问题及系统优化路径.pdf

大规模推荐类深度学习系统的设计实践.pdf

荣耀推荐算法架构演进实践.pdf

推荐系统在腾讯游戏中的应用实践.pdf

小红书推荐系统中台应用实践

微信视频号实时推荐技术架构分享

推荐系统的变与不变

TLDR: 本文针对多实体推荐问题提出了一种基于预训练和微调的多实体知识迁移框架（MKT），有效解决了源实体与目标实体间的数据分布差异及特征模式不一致的问题。大量实验表明MKT相对于多种现有方法具有优势，此外该框架还被部署在咸鱼系统上以用于内容发布推荐。

论文：https://arxiv.org/abs/2402.19101

ChatGPT4国内可以直接访问的链接，无需注册，无需翻墙，支持编程等多个垂直模型，点开即用：https://ai.zntjxt.com（复制链接电脑浏览器或微信中点开即可，也可扫描下方二维码直达）

研究动机

近年来，电商平台上的推荐内容日益丰富，单个用户信息流中可能包含多个实体，例如销售产品、短视频、内容发帖等。为了处理多实体推荐问题，一个直观的解决方案是基于共享网络的架构进行联合训练。其基本思想是将提取的知识从一种类型的实体（源实体）迁移到另一种类型的实体（目标实体）。然而，与传统同一实体的跨域推荐不同，多实体知识迁移面临挑战：

1. 源实体和目标实体的数据分布不同，使得基于共享网络的联合训练容易出现负面迁移问题。

2. 每个实体对应的特征模式并不完全一致（例如，价格是销售产品的基本特征，但内容发帖却没有）

现有利用预训练和微调的方法只考虑了具有相同实体类型和特征系统的场景，无法解决多实体推荐问题。为此本文设计了一种基于预训练和微调的多实体知识迁移框架（MKT）以利用多实体预训练模块来提取跨不同实体中的可迁移的知识。其首先应用特征对齐模块来缩放和对齐不同的特征模式，然后利用知识提取器来提取共通知识和实体的特定知识。最后，利用提取的共通知识进行目标实体模型训练。

方法框架

用表示源实体数据，表示目标实体数据，其中表示输入特征，表示相应的标签信息，例如是否点击。如下图，MKT由两阶段组成。第一阶段，利用和来预训练一个多实体模型(MEM)。第二阶段，建立目标实体模型(TEM)，并通过联合训练将其与MEM连接起来。最终得到的混合模型(图中灰色部分)将被用于目标实体的推荐服务。

在第一阶段，考虑到源实体与目标实体间的特征差异，MEM采用了一个异构特征对齐（HFA）模块来筛选和对齐不同的特征模式，为后续的共通知识提取（CKE）模块提供基础。为了确保CKE的功能符合预期，这里引入了两个独立的知识提取器以致力于提取实体特定知识，同时使用辅助损失以强制拉开实体特定知识和共通知识间的差距。

第二阶段则将低级特征嵌入、提取的高级共通知识和目标实体模型一起进行训练，以预测用户对目标实体的点击行为。其中引入了门控层以更好地适应目标实体模型，而不是直接连接学习到的表示。

多实体模型预训练

特征嵌入 这里将特征分为四组：

1. 用户信息特征，如ID、年龄等。

2. 多实体用户行为序列，咸鱼中有两种类型的实体，因此相应也有两种类型的用户行为序列，一种用于源实体（用户点击的产品），另一种用于目标实体（用户点击的内容发帖）。

3. 实体共享特征，即源实体和目标实体之间相同的特征，如实体目录、创建者ID等。

4. 实体特定特征，其表示仅存在于一种类型实体中的独特特征

所有上述特征首先被转换成一个独热编码，然后再被转换为深度神经网络的低维嵌入向量。对于源域中的每个数据样本，将其映射为以下的嵌入向量格式，其中。

异构特征对齐 实践发现，实体特定特征很大程度上影响了模型性能，只简单地将这些特征映射到同一维度上，然后在不同的实体之间共享这些特征是次优的。为此，本文设计了一种异构特征对齐（HFA）模块，该模块能够选择并对齐实体的特定特征。

HFA首先利用实体特定特征和实体共享特征之间的显式和隐式交互来联合评估每个实体特定特征的重要性。通过重要性得分，HFA进一步增强了那些具有高分的特征。最后，HFA将实体（源实体和目标实体）的特定特征映射到相同的维度中进行对齐，然后将结果向量与共享特征连接起来。整个过程如下图。

对于，采用如下计算以获得显式特征交叉：

其中，及分别表示在第层时显式特征交互的权重和偏置。

隐式特征交叉通过全连接层加ReLU激活函数获得：

将显式特征交叉与隐式特征交叉连接起来，通过全连接层与Sigmoid激活后，将其映射为与实体特定特征向量等长的向量，即得到每个特征的重要性得分：

基于特征重要性得分，HFA放大重要特征并降低不重要特征的权重。最后，将处理后的实体特定特征和实体共享特征连接起来，以供下一个模块使用。源实体特征和目标实体特征的对齐是通过多层感知器（MLP）实现的，如下所示：

上述流程也用于计算得到。

共通知识提取 用表示共通知识提取（CKE），HFA的输出向量和将转换为从用户实体交互中提取的高阶知识，如下式所示：

其中，表示CKE的输出维度。

极化分布损失 在联合训练过程中，很难衡量这些共享参数是否确实学习了共通知识，以及学习到了什么程度。为此提出了一个辅助任务，力保共通知识提取器（CKE）学习共通知识，这里将相应的损失函数命名为极化分布损失（PDL）。

除了CKE之外，还为不同域的实体设计了输出维度与CKE一致的独立知识提取器：源知识提取器（SKE）和目标知识提取器（TKE），分别用和表示，可将其简单理解为MLP模型。则可通过以下公式获得源实体与目标实体的独立高阶知识和：

独立知识应该尽可能区别于共通知识，因此采用极化分布损失来最小化独立知识和共通知识之间的相似性，这里将余弦函数作为相似度衡量函数，如下：

那么极化分布损失就由源域与目标域共同构成，如下：

最终，多实体模型（MEM）预训练的损失函数如下：

其中代表来自源域或目标域的数据样本，是的超参数（整篇论文中将其设置为0.1），代表MEM，表示损失函数，表示MEM中的可训练参数。

目标实体模型微调

在第一阶段结束后，由于源实体的样本数量是目标实体的三倍多，这可能会导致MEM由源实体主导，如果用于在线服务，则可能不是最优的。因此，本文利用第一阶段获得的MEM模型，将相应的知识整合到目标实体模型（TEM）中进行微调以获得更好的模型性能。

在MEM向TEM的知识迁移过程中冻结了MEM的参数，对TEM的微调只需要目标实体样本即可。为了确保TEM保持实体特定能力，只迁移具有相同语义的知识向量。此外，考虑到MEM中的共通知识并不完全适用于TEM，因此使用如GLU一类的自适应门控结构过滤掉不相关的知识。以目标域共通知识为例，过滤过程如下：

其中，表示门控结构，表示TEM的用户-实体交叉向量。同理，可得到，和。TEM的总损失函数可写做如下形式：

其中，其中表示来自目标域的数据样本，表示TEM，表示交叉熵损失，是TEM的可训练参数。

实验设置

数据集 由于工业推荐系统缺乏公开的大规模多实体数据集，因此本文从闲鱼首页推荐系统收集了31天的用户交互数据进行处理，总共获得了源实体的93亿个数据样本和目标实体的31亿个数据样本，数据详情如下所示，实验中使用30天的数据进行训练，剩余1天的数据进行测试。

基线方法 与单域和跨域推荐算法进行比较，其中单域算法包括MLP、DIN和FiBiNet，跨域方法进一步分为两类：联合训练方法（即MMOE、PLE、STAR、CoNet和MiNet算法）和预训练加微调方法（即Finetune和CTNet模型）。

评估指标 采用标准AUC指标，AUC越大意味着排名能力越好。同时，进一步计算Group-AUC（GAUC）以衡量用户层级上排名能力的好坏。

实验结果

模型整体性能 如下图所示，单域推荐算法通常不如跨域方法，这表明来自不同域的数据确实有助于更好地建模用户兴趣。联合训练方法优于单域模型，但差距并不大，这可能归因于它们无法解决跨多个实体的异构特征模式，从而导致改进有限。预训练加微调的方法通常比联合训练算法更好，这可能原因为：

1. 由于数据分布差异和特征错位，联合训练算法很难解决负面知识迁移问题；

2. 通过第二阶段的微调目标实体数据，预训练和微调模型可以更好地适应目标实体。

在预训练加微调的方法中，MKT性能最佳。最显着的区别在于MKT是通过混合源实体和目标实体数据预训练得到的多实体模型，而Finetune和CTNet 模型仅利用源实体的数据。此外，通过设计异构特征对齐（HFA）架构和极化分布损失，MKT可以有效地提取所需的知识，并避免Fineune和CTNet中可能存在的局部最优。

不同用户上的模型性能 为了进一步了解MKT模型的行为，本文根据用户的活动水平（通过过去一个月的点击次数来衡量）将用户分为三组。点击次数少于10次的用户被分配到组1，点击次数为[10,30)的用户被分配到组2，其余的用户被分配到组 3。

结果如下图，MKT明显优于其他两种算法。此外，其对活动水平较低的用户改进较多，而对活动水平较高的的用户改进较少，这表明从源实体中提取的知识对长尾用户更有利。

在线A/B测试 本文在产品环境中成功部署了MKT，用于2023年10月以来闲鱼APP的首页推荐。从 10月1日到10月7日在MKT和产品基线之间进行了在线 A/B测试，每个测试都有5%的随机分配流量。用于评估的两个关键业务指标包括点击率（CTR）和用户参与率（UER）。在A/B测试期间，观察到CTR指标增加了+4.13%，UER指标增加了+7.07%，这表明MKT具有可观的商业价值。

消融实验 本部分研究了三个模块：目标实体模型微调（TEM）、异构特征对齐（HFA）和极化分布损失（PDL）。结果如下图，删除三个模块中的任何一个都可能导致相当大的模型性能退化。

去掉TEM微调模块，AUC和GAUC指标都显著降低，表明第二阶段模型微调的重要性。不带极化分布损失模块的MKT导致AUC和GAUC指标分别下降0.11%和0.35%。同样，在去除HFA后，模型的AUC和GAUC性能分别下降了0.16%和0.88%。主要原因是HFA有助于预筛选特征重要性，从而最终确保在后续模块中更有效地提取知识。

总结

本文提出了一种基于预训练和微调的多实体知识转移框架，称为MKT。MKT可以处理多个实体之间的不同特征模式，同时有效地将知识从源实体转移到目标实体。MKT利用多实体预训练模块来提取不同实体之间的可转移知识。异构特征对齐（HFA）模块旨在缩放和对齐不同的特征模式。极化分布损耗用于促进共通知识的有效提取。最后，将提取的共通知识用于训练目标实体模型。在行业数据集上进行的实验表明，MKT的性能优于最先进的跨域推荐算法。MKT已经部署在闲鱼应用程序中，CTR和UER分别提升了4.13%和7.07%。

ChatGPT4国内可以直接访问的链接，无需注册，无需翻墙，支持编程等多个垂直模型，点开即用：

https://ai.zntjxt.com（复制链接电脑浏览器或微信中点开即可，也可扫描下方二维码直达）

「 更多干货，更多收获 」

【免费下载】2024年3月份热门报告合集

ChatGPT的发展历程、原理、技术架构及未来方向

《ChatGPT：真格基金分享.pdf》

2023年AIGC发展趋势报告：人工智能的下一时代

推荐系统在腾讯游戏中的应用实践.pdf

推荐技术在vivo互联网商业化业务中的实践.pdf

2023年，如何科学制定年度规划？

《底层逻辑》高清配图

推荐技术在vivo互联网商业化业务中的实践.pdf

推荐系统基本问题及系统优化路径.pdf

荣耀推荐算法架构演进实践.pdf

大规模推荐类深度学习系统的设计实践.pdf

某视频APP推荐策略详细拆解（万字长文）

关注我们

一个「在看」，一段时光