论文阅读笔记（1）：Multi-Task Feature Learning for Knowledge Graph Enhanced Recommendation_kg-mtl: knowledge graph enhanced multi-task learni

Multi-Task Feature Learning for Knowledge Graph Enhanced Recommendation

原文链接：https://arxiv.org/pdf/1901.08907v1.pdf

PS：做个笔记，以便自己查阅。

目录

摘要
1 介绍
2 研究方法
3 理论分析
4 实验
5 相关工作
6 总结和未来展望

摘要

在真实的推荐场景中，协同过滤往往存在稀疏性和冷启动问题，因此，研究人员和工程师通常利用辅助信息来解决问题，提高推荐系统的性能。本文将知识图作为辅助信息的来源。提出了一种多任务特征学习方法MKR，用于知识图增强推荐。MKR是一个利用知识图嵌入任务来辅助推荐任务的深度端到端框架。这两个任务通过交叉压缩单元相关联，该单元自动共享潜在特征，并学习推荐系统中的项目与知识图中的实体之间的高阶交互。证明了交叉和压缩单元具有足够的多项式逼近能力，并表明MKR是推荐系统和多任务学习的几种代表性方法的通用框架。通过对真实世界数据集的大量实验，我们证明了MKR在电影、书籍、音乐和新闻推荐方面取得了巨大的进步，超越了比较先进的模型。即使用户-项目交互很少，MKR也能够保持良好的性能。

1 介绍

推荐系统（RS）旨在解决信息爆炸问题并满足用户的个性化兴趣。最受欢迎的推荐技术之一是协作过滤（CF）[11]，它利用用户的历史互动并根据用户的共同偏好进行推荐。但是，基于CF的方法通常会遇到用户与项目交互的稀疏性以及冷启动问题。因此，研究人员建议在推荐系统中使用辅助信息，包括社交网络[10]，属性[30]和多媒体（例如文本[29]，图像[40]）。知识图谱（KGs）是RS的一种辅助信息，通常包含丰富的事实和有关项目的联系。最近，研究人员提出了一些学术和商业的知识图谱，例如NELL1，DBpedia2，Google Knowledge Graph3和Microsoft Satori4。由于KG的高维和异构性，通常通过知识图嵌入（KGE）方法对其进行预处理[27]，该方法将实体和关系嵌入到低维向量空间中，同时保留其固有结构。

现有KG-aware模型

受到在各种任务中成功应用KG的启发，研究人员最近尝试利用KG来提高推荐系统的性能[31，32，39，40，45]。个性化实体推荐（PER）[39]和带有特征选择的分解因子机（FMG）[45]将KG视为异构信息网络，并提取基于元路径/元图的潜在特征来表示用户和项目之间的连通性 不同类型的关系路径/图形。应该注意的是，PER和FMG严重依赖手动设计的元路径/元图，这限制了它在通用推荐方案中的应用。深度知识感知网络（DKN）[32]设计了一个CNN框架，将实体嵌入与单词嵌入相结合以进行新闻推荐。但是，在使用DKN之前需要实体嵌入，这导致DKN缺乏端到端的培训方式。 关于DKN的另一个问题是，它几乎不能包含文字以外的辅助信息。RippleNet[31]是一个类似于内存网络的模型，它在KG中传播用户的潜在偏好，并探索用户的层次兴趣。但是关系的重要性在RippleNet中表现得很弱，因为关系R的嵌入矩阵很难训练成二次型v⊤R h（v和h是两个实体的嵌入向量）。协作性的知识基础嵌入（CKE）[40]在统一的框架中将CF与结构性知识，文本知识和视觉知识结合在一起。 但是，CKE中的KGE模块（即TransR）比推荐更适合于图形应用（例如KG完成和链接预测）。 另外，在贝叶斯框架下，CF模块和KGE模块在CKE中是松散耦合的，因此对于推荐系统，KG的监督不太明显。

方法

为了解决以往工作的局限性，我们提出了一种用于知识图增强推荐的多任务学习(MTL)方法MKR。MKR是一个通用的端到端的深度推荐框架，旨在利用KGE任务来辅助推荐任务5。注意，这两个任务不是相互独立的，而是高度相关的，因为RS中的一个项目可能与KG中的一个或多个实体相关联。因此，一个项目及其对应的实体可能在RS和KG中具有相似的邻近结构，在低层和非任务特定的潜在特征空间[15]中具有相似的特征。我们将在实验部分进一步验证相似性。为了对项目和实体之间的共享特性建模，我们在MKR中设计了一个交叉压缩单元。交叉压缩单元明确地对项与实体之间的高阶交互进行建模，并自动控制这两项任务的交叉知识传输。通过交叉压缩单元，项目和实体的表示可以互补，有助于避免拟合噪声和提高泛化能力。通过交替优化两个不同频率的任务，可以训练整个框架，使得MKR在实际的推荐算法中具有较高的灵活性和适应性。
我们探讨了MKR的表达能力，并通过理论分析表明，交叉压缩单元能够近似地表示项目和实体之间的高阶特征交互。我们还证明了MKR是一种广义的框架，适用于多种有代表性的推荐系统和多任务学习方法，包括因子分解机[22,23]、深度交叉网络[34]和十字绣网络[18]。根据经验，我们评估了我们的方法在四个推荐场景即。、电影、书籍、音乐和新闻推荐。结果表明，MKR在点击率(CTR)预测(例如，电影平均提高11.6%的AUC)和top-K推荐(例如，书籍平均提高66.4%的Recall@10)方面都取得了显著的进步。MKR还可以在稀疏场景中保持良好的性能。

贡献

值得注意的是，由于我们更关心推荐任务的性能，因此本文研究的问题也可以建模为跨域推荐[26]或迁移学习[21]。然而，关键的观察是，虽然跨域推荐和转移学习对于目标域只有一个目