谷歌: 利用推荐知识对齐大语言模型

省时查报告-专业、及时、全面的行研报告库

省时查方案-专业、及时、全面的营销策划方案库

【免费下载】2024年3月份热门报告合集

推荐技术在vivo互联网商业化业务中的实践.pdf

推荐系统基本问题及系统优化路径.pdf

大规模推荐类深度学习系统的设计实践.pdf

荣耀推荐算法架构演进实践.pdf

推荐系统在腾讯游戏中的应用实践.pdf

小红书推荐系统中台应用实践

微信视频号实时推荐技术架构分享

推荐系统的变与不变

TLDR: 本文针对推荐任务和自然语言任务中存在的知识鸿沟等问题，受掩码物品建模和个性化排序方法的启发，提出了一种利用自然语言模拟上述两种操作的模型以生成辅助任务数据，然后基于此对大模型进行微调，实验表明其可以将推荐特定的知识注入到大模型中。

论文：https://arxiv.org/abs/2404.00245

ChatGPT4国内可以直接访问的链接，无需注册，无需翻墙，支持编程等多个垂直模型，点开即用：https://ai.zntjxt.com（复制链接电脑浏览器或微信中点开即可，也可扫描下方二维码直达）

大语言模型最近被许多研究工作当做推荐系统的骨干网络。然而，在检索等标准任务中，它们的性能往往落后于传统方法。本文将其归因于大模型的专有知识和对推荐至关重要的领域知识之间存在不匹配的问题。虽然大模型擅长自然语言推理，但它们无法对推荐任务中固有的复杂用户项目交互进行建模。

针对以上问题，研究人员通过指令调优将某些推荐知识引入到大模型中。如下图所示，他们的训练数据样本，我们称之为推荐任务数据样本，主要通过提供如何做的说明(比如，“从以下候选中为用户选择一个项目”)来帮助大模型理解推荐任务。然而，在对目标推荐领域建模方面，它们利用了原始的用户和项目特征以进行个性化(例如，用户的ID或他们最近交互的项目的ID)，这不足以使大模型完全理解目标领域。

本文为了缩小两者之间的知识鸿沟，并为大模型提供推荐特定的知识来解决这一问题。受掩码物品建模(Masked Item Modeling)和贝叶斯个性化排序(BPR)等方法在传统推荐系统中取得成功的启发。本文通过自然语言模拟这些操作，以生成满足项目相关性和用户偏好的辅助任务数据样本。在这种辅助任务数据样本上对大模型进行微调，并整合更具信息量的推荐任务数据样本，这有助于将推荐特定的知识注入到大模型中。

在FLAN-T5- Base和FLAN-T5- xl等大模型上的检索、排序和评分预测任务上的广泛实验表明了该技术在亚马逊Toys&Games、Beauty和Sports&Outdoors等领域的有效性。值得注意的是，所提出方法在检索方面明显优于传统的和基于大模型的基线，这充分展示了其提高推荐质量的潜力。

「 更多干货，更多收获 」

【免费下载】2023年5月份全网热门报告合集无需翻墙，无需注册，ChatGPT4直接使用ChatGPT提词手册，学完工作效率提升百倍马斯克谈AI：中美差距12个月，出现AGI只要三五年万字干货：ChatGPT的工作原理2023年创业（有创业想法）必读手册ChatGPT等让你效率倍增的22个AI工具ChatGPT调研报告（仅供内部参考）ChatGPT的发展历程、原理、技术架构及未来方向《ChatGPT：真格基金分享.pdf》2023年AIGC发展趋势报告：人工智能的下一时代

会玩！女王红化身AI，同时交往1000个男朋友！

清华大学195页干货报告：AIGC发展研究报告.pdf