PromptMM: 基于提示微调与知识蒸馏的多模态推荐系统

省时查报告-专业、及时、全面的行研报告库

省时查方案-专业、及时、全面的营销策划方案库

【免费下载】2024年1月份热门报告合集

推荐技术在vivo互联网商业化业务中的实践.pdf

推荐系统基本问题及系统优化路径.pdf

大规模推荐类深度学习系统的设计实践.pdf

荣耀推荐算法架构演进实践.pdf

推荐系统在腾讯游戏中的应用实践.pdf

小红书推荐系统中台应用实践

微信视频号实时推荐技术架构分享

推荐系统的变与不变

TLDR: 为了缓解多种模态信息融合过程中的冗余参数以及噪声等问题，本文提出一种面向推荐系统场景的基于提示微调的多模态知识蒸馏方法PromptMM。

论文：arxiv.org/html/2402.17188v1
代码：github.com/HKUDS/PromptMM

ChatGPT4国内可以直接访问的链接，无需注册，无需翻墙，支持编程等多个垂直模型，点开即用：https://ai.zntjxt.com（复制链接电脑浏览器或微信中点开即可，也可扫描下方二维码直达）

研究动机

多模态推荐系统极大的便利了人们的生活,比如亚马逊和Netflix都是基于多模态内容进行推荐的。对于学术研究,人们也遵循工业界的趋势,进行modality-aware的用户偏好的建模。然而,目前的工作主要是将多模态feature引入推荐系统中,这样的做法导致了两个问题:

• 多模态编码器的引入引进了非常多的额外的参数导致了过拟合，因为所输入给模型的是高维度多模态feature。

I1: Overfitting & Sparsity. 当前的多媒体推荐系统通过采用先进的编码器来处理来自预训练提取器（CLIP-ViT、BERT）的高维特征而表现出色。辅助模态缓解了数据稀疏性，但不可避免地导致了增加的资源消耗。例如，关于电子产品（第4.1.1节）数据集的特征提取器，SBERT和CNNs的输出维度分别为768和4,096。它们比当前方法的嵌入维度要大得多，即

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/348096