【序列推荐】KDD2018|STAMP---基于注意力的短期记忆优先的推荐

前言

本次分享一篇2018年发表在KDD上的论文，"STAMP: Short-Term Attention/Memory Priority Model for Session-based Recommendation"。本篇论文的背景，依旧是序列推荐【召回】，更准确地说是基于Session的推荐。本文最主要的创新点是：结合通用兴趣（general interest）与当前兴趣（current interest）联合进行推荐。另外， 本篇论文的损失函数非常有意思，并不是和其他Top-K一样完全当成一个二分类，正负样本采用1:N的方式，具体可以看正文内容。
本文约2.9k字，预计阅读10分钟。

STAMP

本篇文章研究的问题是基于匿名会话来预测用户行为。作者提出一个观点：循环神经网络捕捉通用兴趣（general interest，作者自己的定义）是有效的，但是并没有考虑到当前用户兴趣（current interest）对下一行为的影响。在长时间会话中，循环神经网络可能会因为用户的误点击而产生兴趣的偏移。总的来说，就是「用户的短期兴趣和长期兴趣都很重要，但传统的RNN结构设计不能同时区分和利用这两种兴趣。」

因此本文最主要的「创新点」是：提出了一种新的短期注意/记忆优先级(Short-Term Attention/Memory priority, STAMP)模型，该模型能够从会话上下文的长期记忆中捕获用户的通用兴趣，同时从最后点击的短期记忆中考虑用户当前的兴趣。

模型结构

问题描述

定义：

• 物品池集合： ；

• 用户一个Session中的行为序列（即对物品的点击）： ；

• 物品对应的embedding向量集合： ，且 ， 为embedding的维度；

因此，对于在 时刻，用户的Session集合为：