结合因式分解（SVD++）与近邻模型的混合协同过滤推荐系统_基于svd++和ubcf算法的混合推荐方法

一、 介绍

推荐系统现在的应用已经非常广泛了，协同过滤（CF）是一种常见的推荐系统，仅根据用户过去的行为来进行推荐，不需要domain knowledge，也不需要进行大规模的数据收集。CF又分为 Neighborhood model （比如User-based 和 Item-based） 和 Latent factor model （例如SVD）。Neighborhood models 可以发现局部的强关联，但是不能发现全局性的特征和关联（因为其本质上是KNN），  Latent factor model 可以挖掘全局性特征，却不能发现局部强关联。因此本文介绍的混合推荐系统将这两种模型结合起来，以期待既挖掘出局部强特征，又保留全局性特征。CF 算法的 Baseline estimates 是， 其中 μ 代表所有物品的平均评分，  bu 代表用户的个人偏差，即用户 u 的平均评分相对于 μ 的偏差，bi 代表该物品相对于 μ 的偏差，三者相加之和是用户 u 对物品 i 的预测得分。Baseline 的损失函数如下，其中 lambda 1 是正则化系数， 代表已知的用户 u 对物品 i 的评分，K 是所有已知评分的集合。是用户 u 对 物品 i 的预测得分。

二、 Neighborhood models  

对物品相似度的计算有各种不同的方法，jaccard、cosin similarity等，SVD++ 论文中所采用的方法是，其中 nij 是物品 i 和 j 共同被用户打分过的次数， pij 是物品 i 和 j 的被打分向量的皮尔森系数， lambda 2 是正则化系数，控制除数不为0，且当 nij 较小时，两物品的相似度的权重也较低，经验取值是100（具体应用要根据具体的数据集来定）。依据该相似度度量方法， item-based Neighborhood model 的预测公式如下，

在 baseline 的基础上增加了对被预测物品的各相似物品的误差的拟合，各相似物品的误差权重即为两者相似度，并对误差之和归一化。

其中 Sk 意为与物品 i 较像的 k 个物品的集合。

该模型具有可解释性、易实现等优势，缺点是如果用户 u 没有对物品 i 的相似物品打过分，预测得分就会变成 baseline， 而且只考虑 i 的相似物品集，未考虑全局特征。

三、 Latent factor models

这个类型的模型有很多，在这里我们使用 SVD 模型。SVD 模型的预测公式为： 其中 pu 来自于对 用户-物品打分矩阵 分解出来的 low rank 矩阵 P，是用户 u 的特征向量，qi 来自于分解出的 low rank 矩阵Q，是物品 i 的特征向量。分解过程可以使用 ALS 算法等。由于打分矩阵是稀疏的，缺失值的处理显得至关重要。可以用 0 或者均值，或者其余模型的预测值来填补，不过由于填补之后运算量变大，且填补的值本身带有很大的误差，在这里我们不进行缺失值填补，只对已知的打分数值进行拟合。拟合过程为。

四、  隐式反馈

打分是用户对数据集的显式反馈，还有一些隐式反馈，如点击而未打分等。 SVD++ 综合利用了显式反馈和隐式反馈，使用更多的反馈数据可以提高模型的准确度。

五、 新 Neighborhood model

在增加隐式反馈的基础上，我们改进一下上面的Neighborhood model， 第一步将预测公式改进为

这里有两个较大的改动，一个是用 wij 代替 sij，之前的 sij 是基于皮尔逊系数的物品之间的相似度，这里的 wij 则是通过学习来得到的权重系数，不止局限于有共同打分记录的物品间，而是全局每两个物品之间都会有一个权重系数，并且未对 wij 进行归一化操作。这样，当两个物品的关联系数较小时，哪怕物品 j 的 baseline 拟合误差很大，对物品 i 的影响也很小。而当两个物品的关联系数很大时，哪怕物品 j 的baseline拟合误差很小，也会对 i 产生较大影响。

第二步的改动是

与第一步的区别是加了 cij， cij 是另一组需要学习的权重系数，和 wij区别在于来自的集合不同。 wij 中的物品 j 来自于显式反馈集合 R ，即物品 i j 被共同打过分； 而 cij 中的物品 j 来自于隐式反馈集合 N ，即物品 i j 可能没被打过分，但被同一用户点击过。 

我们可以看到，在上面的公式中，有较多打分行为或隐式行为的用户会更多地偏离 baseline estimates，有较少行为的用户则会更接近于 baseline 的预测。而这有些过于强调了两类用户的不同，因此，第三步改进如下，加入了对行为次数的约束。

为了减少模型复杂度，可以做进一步改进，公式如下。新公式的集合上方有 k 意味着只考虑与物品 i 最接近的 k 个物品。当k取向于无穷大时，此公式趋向于上一公式。这样可以大大减少要学习的系数。

相应的损失函数如下：

其对应的系数更新公式如下

六、 Asymmetric-SVD 与 SVD++

七、 混合模型