推荐系统笔记-协同过滤中常用的相似度度量方法_推荐系统 相似性指标构建

目前协同过滤是应用最广泛、最成功的个性化推荐技术，其中基于近邻的协同过滤是重要的一类。他的基本思想是用一种相似度度量方法找到最近邻居集合（目标用户的最相似用户集合或者项目的最相似项目集合），最后通过对最近邻居集合的评分进行加权平均求和产生推荐集。

相似度计算的准确性直接影响推荐质量，传统的相似度度量方法利用两个用户对相同项目的共同评分来计算用户之间的相似度；项目之间的相似度通过对项目的共同评分用户的评分计算得到。然而在数据极大稀疏的时候无法保证足够的共同评分数据，传统的相似度计算方法的推荐效果不佳。

所以使用协同过滤，其关键在于最近邻居集合的选择，推荐系统的性能直接依赖于目标用户/项目邻居的选择，依赖于用户/项目之间相似度的度量，从而改进相似度计算方法，缓解数据稀疏性问题、提高推荐质量。协同过滤中常用的相似度度量方法包括余弦相似度、调整余弦相似度、Pearson相关系数和、Jaccard相似度等。

余弦相似度

$$si{m}_{cos}(u,v)=\frac{{\sum }_{i\in I_{u,v}}{r}_{u,i}{r}_{v,i}}{\sqrt{{\sum }_{i\in I_{u,v}}{r}_{u,i}^2}\sqrt{{\sum }_{i\in I_{u,v}}{r}_{v,i}^2}}$$
其中$I_{u,v}$为用户$u$和用户$v$的共同评分项目集；$r_{u,i},r_{v,i}$分别表示用户$u$和用户$v$对项目$i$的评分。

余弦相似度使用两个向量的夹角余弦值度量相似度，两个向量的夹角越小，他们的夹角余弦值越大，余弦相似度越高。这种方式对于评分数据不敏感，它过分关注向量之间的夹角而忽略向量的长度，并且过于依赖两个用户的共同评分。

调整余弦相似度

$$si{m}_{acos}(u,v)=\frac{{\sum }_{i,j\in I_{u,v}}(r_{u,i}-\overline{r_u})(r_{v,i}-\overline{r_v})}{\sqrt{{\sum }_{i\in I_u}(r_{u,i}-\overline{r_u}{)}^2}\sqrt{{\sum }_{i\in I_v}(r_{v,i}-\overline{r_v}{)}^2}}$$
其中$\overline{r_u}$为用户$u$的平均评分，$\overline{r_v}$为用户$v$的平均评分.

调整余弦相似度通过减去平均值来提升对评分数值的敏感程度，但是没有办法辨别正负相关性。例如$r_u=(4,5),r_v=(5,4),si{m}_{acos}(u,v)=-1$,尽管两个用户在逻辑上相似，计算结果却展现出了不相符的结果。

Pearson相关系数

$$si{m}_{Pear}(u,v)=\frac{{\sum }_{i,j\in I_{u,v}}(r_{u,i}-\overline{r_u})(r_{v,i}-\overline{r_v})}{\sqrt{{\sum }_{i,j\in I_{u,v}}(r_{u,i}-\overline{r_u}{)}^2}\sqrt{{\sum }_{i,j\in I_{u,v}}(r_{v,j}-\overline{r_v}{)}^2}}$$

Pearson相关系数是衡量两个数据集合之间的线性关系。该系数考虑到了用户评分的偏差，却忽略了用户共同评分的项目数，不能完美的度量相似度。

Jaccard相似度

$$si{m}_{Jac}(u,v)=|\frac{I_u\cap I_v}{I_u\cup I_v}|$$
其中$I_u$为用户$u$评分的项目，$I_v$为用户$v$评分的项目.

Jaccard相似度仅考虑了两个用户的共同评分数，未考虑绝对评分，从而影响用户相似度的准确性。

巴氏系数

巴氏系数是对两个统计样本的重叠的近似计算，可以用来对两组样本的相关性进行测量。统计学中巴氏系数用于测量两种离散概率分布的可离性，测量两个概率分布之间的相似度。

在连续域，两个密度分布p_1(x)和p_2(x)之间的相似度用巴氏系数定义如下
$$BC(p_1,p_2)=\int \sqrt{p_1(x)p_2(x)}dx$$

在离散域上，定义如下
$$BC(p_1,p_2)=\sum _{x\in X}\sqrt{p_1(x)p_2(x)}$$
其中密度$p_1(x)$和$p_2(x)$表示已知的评分数据。

计算用户$u$和$v$之间的$BC$相似度，使用两个用户的评分类别$p_{u}h$和$p_{v}h$来评估其离散密度
$$BC(u,v)=BC(\widehat{p_u},\widehat{p_v})=\sum _{h=1}^m\sqrt{(\widehat{p_{uh}})(\widehat{p_{vh}})}$$
其中，$m$为评分类别总数，$\widehat{p_{vh}}=\frac{\#h}{\#u}$,其中$\#u$为对用户$u$评分的项目总量，$\#h$为用户$u$评分为$h$的项目总量，${\sum }_{h=1}^m\widehat{p_{uh}}={\sum }_{h=1}^m\widehat{p_{vh}}=1$

例如,用户$u$和用户$v$的评分向量$r_u=(1,0,2,0,1,0,2,0,3,0),r_v=(0,1,0,1,0,2,0,2,0,3)$，则：
$$BC(u,v)=\sum _{h=1}^5\sqrt{\widehat{p_{uh}}\widehat{p_{vh}}}=\sqrt{\frac{2}{5}\times \frac{2}{5}}+\sqrt{\frac{2}{5}\times \frac{2}{5}}+\sqrt{\frac{1}{5}\times \frac{1}{5}}+0+0=1$$

巴氏系数在没有共同评分的情况下也可以计算用户$u$和用户$v$之间的相似度，如果两个用户在全局角度上是相似的，则$BC(u,v)$可以提高用户$u$和$v$评分之间的局部相似性；如果两个用户完全不相似，则$BC(u,v)$降低两个用户评分之间局部相似度的重要性。