基于大数据的信息推荐算法与系统研究_大数据推荐算法结论

随着互联网和电子商务的发展，个性化推荐技术逐渐成为一种新型的内容提供方式，得到越来越多研究者的关注。目前，几乎所有大型电子商务系统、网络流媒体等都在使用各种形式的推荐系统，它的出现有效地解决了用户如何从海量数据中获取相关信息这一难题。然而，用户在不同的时间段会有不同的兴趣，随时间而变化，如何通过捕捉用户的兴趣变化来提高推荐质量成为了当今推荐系统的挑战。同时由于信息爆炸产生的大量数据已经超出了单机环境的处理极限，系统的可扩展性面临巨大压力。

首先，针对推荐质量与时间相关的特性，本文重点研究了基于聚类和时间因素的协同过滤推荐算法。利用用户行为数据中的时间信息对传统协同过滤推荐算法进行改进，提出新的相似度计算方法。同时引入聚类算法，充分挖掘用户的兴趣，提高推荐准确率。

然后，因为基于协同过滤推荐算法无法通过高阶特征交互来学习复杂的用户项目评分，本文提出基于大数据的CNN-DSCK推荐算法。所选应用的CNN-DSCK架构，通过在多个内核上进行深度卷积并在最后组合来利用产品评论来模拟用户偏好和项目属性。顶部的融合/联合层用于从每个网络中通过不同内核获得的特征中推断出最有影响力的特征，以进行最终评级。

最后，为了验证本文所提出的理论方法的可行性，进行实验检测。实验结果表明，CNN-DSCK 在七个公开可用的基准数据集上的预测精度方面取得了卓越的性能，并且优于各种最先进的基线方法。通过基于真实的电商数据的实验，验证该系统的可扩展性以及实时性。

关键词：推荐系统、协同过滤、聚类、高阶特征交互、CNN-DSCK

Abstract

With the development of the Internet and e-commerce, personalized recommendation technology has gradually become a new type of content providing method, which has attracted more and more researchers' attention. At present, almost all large-scale e-commerce systems, network streaming media, etc. are using various forms of recommendation systems, and its emergence effectively solves the problem of how users obtain relevant information from massive data. However, users have different interests in different time periods, which change with time. How to improve the recommendation quality by capturing the changes of users' interests has become a challenge for today's recommendation systems. At the same time, the large amount of data generated by the information explosion has exceeded the processing limit of the stand-alone environment, and the scalability of the system is under enormous pressure.

First, in view of the time-related characteristics of recommendation quality, this paper focuses on the collaborative filtering recommendation algorithm based on clustering and time factors. The traditional collaborative filtering recommendation algorithm is improved by using the time information in the user behavior data, and a new similarity calculation method is proposed. At the same time, a clustering algorithm is introduced to fully tap the interests of users and improve the accuracy of recommendation.

Then, because collaborative filtering-based recommendation algorithms cannot learn complex user item ratings through high-order feature interactions, this paper proposes a big data-based CNN-DSCK recommendation algorithm. The selected applied CNN-DSCK architecture leverages product reviews to model user preferences and item attributes by performing depthwise convolutions on multiple kernels and combining them at the end. A fusion/union layer on top is used to infer the most influential features from the features obtained by different kernels in each network for the final rating.

Finally, in order to verify the feasibility of the theoretical method proposed in this paper, an experimental test is carried out. Experimental results demonstrate that CNN-DSCK achieves superior performance in prediction accuracy on seven publicly available benchmark datasets and outperforms various state-of-the-art baseline methods. Through experiments based on real e-commerce data, the scalability and real-time performance of the system are verified.

Keywords: Recommendation System; Collaborative filtering; Clustering; Higher-order feature interaction, CNN-DSCK

目录

摘 要......................................................................................................................................... I

Abstract............................................................................................................................ II

目录........................................................................................................................................ III

第一章 绪论............................................................................................................. 1

1.1 课题研究背景和意义......................................................................................................................... 1

1.2 国内外研究现状............................................................................................................................. 2

1.3 本文研究内容............................................................................................................................... 4

1.4 本文组织结构............................................................................................................................... 4

第二章 推荐系统介绍......................................................................................................... 6

2.1 推荐系统概述.................................................................................................................. 6

2.2 常用的推荐算法介绍...................................................................................................... 7

2.2.1 基于内容的推荐...................................................................................................... 7

2.2.2 基于协同过滤的推荐.............................................................................................. 8

2.2.3 混合推荐方法........................................................................................................ 11

2.3 推荐系统的评测指标.................................................................................................... 12

2.3.1 准确度指标............................................................................................................ 12

2.3.2 覆盖度指标............................................................................................................ 14

2.3.3 多样性指标............................................................................................................ 14

2.3.4 新颖性指标............................................................................................................ 15

2.3.5 实时性指标............................................................................................................ 15

2.4 本章小结........................................................................................................................ 16

第三章 基于聚类和时间因素的推荐算法................................................................... 17

3.1 时间对用户兴趣的影响................................................................................................ 17

3.2 基于聚类的推荐算法.................................................................................................... 17

3.3 改进的推荐算法............................................................................................................ 18

3.3.1 考虑时间因素的项目相似度................................................................................ 18

3.3.2 计算推荐权值........................................................................................................ 19

3.3.3 TCItemCF 算法...................................................................................................... 20

3.4 实验与分析.................................................................................................................... 21

3.4.1 实验数据集的选取................................................................................................ 21

3.4.2 实验设计与结果分析............................................................................................ 21

3.5 本章小结........................................................................................................................ 25

第四章 基于大数据的分布式推荐算法设计............................................................... 27

4.1 实时大数据处理框架.................................................................................................... 27

4.2 Hadoop 技术.................................................................................................................. 28

4.2.1 HDFS分布式文件系统.......................................................................................... 29

4.2.2 Mapreduce编程模型.............................................................................................. 30

4.3 Storm流式处理平台...................................................................................................... 31

4.3.1 Storm集群核心组件............................................................................................... 31

4.3.2 Storm运行原理....................................................................................................... 32

4.3.3 Storm流式处理模型............................................................................................... 33

4.4 其他相关技术................................................................................................................ 34

4.4.1 Redis存储系统....................................................................................................... 34

4.4.2 Kafka分布式消息处理系统.................................................................................. 34

4.5 实时推荐系统................................................................................................................ 34

4.5.1系统架构设计...................................................................................................................... 34

4.5.2 系统关键模块分析................................................................................................ 36

4.6 分布式推荐算法............................................................................................................ 37

4.6.1 算法分析................................................................................................................ 37

4.7 推荐算法设计................................................................................................................ 37

4.7.1 基于Mapreduce的物品相似度计算.................................................................... 37

4.7.2 基于Mapreduce的聚类算法设计........................................................................ 42

4.7.3 基于Storm的推荐算法设计................................................................................. 44

4.8 实验与分析.................................................................................................................... 45

4.8.1 实验环境与实验工具............................................................................................ 46

4.8.2 实验数据................................................................................................................ 46

4.8.3 实验结果分析........................................................................................................ 46

4.9 本章小结........................................................................................................................ 49

第五章 总结与展望............................................................................................................ 50

5.1 总结................................................................................................................................ 50

5.2 展望................................................................................................................................ 50

参考文献................................................................................................................................ 52

攻读硕士学位期间取得的研究成果.............................................................................. 55

致谢......................................................................................................................................... 56

第一章 绪论

1.1 课题研究背景和意义                                                                             

得益于计算机技术与网络技术的迅猛发展，互联网在过去20年里得到了飞速发展。随着web2.0时代的到来，网民的数量急剧增加，移动设备的普及进一步加剧了这一现象。根据CNNIC的最新数据[1]显示，到目前为止，中国的互联网用户已达10.32亿，互联网普及率达到73％。在2021年中国新增网民接近4296万人，增长率为2.6％。从这份数据中本文同样可以发现，中国网民越来越多的使用手机来上网，截止到2021年12月底，中国通过手机上网的人数达到10.29亿之多，在中国的网民中有99.7％的人通过手机来上网。随着互联网迈向web2.0时代，互联网上的每一个用户不仅是信息的获取者，同时也是信息的生产者；用户既是网站内容的浏览者，也是网站内容的制造者。正是这种转变加速了大数据时代的到来。

大数据给本文的生活创造了多样性的同时也带来“信息过载”的困扰。为了解决这一困扰，人们研发了搜索引擎，来帮助用户从大数据中获取有价值的信息。但这还远远不够，因为搜索引擎需要用户提供信息以获取用户的搜索意图，用户可获取的信息限定在其己知的信息范围中，而不能帮助用户找到其不知道但有价值或感兴趣的内容。推荐系统[2]能够从一定程度上弥补搜索引擎的缺陷，成为继搜索引擎技术之后的又一个解决信息过载问题的利器，具有广泛的应用场景和商业价值。自从 Netflix成功举办的Netflix Prize大奖赛以来，推荐算法成为了各个公司的热门研究方向。今天，推荐系统已成为了互联网应用的重要组成部分，Amazon、Google News、今日头条、快手、淘宝、百度、京东等众多互联网公司都通过采用推荐算法来提高用户体验，增加商业收益。据相关数据显示[3]，亚马逊使用的推荐系统为其营业收入贡献了35％左右，由此可见推荐系统蕴含的巨大商业价值。

随着社交网站和电子商务网站的发展崛起，推荐系统面临一些新的挑战：1）可扩展性。随着互联网的高速发展，每天产生的数据量巨大，用来做推荐的数据将会越来越多，已经超过了单机处理能力的极限，在大数据场景下，推荐系统和其他系统一样，不单要考虑用户可以容忍的响应时间，还要考虑系统在存储方面的问题。2）准确性。用户的兴趣会随着时间发生变化，如何捕捉用户兴趣的变化是提高推荐系统准确率的关键。同时随着移动互联网的快速发展，网民的上网设备正在向手机端集中，受移动设备屏幕的限制，信息呈现给用户的机会变少，只有提升推荐准确率才能获得更好的用户体验。3）实时性。传统的个性化推荐系统都是定期对数据进行分析，然后更新模型，再基于新的模型进行推荐。但用户的行为是在实时改变的，用户最近的行为反应了用户的兴趣，如果不能实时捕捉用户的行为，更新推荐模型，推荐的结果可能不会非常精准。如何使得推荐系统更加具有实时性，更加能够反应用户当前行为是当前推荐技术面临的挑战。

国外研究机构提出了用户兴趣衰减模型来拟合用户的兴趣漂移从而提高推荐的准确率，提升用户体验。在大数据处理方面，通过学术界和工业界的不断创新，得出了许多优秀的大数据处理方案，同时也相继诞生了许多优秀的大数据处理平台，如批处理平台Hadoop[4]，流式处理平台Storm[5]等。为了解决大数据处理过程所面临的可扩展性和实时性，工程师Nathan Marz在2011年提出了大数据架构Lambda[6]，该架构的设计目标就是解决实时大数据系统中存在高延时以及可扩展等问题，因此该架构在解决实时推荐方面有很大优势。

1.2 国内外研究现状

1.2.1 协同过滤推荐技术

自1997年Hal R．Varian和Paul Resnikc提出推荐系统[7]以来，人们对推荐系统的研究就从未停止，而且随着近几年电子商务和互联网不断发展，推荐系统越来越受到人们的重视，功能不断强大，应用规模也随着扩大。在工业界，协同过滤推荐算法被应用于早期的推荐系统如Grouplens8[8]、PHOAKS[9]、 Jester[10]以及Amazon网站[11]等，而且都取得了巨大成功。当前，绝大多数的商业系统仍广泛釆用协同过滤推荐算法，这是因为该算法与基于内容的推荐算法有本质上的区别，它独立于具体的推荐内容，可以处理用户行为数据并向用户推荐各种项目，如商品、电影、音乐等。与其他推荐领域的算法相比，基于协同过滤的推荐算法简单易实现。协同过滤是个性化推荐算法当中研究和应用最为广泛的技术，该算法主要通过对用户之前的日志数据进行分析建立模型拟合他的兴趣来为其做推荐。基于协同过滤机制进行推荐的算法按照生成结果的方式不同分为启发式的和基于模型的。其中启发式的推荐算法简单易于实现，成为主流的推荐算法。在启发式的协同过滤算法中，相似度计算方法关系到推荐结果的准确性，Nathan等[12]通过加入了时间信息来拟合用户的兴趣衰减。Xue[13]等引入聚类技术对用户做预处理，然后对相似的用户计算相似度。

（1）可扩展性问题研究现状

协同过滤推荐技术在可伸缩性方面效果较差，随着处理的数据量越来越大，推荐系统的计算能力，可扩展性和实时性都受到限制。为了解决推荐系统的可扩展性，专家和学者提出了很多解决方法，如通过奇异值分解和主成分分析来降低数据的维度。但上述方法在处理数据的过程中都会丢失部分信息，从而影响推荐精度。而且上述方法都是在单机上实现，受到单机计算能力的限制。近年来，随着大数据平台的提出，使得推荐算法在可扩展性方面取得很大突破。Zhao等[14]在分布式平台Hadoop上实现了基于用户的协同过滤推荐算法。Sebanstian[15]等提出利用MapReduce实现了基于相似性邻居的推荐算法。Muqeet Ali[16]等在Storm和Hadoop平台上实现了基于隐语义模型的推荐算法。除此之外，Google News、Youtube都在它们的商业推荐系统使用到大数据平台进行分布式算法。

（2）实时性问题研究现状

在实时性方面，工业界研究居多，如Netflix 公司的3层推荐架构[17]以及Google公司的新闻推荐系统架构[18]都能有效地解决实时推荐的问题。实时个性化推荐算法一般分为两部分：实时在线计算部分和离线计算部分。离线部分在分布式平台上对数据进行处理，然后训练出模型；实时在线计算部分处理少量的增量数据，生成推荐结果并更新用户模型。在目前的实时性推荐架构中，离线模块一般都采用分布式批处理工具，如Hadoop平台，而在线模块都釆用分布式流式处理工具，目前主流的有Yahoo开发的S4分布式流式处理平台，BackType开发的Storm实时计算框架，UC Berkeley AMP Lab开发的Spark通用并行计算框架[19]。其中Storm为了方便处理持续不断的流数据而设计,弥补了批处理在实时性方面的缺陷，其主要应用在在线分析，在线机器学习，持续计算等场景中。

（3）时间因素问题研究现状

自Netflix大奖赛以来，关于时间因素对推荐准确率的影响得到了许多学者的关注。Netflix大奖赛的冠军得主Koren在LFM(latent factor model)隐语义模型[20]中引入时间因素，拟合用户随时间变化的兴趣漂移以及项目的季节效应，更好的捕获用户在某一时间段的兴趣，将系统推荐的准确率进一步提高。国内学者项亮将用户兴趣分为长兴趣和短兴趣，并通过引入会话节点来对用户项目二部图模型进行改进得到了能捕捉用户长短期兴趣的时间段图模型。Neal Lathia博士也对推荐系统中时间因素的影响进行深入的研究[21]。邢春晓[22]从用户的兴趣随时间变化的角度出发，提出了一种基于协同过滤算法改进的推荐算法来捕捉用户的兴趣漂移，从而提高系统的准确率。由于基于协同过滤的算法在数据稀疏性，可扩展性与冷启动等方面表现不佳，并且随着用户数目和物品数目不断增多而变得十分耗时，为了克服这些问题，许多学者将聚类算法引入推荐系统中，在保证推荐结果准确率的同时大大提高最近邻的搜索效率。O' Connor[23]提出了先对物品进行聚类然后再使用协同过滤机制进行推荐的算法，该算法通过对物品进行聚类，然后从与物品相似的几个类中进行筛选，从而减少了计算量。Wang[24]从用户的角度出发，以评分数据库为基础，利用K-Means算法对用户进行聚类，有效缓解了数据的稀疏性问题并提升了系统的准确率。本文同样提出了一种考虑时间因素和聚类算法的动态推荐算法。

1.2.2 深度神经网络推荐技术

尽管协作过滤方法（Koren 等人，2009 年，Salakhutdinov 等人，2007 年，Deshpande 和 Karypis，2004 年）在推荐方面仍然很流行，但它们也有一些局限性。首先，在稀疏数据的情况下，大多数 CF 方法的性能会显着下降。其次，他们无法解决冷启动问题（Wan & Niu，2018 ）。产品评论、用户和项目描述等文本信息是许多推荐系统中最流行的辅助信息。因此，利用文本评论来解决这些关键限制已成为热门研究课题。

在过去的几年里，已经做了很多工作，利用文本评论来提取有用的信息来提高评分预测性能，例如 HTF ( McAuley & Leskovec, 2013 )、CTR ( Wang & Blei, 2011 )、RBLT ( Tan et al., 2016 )、RMR ( Ling, Lyu, & King, 2014 ) 和 TopicMF ( Bao et al., 2014 )。这些作品将主题模型集成到其框架中，以从文本中提取潜在的主题因素。隐藏因素作为主题 (HFT) 采用类似 LDA 的技术从用户或项目评论中学习潜在方面。与使用评论或评级的方法相比，该模型获得了显着改进。同样，CTR 采用类似于LDA的技术来学习潜在方面（谭等人，2016 年）。还采用主题建模技术从评分提升文本评论中发现主题特征作为潜在因素。这些潜在主题因素随后被集成到矩阵分解(MF) 框架中以推断项目偏好。RMR 也是一种主题建模技术，用于发现从项目评论文本和高斯混合到模型评级的主题因素。该模型利用了来自评级和评论的信息。RMR 与 HFT 的不同之处在于它使用主题建模来利用项目评论，并将主题与评级维度对齐以提高预测性能。TopicMF (鲍等人，2014）。Yang、Yu、Liu、Nie 和 Wang (2016)使用 LDA 对从评论中提取的方面术语进行聚类。张量分解策略用于首先自动推断权重，然后根据方面评级和权重对项目进行总体评级。协作深度学习 (CDL) ( Wang, Wang, & Yeung, 2015 ) 是第一个在堆叠去噪自动编码器(SDAE) ( Vincent, Larochelle, Lajoie, Bengio, & Manzagol, 2010 ) 和矩阵分解之间建立关联的分层贝叶斯模型模型. SDAE 用于从文本和 PMF 中捕获隐式评分矩阵的潜在因素。这种方法优于完全依赖用户项目评级的模型。总体而言，上述研究有一个局限性，即这些方法中的文本相似性完全基于词汇相似性。这种方法不适用于英语评论，因为任何两个评论即使词汇重叠较少也可能在语义上相似。此外，评论是通过词袋表示的，因此无法保留评论中单词的顺序。此外，基于主题建模的方法存在可扩展性问题，无法处理新项目和用户，即冷启动场景。

最近，已经进行了各种尝试，利用基于深度神经网络的技术进行预测和推荐任务（Khan、Niu、Sandiwarno 和 Prince，2020 年）。一些作品用于将协同过滤与不同的神经网络结构相结合以提高预测精度（He et al., 2017 , He and Chua, 2017 , Wei et al., 2017）。他等人。(2017)提出了一种神经协同过滤 (NCF) 框架，该框架用神经架构替换 MF 的内积，以学习用户和项目之间的非线性特征交互。后来，神经分解机 (NFM) ( He & Chua, 2017) 被提议通过对高阶和非线性特征交互进行建模来增强分解机 (FM)。对于利用评论的方法，协作深度学习 (CDL) ( Wang et al., 2015 ) 采用分层贝叶斯模型，该模型对内容执行深度表示学习以及对评分矩阵的协同过滤。ConvMF ( Kim et al., 2016 ) 将卷积神经网络 (CNN) 集成到概率矩阵分解 (PMF) 中以进行评分预测。它利用项目描述文档来使用 CNN 提取上下文信息。深度协作神经网络(DeepCoNN) ( Zheng et al., 2017 ) 由两个并行卷积神经网络组成，最后通过 FM (Rendle, 2010 ) 用于评级预测。其中一个网络用于从用户评论文档中学习潜在特征，另一个网络用于从项目评论文档中学习潜在特征。然后，FM 用于理解潜在特征交互以进行评分预测。Transnets ( Catherine & Cohen, 2017 )通过引入额外的潜在层来扩展DeepCoNN 模型，以解决其中文本评论仅可用于训练且不可用于测试的限制。D-attn ( Seo et al., 2017 ) 使用CNN对用户偏好和项目属性进行建模来自用户和项目评论的双重可解释的本地和全球关注。最后，通过使用项目和用户嵌入的点积来评估评级。邢等人。提出了一种分层注意模型 HAUP ( Xing et al., 2019 )，它同时从评论和评分中学习用户和项目信息。Liu 等人最近提出了一项工作。(2020)以端到端的神经方式从评论和评级中学习用户和项目表示。同样，在最近的另一项工作（Khan、Niu、Nyamawe 和 Ijaz，2021 年）中，用户和项目表征学习是在端到端神经网络中利用评级、评论和元数据信息联合执行的。

2013 年，Laurent Sifre 在 Google Brain 实习期间开发了深度可分离卷积（Chollet，2017）。他在 AlexNet 中使用了它们，并观察到准确性和收敛速度方面的一些改进。还观察到模型尺寸显着减小。Inception V1 ( Szegedy et al., 2015 ) 和 Inception V2 ( Ioffe & Szegedy, 2015 ) 使用深度可分离卷积作为第一层。霍华德等人。(2017)使用深度可分离卷积来提出称为 MobileNets 的高效移动模型。Jin、Dundar 和 Culurciello (2014)和Wang、Liu 和 Foroosh (2016)还进行了一些相关工作，旨在减少使用可分离卷积的卷积神经网络的计算成本和大小。Chollet (2017)提出了一个名为 Xception 的卷积神经网络模型，它是对 Inception 的修改，完全基于用于图像分类的深度可分离卷积。与最先进的基于 Inception 的模块相比，实证结果验证了该模型的有效性。本文利用深度可分离卷积的强度从产品评论中捕获高阶和低阶语义特征。实证结果表明，与基线模型相比，它在捕获相关特征方面的有效性。

1.3 本文研究内容

本文主要通过引入时间因素和聚类算法来提高推荐算法的准确率，同时在算法的可扩展性和实时性方面进行深入分析，着重研究了如何在分布式平台上实现推荐算法并对其性能进行优化。结合当前主流的大数据处理平台，设计了能在大数据环境下进行实时推荐的算法。具体研究内容如下：

1）引入时间因素和聚类技术改善推荐效果。针对用户兴趣随时间变化的特性，提出了一种基于时间衰减因子的相似度计算方法，并利用聚类算法对其进行聚类，再结合用户的兴趣偏好，深入挖掘用户架构与项目簇的关系以及用户与簇内项目的关系，最后得到用户对未评分项目的偏好度，根据偏好度排序从而得到最终的推荐结果。

2）所提出的架构 CNN-DSCK 通过在多个内核上进行深度卷积并在最后组合来利用产品评论来模拟用户偏好和项目属性。顶部的融合/联合层用于从每个网络中通过不同内核获得的特征中推断出最有影响力的特征，以进行最终评级。

3） 进行推荐准确性和实时性的相关实验。本文进行了 CNN 与多个内核的使用，并在以后组合以获得特征可能有助于提高评分预测的性能。从经验结果中可以看到，在评估数据集上，CNN-DSCK 的性能优于 CNN-DSC（没有组合内核），这证明了它们的使用是合理的。

1.4 本文组织结构

第一章首先从课题的研究背景开始，介绍了在当前海量数据环境下研究推荐系统的意义以及推荐系统面临的问题。然后介绍了当前国内外对时间因素在推荐系统中的影响的研究现状，以及分布式平台在推荐系统中的应用情况，并阐述了本文的研究内容，最后描述了文章的组织结构。

第二章首先介绍了推荐系统的概念和定义，然后介绍了当前主流的推荐算法：基于内容进行推荐的算法，基于协同过滤机制进行推荐的算法，混合推荐算法，并分析了各个算法中存在的问题，以及相应的改进措施。

第三章针对用户兴趣衰减的特性，提出了一种考虑时间因素的推荐算法。首先在计算项目的相似度时引入时间因素，然后利用聚类算法对其做聚类，再结合用户的兴趣偏好，深入挖掘用户与项目簇的关系以及用户与簇内的项目关系，得到用户对未评分项目的偏好度，根据偏好度排序从而得到最终的推荐结果。最后通过实验验证了改进的推荐算法确实提升了推荐结果的准确率。

第四章提出了具有深度可分离卷积和组合内核（CNN-DSCK）的卷积神经网络架构，以利用文本评论对评级预测问题进行建模用户偏好和项目属性。所提出的架构使用深度可分离卷积从评论中提取潜在特征，并结合不同的过滤器，以最大化所提出模型的性能。为用户和项目学习的潜在因素然后被馈送到顶部引入的全连接层。该层从潜在（专业）特征中获得最有影响力的特征（高阶），然后通过回归层来估计评级。

第五章主要对本文进行总结，提出了当前研究工作的不足，并对下一步工作进行了展望。