我家自动化

这个屌丝很懒，什么也没留下！

热门标签

如何用Python构建一个生产级别的电影推荐系统 - 机器学习手册

作者：我家自动化 | 2024-04-21 08:50:25

踩

构建项目是彻底学习概念并发展必要技能的最有效方式之一。

项目使您沉浸在现实世界的问题解决中，巩固您的知识，并培养批判性思维、适应能力和项目管理专业知识。

本指南将带您逐步构建一个根据用户喜好量身定制的电影推荐系统。我们将利用一个庞大的包含 10,000 部电影的数据集作为我们的基础。

虽然这种方法有意简单，但它建立了行业中最复杂的推荐引擎的核心构建模块。

（本文视频讲解：java567.com）

您的工具包: Python、pandas 和 scikit-learn

我们将利用 Python 的强大和多功能性来操作和分析我们的数据。

pandas 库将简化数据准备，scikit-learn 将提供像 CountVectorizer 和余弦相似度这样的健壮的机器学习算法。

用户体验至关重要，因此我们将设计一个直观的 Web 应用程序，轻松进行电影选择和推荐显示。

您将实现的目标:

培养数据驱动的思维方式: 了解构建推荐系统的基本步骤。
掌握核心技术: 深入研究数据操作、特征工程和机器学习用于推荐的技术。
创建以用户为中心的解决方案: 提供个性化电影建议的无缝体验。

让我们开始吧！

我们的目标是什么？

想象一下一个能够理解您独特品味的电影推荐系统，持续地向您推荐您真正喜欢的电影。通过正确的策略，您可以将这个愿景变成现实。

掌握数据准备

在这里，您将学习如何释放您的电影数据的力量。使用Python的pandas库，您将专注于关键细节，如电影ID、标题、概述和类型。

通过将“概述”和“类型”策略性地合并为“标签”，您将为个性化推荐打下强大的基础。

利用机器学习进行定制建议

机器学习是您的秘密武器。您将学习如何使用CountVectorizer将电影描述转换为您的系统可以分析的数据。然后，您将利用余弦相似度来准确定位与您偏好相符的电影。

这些技术使您的推荐系统能够随着您观看的每部电影而学习和适应。

构建动态推荐函数

您将构建一个能够专家地分析电影索引和相似度分数的函数，确保您的推荐准确反映您不断发展的口味。

这个函数就是魔法发生的地方，将您过去的选择转化为一份定制的必看电影清单。

通过序列化确保一致性

为了随着时间的推移保持推荐的准确性，您将采用使用pickle库的序列化方法。将其视为系统的记忆，保存其深思熟虑的个性化特性，以供未来会话使用。

打造直观的用户界面

设计良好的界面至关重要。Streamlit让您能够借助诸如下拉列表等元素构建用户友好的体验，根据您的输入进一步细化推荐。

在本指南中，您将学习如何优先考虑直观的导航和设计，以确保与您的系统的交互无缝、愉快。

方法概述

本章简要解释了使用Python构建电影推荐引擎的核心步骤。您将创建一个能够提供个性化建议并促进直观、引人入胜用户体验的系统。

步骤1：数据准备

任何成功的推荐系统的基础在于准备充分的数据。

您将首先使用Python的pandas库导入您的电影数据集（可以考虑使用Kaggle等强大的数据源）。您将专注于理解数据的结构，处理缺失值，并确保数据准备好进行分析。

步骤2：洞察力的特征工程

隔离最具影响力的特征 - 电影ID、标题、概述和类型是强有力的竞争者。

解锁个性化的关键是“标签”列。您将学习如何将“概述”和“类型”合并以捕捉文本描述和类别。这种统一的方法增强了您的系统定位用户喜欢的电影的能力。

步骤3：明智选择算法

来自scikit-learn的CountVectorizer是将您的“标签”转换为可用的数值数据的强大工具。您将学习如何应用余弦相似度来计算基于这些特征的电影之间的相似度。

专家通常喜欢余弦相似度，因为它能够准确地衡量项目之间的关系，特别是当涉及多个维度时。

步骤4：构建您的推荐引擎

您将设计一个能够智能分析电影索引和相似度分数的函数。

这是您系统的核心，您将生成反映用户偏好的定制推荐。您会优先考虑简单的方法以取得初步成功 - 您随时可以引入复杂性。

步骤5：增强体验

序列化（使用Python的pickle模块）确保您的系统“记住”了过去的选择，以进行一致的推荐。

您将使用Streamlit构建一个用户友好的界面，减少编码工作。下拉列表等功能促进无缝交互并进一步个性化结果。

步骤6：做更多努力

然后，您将集成像TMDb这样的API，动态显示电影海报，为您的推荐增添丰富的视觉元素。考虑使用图像轮播功能获得动态而沉浸式的界面。

这个基础系统可以作为一个平台，用于探索更高级的技术和功能，不断优化您的推荐。

机器学习在电影推荐中的重要性

让我们深入探讨机器学习如何改变电影推荐，提供个性化体验，保持用户的参与度。

监督学习：预测用户喜好

监督学习是预测用户喜欢什么电影的基础。它分析历史数据，如过去的评分和观看记录，以发现模式。

例如，如果用户喜欢科幻电影，基于这些数据训练的监督模型将智能推荐其他科幻电影。

无监督学习：发现隐藏的联系

无监督学习擅长于基于特征（如类型、导演或情节）找到电影之间的相似性，即使直接用户反馈有限。它可能将电影聚类成“动作”，“浪漫喜剧”或“恐怖”等组，为推荐提供了强大的工具。

强化学习：持续改进

强化学习将个性化推荐提升到了一个新的水平。系统会做出推荐，分析用户的反应（评分、观看/不观看），并不断适应。这种动态方法确保推荐与用户偏好的变化保持一致。

如何选择您的方法

监督学习： 当您拥有丰富的用户评分/观看历史时效果最佳。
无监督学习： 即使反馈有限，也能发现电影数据中的模式。
强化学习： 适用于实时适应和长期最大化用户满意度。

最佳系统使用所有三种方法

通常最好的做法是策略性地结合这些技术！监督学习预测评分，无监督学习找到隐藏的电影联系，强化学习则根据实时互动进行调整。这种混合可以最大程度地提高推荐的准确性和用户满意度。

数据是成功的关键

多样化、高质量的数据对成功至关重要：

电影基础信息： 标题、类型。
用户见解： 人口统计学数据、观看历史、社交媒体活动。
数据转换： 标准化确保您的模型得到公正处理。TF-IDF将文本数据（描述、评论）转换为可用的数字。

预处理是必不可少的

清洁的数据至关重要。处理缺失值，删除重复项，并过滤可能会扭曲结果的任何内容。这可能感觉次要，但对推荐的准确性有显著影响。

图片来源：LunarTech.ai

数据收集与预处理

好的，现在您几乎准备好构建一个了解您电影偏好的系统了。我将在这里概述关键步骤，让您能够分析电影数据并提供精准的推荐。

您的开发工具包

Python 动力： 利用 pandas 进行数据处理和 scikit-learn 进行机器学习魔法。我们将
编码环境： 选择您的武器 - Jupyter Notebook 用于交互式探索，VS Code 用于开发，或 Google Colab 用于基于云的协作。

数据收集

找到您的数据集： 从 Kaggle 的数据集开始，或者探索像 TMDb 这样的替代方案。目标是一个包含电影标题、描述、类型，理想情况下还包括用户评分的丰富数据集。
加载数据： pd.read_csv() 将您的数据集导入 pandas DataFrame，准备进行分析。

了解您的数据

首次查看： movies.head(10) 揭示了您的数据结构。
统计数据： movies.describe() 揭示了摘要统计信息。
缺失值： movies.isnull().sum() 标记了数据缺失 - 清理至关重要！

特征工程

专注您的引擎： 针对关键特征 - ID、标题、概述和类型。
‘标签’ 的优势： 将 ‘概述’ 和 ‘类型’ 结合起来，为每部电影提供更丰富的表示。
简化： 删除冗余列以最大化效率。

准备您的文本数据：机器 ‘阅读’ 有所不同

CountVectorizer： 您的文本转数字转换器。尝试不同的参数以获得最佳结果。
转换 ‘标签’： 将您丰富的描述转换为您的模型可以理解的格式。

测量相似性：推荐相关的关键

余弦相似度： 用于比较基于文本的特征的行业标准。深入了解其工作原理！
相似性矩阵： 这是您的推荐引擎的核心输出。

构建您的推荐函数

逻辑是关键： 设计一个分析电影索引、相似性分数并提供有针对性建议的函数。
测试驱动： 尝试 recommend("钢铁侠") - 您得到的结果是否合理？

保存您的进度

Pickle 力量： 序列化您的处理数据和相似性模型，以进行快速重启和未来改进。

特征选择与工程

特征选择和工程是电影推荐系统中魔法发生的地方。通过打造完美的数据点集，您的模型可以为每个用户提供感觉定制的推荐。让我们解锁这个过程的全部潜力：

利用 TF-IDF（以及更多！）的文本数据的力量

文本即宝藏： 电影描述、评论和社交媒体谈话如果您知道如何提取，就具有巨大的价值。TF-IDF 是一个强大的起点，但它不是您工具库中的唯一工具。
情感分析： 了解用户对电影的情感倾向，进一步提升推荐的个性化程度。
主题建模： 识别描述或评论中的潜在主题和重复概念。这对于找到分享相似氛围的电影特别有用，即使类型不同也一样。

管理特征相关性：效率和隐藏洞见

相关性作为路线图： 分析特征之间的关系。强相关性表明冗余，而弱相关性可能指向用户偏好的未开发领域。
数据不会说谎： 不要做假设！让您的数据分析揭示特征之间意外的联系。也许喜欢历史剧的用户也对古怪的科幻喜剧有着意外的偏爱。
简化和优化： 利用您的相关性洞见来消除不必要的特征，提升模型的效率并避免过度拟合。

特征工程：实际示例（扩展）

超越类型： 将广泛的类别细分为精细的子类型或利基兴趣，实现无与伦比的个性化。
用户反馈宝库： 不仅仅跟踪评分。分析完成率、观看时间、搜索模式，甚至评论，以寻找微妙的偏好指标。
拥抱意外： 基于导演、演员、摄影师甚至配乐风格创建特征。这些可以迎合具有特定口味的用户。
标签是您的朋友： 让用户生成自己的标签，或使用自然语言处理从电影描述中提取关键主题，以获取高度定制的推荐。

升级：高级策略

拥抱动态： 考虑到一天的时间、位置、当前心情或最近的观看历史进行实时个性化。
元数据至关重要： 电影上映年份、奖项甚至影评都可以增加宝贵的预测能力，尤其是与其他特征结合使用时。
实验与学习： 从一个扎实的基础开始，尝试不同的特征组合。监控您模型的准确性指标，以指导您的优化过程。不要害怕尝试一些与众不同的东西！

专家提示： 记住，即使使用高级技术，一些最强大的特征可能会出人意料地简单。用户最喜欢的导演或最喜欢的演员可能是您得到准确建议所需的全部。

图片来源：LunarTech.ai

用于文本预处理的 CountVectorizer

文本向量化是机器学习中至关重要的过程，它将文本数据转换为算法可以有效处理的数字格式。在处理大量文本数据时，这种转换尤为重要。

CountVectorizer 是自然语言处理（NLP）中广泛使用的工具，它在文本数据处理中发挥着关键作用。它将文本数据转换为一种结构化形式，具体来说是一种令牌计数的稀疏矩阵，非常适合于机器学习模型。

在我们的电影推荐系统中，CountVectorizer 对于量化电影描述至关重要。通过量化描述，系统可以根据文本相似性准确比较和推荐电影。

要在 Python 中实现 CountVectorizer，您可以使用以下示例代码：

# 再次导入 CountVectorizer（冗余导入）
from sklearn.feature_extraction.text import CountVectorizer

# 使用最多 10,000 个特征和英语停用词初始化 CountVectorizer 对象
cv = CountVectorizer(max_features=10000, stop_words='english')

# 将 CountVectorizer 与 'tags_clean' 列拟合，并将文本数据转换为数字向量表示
vector = cv.fit_transform(new_data['tags_clean'].values.astype('U')).toarray()
1
2
3
4
5
6
7
8

请记住，通过调整其参数来定制 CountVectorizer 以适应电影数据，以捕捉电影描述的独特方面非常重要。

在向量化中，在准确性和效率之间取得平衡很重要。在保持计算效率的同时找到合适的向量化深度对于响应快速且准确的推荐系统至关重要。

此外，对于大型电影数据集，实施降维和定期更新单词字典等做法可以优化 CountVectorizer 的性能。

用于向量化的文本预处理

文本数据预处理是准备自然语言处理（NLP）中的数据进行分析的关键步骤。它涉及清理和标准化数据，以确保一致性。这包括删除不相关的字符、纠正拼写错误以及标准化文本格式。

例如，您可以使用 Python 中的字符串处理函数删除特殊字符，并使用正则表达式纠正常见的拼写错误。

标记化是文本数据预处理中的另一个关键步骤。它涉及将文本拆分为单个单词或令牌，使其更容易分析和量化。

在 Python 中，您可以使用各种库，如 NLTK 或 spaCy，对文本数据进行标记化。例如，NLTK 提供了一个 word_tokenize() 函数，用于将文本拆分为单词。

去除停用词并应用词干提取也是文本预处理中的重要步骤。

停用词是不太具有意义的常用词，如“the”、“and”或“is”。删除这些词有助于集中于文本的最有意义的元素。

词干提取将单词减少到其词根形式，这有助于捕获单词的本质。像 NLTK 这样的库提供了内置的停用词列表和词干提取算法，例如波特词干提取算法。

要在 Python 中实现这些预处理步骤，您可以使用各种库和函数。例如，NLTK 提供了用于删除停用词和应用词干提取的函数。以下是一个示例代码片段：

# 从 NLTK 中导入必要的模块进行文本预处理。
import nltk
import re
from nltk.corpus import stopwords
from nltk.stem import WordNetLemmatizer
from nltk.tokenize import word_tokenize

# 下载用于文本处理的 NLTK 资源。
nltk.download('punkt')
nltk.download('wordnet')
nltk.download('stopwords')
1
2
3
4
5
6
7
8
9
10
11

介绍 CountVectorizer

CountVectorizer 是自然语言处理（NLP）领域的一种强大工具，它将文本数据转换为令牌计数矩阵。它提供了一种简单而有效的分析文本的方法，通过计算文本中每个单词的频率。这种方法特别适用于基本的 NLP 任务，并且在机器学习和数据科学中被广泛使用。

要了解 CountVectorizer 的工作原理，让我们深入了解其背后的数学原理。该算法首先创建一个包含文本中所有唯一单词的字典。然后，它计算每个单词在每个文档中的出现次数，从而得到文本数据的矩阵表示。该矩阵捕获了每个单词的频率，从而实现进一步的分析和比较。

与其他文本向量化技术（如 TF-IDF）相比，CountVectorizer 专注于单词频率，使其更简单、更直接。这种简单性对于基本的 NLP 任务是有利的，并为进一步分析提供了坚实的基础。

要在 Python 中实现 CountVectorizer，您可以按照以下步骤操作：

# 从 scikit-learn 中导入 CountVectorizer，将文本文档转换为令牌计数的矩阵。
from sklearn.feature_extraction.text import CountVectorizer

# 如果尚未安装 scikit-learn，请安装它。
pip install scikit-learn

# 使用最多 10,000 个特征和排除常见的英语停用词初始化 CountVectorizer。
cv = CountVectorizer(max_features=10000, stop_words='english')

# 将 CountVectorizer 拟合到清理后的标签，并将文本数据转换为数字数组。
vector = cv.fit_transform(new_data['tags_clean'].values.astype('U')).toarray()
1
2
3
4
5
6
7
8
9
10
11

在此代码片段中，我们从 sklearn 库中导入 CountVectorizer 类。然后，我们创建一个 CountVectorizer 实例，并将其拟合到文本数据。最后，我们使用 transform() 方法将文本数据转换为单词频率矩阵。

要优化 CountVectorizer，以满足您的特定需求，重要的是定制其参数。例如，您可以调整 max_features 参数以限制矩阵中的特征数量，或者使用 ngram_range 参数来考虑多个单词的短语。您还可以提供自定义的 stop_words 列表，以排除可能没有太多含义的常用词。

值得注意的是，虽然 CountVectorizer 是一个强大的工具，但在准确性和效率之间取得平衡至关重要。对于大型数据集，考虑实施降维和定期更新单词字典等做法可以优化性能。

在 Python 中实现 CountVectorizer

在 Python 中实现 CountVectorizer 是一个简单直接的过程。首先，从 sklearn 库中导入 CountVectorizer 类。然后，创建一个 CountVectorizer 实例，如 cv = CountVectorizer()。接下来，使用 fit_transform() 方法将 CountVectorizer 拟合到您的文本数据中，该方法将数据转换为单词频率矩阵。

以下是一个示例代码片段：

# 使用最多 10,000 个特征和排除常见的英语停用词初始化 CountVectorizer。
cv = CountVectorizer(max_features=10000, stop_words='english')

# 将 CountVectorizer 拟合到清理后的标签，并将文本数据转换为数字数组。
vector = cv.fit_transform(new_data['tags_clean'].values.astype('U')).toarray()
1
2
3
4
5

在为电影数据定制 CountVectorizer 时，考虑调整参数以捕获电影描述的独特方面。

例如，您可以将 max_features 参数设置为限制矩阵中的特征数量，或者使用 ngram_range 参数来分析多个单词的短语。此外，提供自定义的 stop_words 列表可以排除可能没有太多含义的常用词。

在向量化中取得准确性和效率之间取得平衡非常重要。对于大型电影数据集，考虑实施降维和定期更新单词字典等做法。这些做法可以优化 CountVectorizer 的性能，并确保响应灵敏的推荐系统。

在推荐系统中的 CountVectorizer

CountVectorizer 在将电影描述转换为可数字化分析的格式中起着至关重要的作用。

例如，如果我们有一个电影描述：“太空中的史诗冒险”，CountVectorizer 首先会将此句子标记化为单个单词 [“太空”, “中的”, “史诗”, “冒险”]。然后，它会删除常见的停用词（在这种情况下，“中的”）这些词对整体含义没有太大贡献。最后，它会统计剩余有意义的单词的出现次数。

该过程将文本转换为数字向量，使其可以用于数学算法。

下一步涉及利用向量化数据创建相似性矩阵。这个矩阵对于识别哪些电影彼此相似至关重要。

例如，如果我们的数据集包含电影 A 和 B 的向量化描述，则使用余弦相似性度量来计算它们之间的相似度得分。该分数量化了两部电影的内容有多相似，基于它们的描述向量。

CountVectorizer 的结构化方法允许对电影内容进行客观而精确的比较。

例如，如果用户喜欢“钢铁侠”，系统可以通过比较其向量化的描述找到其他具有相似主题的电影。这导致了更准确和个性化的推荐。

假设“钢铁侠”的向量化为 [0, 1, 2]，而另一部电影“复仇者联盟”的向量化为 [1, 1, 1]，计算出的相似度得分将有助于确定“复仇者联盟”与“钢铁侠”的内容有多接近。

这些示例展示了 CountVectorizer 和余弦相似性在增强电影推荐系统功能方面的实际应用。它们展示了从原始文本到向量化格式的转变以及这些向量如何用于找到相似电影的过程，从而提供了对基本过程的全面理解。

图片来源：LunarTech.ai

框架选择

正确的算法是真正了解用户的推荐系统的核心。让我们探讨每种方法的细微差别，何时将它们结合起来，以及提升系统到更高水平的高级技术。

基于内容的过滤：“就像这样”的力量

定向推荐： 当您需要将用户已知的喜好与具有相似核心属性的电影进行匹配时，此方法表现出色——如类型、演员、导演、视觉风格，甚至具体情节元素或主题等。
超越显而易见： 使用复杂的文本分析来发现意想不到的联系。也许一个用户一贯喜欢黑色喜剧；寻找具有相同古怪幽默和复杂人物的奇特戏剧。
代码实践： Python 的 CountVectorizer 将电影描述转换为数字数据，而余弦相似度量化电影之间的接近程度。尝试使用 TF-IDF 权重或探索词嵌入以获得更丰富的表示形式。

理想场景：

没有广泛观影历史记录的新用户。
寻找主流之外的小众电影。
当可解释的推荐有价值时（您可以展示为什么推荐了一部电影）。

协同过滤：受社区启发的推荐

利用集体智慧： 分析具有相似口味的用户之间的模式，使您可以推荐其他喜欢他们喜欢的内容。就像有一群专家观影者为您提供个性化建议一样。
动态和适应性： 这种方法会随着用户偏好的演变而自然演变，使推荐保持新鲜和相关。

克服挑战：

冷启动： 基于内容的过滤填补了新用户或电影的空白。您还可以激励用户在注册时提供初始偏好。
可伸缩性： 对于大规模数据集，专门的技术如矩阵分解或基于图的算法可以优化性能。
代码示例： Python 的 K 最近邻算法（KNN）识别具有相似口味的“邻居”，而 Surprise 等库提供了额外的协同过滤算法。

混合系统：释放全部潜力

战略融合： 无缝地融合这些技术，以最大程度地个性化和令人愉悦的惊喜潜力。这种方法将用户体验置于核心位置。
迭代改进： 从一个强大的基于内容的系统开始，即使用户数据有限，也可以立即获得价值。随着数据集和计算资源的增长逐渐引入协同过滤。
重要的指标： 监控推荐与用户明确偏好的匹配程度（准确性），同时引入令人欢迎的惊喜（偶然性和多样性）。

高级考虑因素：精炼、适应、出类拔萃

超越明确评级： 跟踪隐式反馈：

观看时间和完成率
搜索模式和悬停标题
参与度（评论、分享、加入观看列表）——对于没有详细评级的内容尤其有价值。

上下文至关重要： 根据以下因素定制推荐：

一天中的时间（轻松愉快 vs. 沉浸式）
位置（强调当地新发布内容）
推测的情绪（欢快建议 vs. 安慰经典）

拥抱变化： 利用强化学习使系统通过试错改进，或实施时间感知模型，更加重视最近的偏好。

偏见意识： 对潜在偏见的数据集进行批判性评估（流行程度、性别代表性等）。积极实施策略来减轻这些偏见，以构建一个真正包容的推荐系统。

专家提示： 持续的实验是关键！通过对不同方法进行 A/B 测试，跟踪各种指标，并积极寻求用户反馈，构建一个优秀的系统，建立信任和忠诚度。

图片来源：LunarTech.ai

数据拆分：训练、测试和验证

数据拆分是确保您的推荐准确且适应电影偏好不断变化的世界的秘密武器。

让我们深入了解这个过程的细微差别以及将您的系统提升到更高水平的策略。

第一步 - 设置：利用 Python 的强大功能

加载数据： import pandas as pd 和 movies = pd.read_csv('movies.csv')。
深入数据集： 命令如 movies.head(10)、movies.info() 和 movies.describe() 提供对数据集的全面了解。特别注意缺失值、异常值、潜在的不一致性以及类别的整体平衡（类型、发布周期等）。这些见解将指导后续的决策。
数据转换： 确保数值数据与机器学习算法兼容。文本字段（描述、评论）可能需要使用 CountVectorizer 或 TF-IDF 等技术将它们转换为可用格式。

第二步 - 分割和征服：可靠性之核心

避免过度拟合： 学习训练数据“太”好，当面对新用户或电影时将毫无用处。拆分迫使您的模型学习将转化为现实世界的一般模式。
黄金标准： 一个精心保留的测试集，在训练期间未见过，是您在现实情况下推荐准确性的最可靠基准。
迭代和改进： 验证集是您的游乐场。尝试不同的算法，分析不同特征的影响，并微调超参数以获得最佳性能。每次重新评估验证集，以确保改进转化为未见过的数据。

第三步：实际代码演示

from sklearn.model_selection import train_test_split 是您的首选工具。在决定百分比时考虑这些因素：

数据集大小： 对于大型数据集，较小的测试集可能足够。
复杂性： 复杂的模型可能受益于较大的验证集，以进行最佳调优。

第四步：复杂问题的高级策略

分层抽样： 在每个拆分中保持原始数据集的平衡至关重要。如果您的目标是为甚至是少数类别（小众类型、经典电影等）提供准确的推荐，这一点至关重要。
K 折交叉验证： 对于有限的数据集来说是理想的。这确保了每个数据点在多次迭代中被用于训练和验证，提供了对模型潜力更加全面的评估。
时间序列拆分： 如果要分析随时间变化的观看趋势（用户可能在周末与工作日观看不同类型的电影），这一点至关重要。这有助于避免基于未来数据“预测”过去，这对您的用户没有帮助。
评估指标：仅准确性不足以 考虑精度、召回率、F1 分数甚至业务特定的指标（推荐是否导致观看完成？重复客户？）。这些提供了对系统的全面评估。

第五步：保留、迭代和扩展

保存模型的进度： 序列化（import pickle）允许您稍后重新加载模型进行部署、添加新数据或集成反馈，而无需从头开始。
未来即变化： 不要将您的系统视为静态的。定期重新评估拆分可以使您的推荐保持新鲜。当您的用户群增长和电影趋势变化时，这一点尤为重要。

专家提示： 数据拆分决策应与您的系统目标一致。针对高度个性化的前五项推荐，需要与预测用户是否广泛喜欢或不喜欢电影不同的方法。让这个指导您的策略！

图片来源：LunarTech.ai

Python 代码详解

创建一个电影推荐系统是一个迷人的项目，它结合了数据处理、机器学习和用户界面设计。

在本节中，我将逐步指导您完成这个过程，基于您到目前为止所学到的一切。我们将从使用 Python 处理数据的基础开始。

对于这个项目，我们将使用 pandas 库进行数据处理和分析。这个库对于以灵活直观的方式处理大型数据集至关重要。

让我们从设置环境并准备我们的数据集开始。

第一步：设置环境

首先，我们需要确保已安装所有必要的工具和库。我们将大量使用 pandas 进行数据处理。下面是开始的方法：

# 导入 pandas 库进行数据处理和分析
import pandas as pd

# 使用 pip（Python 包安装器）安装 pandas 库
%pip install pandas

# 注意：如果您已经安装并导入了 pandas 一次，则第二个导入语句是多余的。如果是这样，您可以省略它。
1
2
3
4
5
6
7

第二步：导入数据集

在导入数据集之前，请确保已从 Kaggle 上提供的链接下载了数据集：Top Rated TMDb Movies - 10k Dataset。这个数据集是关于电影的信息的丰富来源，将作为我们推荐系统的基础。

一旦您有了数据集，就将它加载到一个 pandas DataFrame 中。假设数据集是一个 CSV 文件，您可以使用以下代码：

# 将数据集加载到 pandas DataFrame 中
movies = pd.read_csv('path/to/your/downloaded/movies.csv')
1
2

将 'path/to/your/downloaded/movies.csv' 替换为您系统上下载的数据集的实际文件路径。

第三步：了解数据集

为了对我们正在处理的数据有所了解，让我们检查 DataFrame 中的列名。这将帮助我们确定哪些列与我们的推荐系统相关。

# 获取 DataFrame 中的列名
print(movies.columns)
1
2

第四步：选择相关特征

对于我们的电影推荐系统，我们将关注一些关键特征：id、title、overview 和 genre。以下是我们选择这些特征的原因：

ID： 在我们的数据集中唯一标识每部电影是必不可少的。
标题： 允许用户通过电影名称搜索和识别电影。
概述： 提供电影情节的简要描述，这对于理解其内容和主题至关重要。
类型： 帮助将电影分类到不同的类型，实现基于类型的推荐和个性化。

通过关注这些特征，我们可以利用电影的叙述内容和类型信息找出相似之处，并进行推荐。让我们选择这些列并丢弃其他列：

# 从 DataFrame 中选择并保留指定的列（'id'、'title'、'overview'、'genre'）
movies = movies[['id', 'title', 'overview', 'genre']]
1
2

这一步简化了我们的数据集，让我们只留下了构建推荐系统所需的信息。

第五步：合并概述和类型

将 ‘overview’ 和 ‘genre’ 列合并将创建一个更具见解的特征向量，极大地提高了系统根据用户偏好推荐与电影相匹配的能力。此组合使我们能够同时利用文本描述和类型分类，为每部电影的数据集提供更多上下文。

# 通过连接 'overview' 和 'genre' 列添加一个新列 'tags'
movies['tags'] = movies['overview'] + movies['genre']
1
2

第六步：简化数据集

现在，我们有了一个综合的 ‘tags’ 列，它捕捉了每部电影内容和类型的本质，我们可以进一步简化我们的数据集，通过删除现在多余的 ‘overview’ 和 ‘genre’ 列。这样，我们就得到了一个专注于推荐系统最有用特征的简化数据集。

# 通过从 'movies' 中删除 'overview' 和 'genre' 列创建一个新的 DataFrame 'new_data'
new_data = movies.drop(columns=['overview', 'genre'])
1
2

第七步：为机器学习准备文本数据

为了利用我们的推荐系统进行机器学习算法，我们需要将文本数据转换为数字格式。

这就是 CountVectorizer 发挥作用的地方。它将我们 ‘tags’ 列中的文本转换为一个稀疏矩阵，有效地将单词转换为向量。

但在应用 CountVectorizer 之前，清理文本数据是至关重要的，以提高我们向量的质量。通常包括将文本转换为小写，删除标点符号，并应用词干提取或词形还原以将单词减少到其基本形式或词根形式。

虽然提示提到了重新应用 clean_text 函数到 ‘tags’ 列，但我们似乎还没有定义这样一个函数。假设我们有一个清理文本的函数，它看起来可能是这样的：

# 假设 'clean_text' 是一个清理文本数据的函数
new_data['tags_clean'] = new_data['tags'].apply(clean_text)
1
2

让我们继续对我们的清理后的 ‘tags’ 数据进行向量化：

# 从 scikit-learn 中导入 CountVectorizer 进行文本向量化
from sklearn.feature_extraction.text import CountVectorizer

# 注意：确保已安装 scikit-learn。如果没有，请使用 pip 进行安装。
# pip install scikit-learn

# 初始化 CountVectorizer
cv = CountVectorizer(max_features=5000, stop_words='english')

# 对清理后的 'tags' 文本进行向量化
vectorized_data = cv.fit_transform(new_data['tags_clean']).toarray()
1
2
3
4
5
6
7
8
9
10
11

在这段代码片段中，max_features=5000 限制了特征数（即不同的单词）为前 5000 个，这有助于管理计算复杂性。指定 stop_words='english' 删除了常见的英文单词，这些单词不太可能对电影描述的独特性有所贡献。

第八步：计算余弦相似度

将我们的电影描述转换为数字向量后，下一个关键步骤是计算这些向量之间的余弦相似度。

这个度量将允许我们根据内容确定任何两部电影有多相似。余弦相似度得分为 1 表示电影非常相似，得分为 0 表示没有相似性。

导入库并计算相似度

# 从 scikit-learn 中导入 cosine_similarity 以计算向量之间的相似度
from sklearn.metrics.pairwise import cosine_similarity

# 计算向量之间的余弦相似度
similarity = cosine_similarity(vectorized_data)
1
2
3
4
5

在这里，cosine_similarity 函数以向量数组（我们的向量化电影标签）作为输入，并返回所有电影对之间的相似性得分矩阵。

使用特定电影进行测试

为了了解我们的推荐系统在实践中是如何工作的，让我们找到并打印出与数据集中特定电影最相似的电影的标题。我们将使用第一部电影作为示例：

# 计算第三部电影与所有其他电影的相似度分数，对其进行排序，并存储结果
distance = sorted(list(enumerate(similarity[4])), reverse=True, key=lambda vector: vector[1])

# 打印与第三部电影最相似的前五部电影的标题
for i in distance[0:5]:
    print(new_data.iloc[i[0]].title)
1
2
3
4
5
6

定义推荐函数

为了使我们的系统更加用户友好，我们将找到相似电影的逻辑封装到一个函数中。这个函数将以电影标题作为输入，并打印出前 5 部相似电影的标题：

# 定义一个函数，为给定的电影标题推荐前 5 部相似电影
def recommend(movies):
    # 在 DataFrame 中找到给定电影的索引
    index = new_data[new_data['title'] == movies].index[0]
    # 计算相似度分数，对其进行排序，并打印出前 5 部相似电影的标题
    distance = sorted(list(enumerate(similarity[index])), reverse=True, key=lambda vector: vector[1])
    for i in distance[1:6]:  # 从 1 开始以跳过电影本身
        print(new_data.iloc[i[0]].title)

# 示例用法
recommend("钢铁侠")
1
2
3
4
5
6
7
8
9
10
11

注意：提供的示例使用了 "钢铁侠" 作为占位符。请用您数据集中的实际电影标题替换它以测试该函数。

第九步：序列化 DataFrame 和相似度矩阵

为了保存我们的进度并轻松共享或部署我们的推荐系统，我们将使用 pickle 模块对清理后的数据集和相似度矩阵进行序列化：

import pickle

# 将 'new_data' DataFrame 和 'similarity' 矩阵序列化并保存到文件中
pickle.dump(new_data, open('movies_list.pkl', 'wb'))
pickle.dump(similarity, open('similarity.pkl', 'wb'))  # 修正拼写错误：应使用 'wb' 进行写入

# 可选择进行反序列化以进行验证
# movies_list = pickle.load(open('movies_list.pkl', 'rb'))
# similarity_loaded = pickle.load(open('similarity.pkl', 'rb'))
1
2
3
4
5
6
7
8
9

验证环境

最后，为了了解我们的序列化文件保存在哪里，或者如果您正在一个文件路径很重要的环境中工作（比如服务器或部署场景），您可以打印当前的工作目录：

import os

# 打印当前的工作目录
print(os.getcwd())
1
2
3
4

这就完成了构建基本电影推荐系统的逐步指南。您现在拥有一个功能齐全的系统，它可以根据内容和类型的相似性推荐电影，并具有将模型序列化以备将来使用或部署的基础设施。

在下一章中，您将看到完整的 Python 代码，所有内容都整合在一起。

image-9-1 图片来源：LunarTech.ai

完整的 JupyterNotebook 代码

# 导入 pandas 库进行数据处理和分析
import pandas as pd

# 使用 pip 安装 pandas 库（Python 包安装器）
%pip install pandas

# 再次导入 pandas 库（此行是多余的，可以省略）
import pandas as pd

# 从 CSV 文件加载数据集到 pandas DataFrame
movies = pd.read_csv('dataset.csv')

# 显示 DataFrame 的前 10 行
movies.head(10)

# 生成 DataFrame 的描述性统计信息
movies.describe()

# 打印 DataFrame 的简洁摘要（关于列、数据类型、非空值等的信息）
movies.info()

# 计算 DataFrame 中每列的空值（缺失值）总和
movies.isnull().sum()

# 获取 DataFrame 中的列名
movies.columns

# 从 DataFrame 中选择并保留指定列（'id'、'title'、'overview'、'genre'）
movies = movies[['id', 'title', 'overview', 'genre']]

# 通过连接 'overview' 和 'genre' 列添加一个新列 'tags'
movies['tags'] = movies['overview'] + movies['genre']

# 通过从 'movies' 中删除 'overview' 和 'genre' 列创建一个新的 DataFrame 'new_data'
new_data = movies.drop(columns=['overview', 'genre'])

# 从 NLTK 库中导入所需模块进行文本处理
import nltk
import re
from nltk.corpus import stopwords
from nltk.stem import WordNetLemmatizer
from nltk.tokenize import word_tokenize

# 下载 NLTK 资源以进行标记化、词形还原和停用词
nltk.download('punkt')
nltk.download('wordnet')
nltk.download('stopwords')

# 定义用于清理文本数据的函数
def clean_text(text):
    # 如果文本不是字符串，则返回空字符串
    if not isinstance(text, str):
        return ""
    # 将文本转换为小写
    text = text.lower()
    # 删除标点符号但保留单词和数字
    text = re.sub(r'[^\\w\\s\\d]', '', text)
    # 对文本进行标记化为单词
    words = word_tokenize(text)
    # 定义英文停用词
    stop_words = set(stopwords.words('english'))
    # 从标记化的单词中删除停用词
    words = [word for word in words if word not in stop_words]
    # 初始化 WordNet 词形还原器
    lemmatizer = WordNetLemmatizer()
    # 对每个单词进行词形还原
    words = [lemmatizer.lemmatize(word) for word in words]
    # 将单词重新组合成单个字符串
    text = ' '.join(words)
    return text

# 将 clean_text 函数应用于 'tags' 列，并将结果存储在 'tags_clean' 中
new_data['tags_clean'] = new_data['tags'].apply(clean_text)

# 从 scikit-learn 中导入 CountVectorizer 进行文本向量化
from sklearn.feature_extraction.text import CountVectorizer

# 使用 pip 安装 scikit-learn 库
pip install scikit-learn

# 再次应用 clean_text 函数到 'tags' 列（这一行似乎是多余的）
new_data['tags_clean'] = new_data['tags'].apply(clean_text)

# 从 scikit-learn 中导入 train_test_split 用于将数据分割为训练集和测试集
from sklearn.model_selection import train_test_split

# 再次导入 CountVectorizer（多余的导入）
from sklearn.feature_extraction.text import CountVectorizer

# 使用最大特征数为 10,000 和英语停用词初始化 CountVectorizer 对象
cv = CountVectorizer(max_features=10000, stop_words='english')

# 将 CountVectorizer 拟合到 'tags_clean' 列，并将文本数据转换为数字向量表示
vector = cv.fit_transform(new_data['tags_clean'].values.astype('U')).toarray()

# 检查生成的向量的形状
vector.shape

# 从 scikit-learn 中导入 cosine_similarity 以计算向量之间的相似度
from sklearn.metrics.pairwise import cosine_similarity

# 计算向量之间的余弦相似度
similarity = cosine_similarity(vector)

# 打印 'new_data' DataFrame 的简洁摘要
new_data.info()

# 计算第三部电影与所有其他电影的相似度分数，对其进行排序，并存储结果
distance = sorted(list(enumerate(similarity[2])), reverse=True, key=lambda vector: vector[1])

# 打印与第三部电影最相似的前五部电影的标题
for i in distance[0:5]:
    print(new_data.iloc[i[0]].title)

# 定义一个函数，为给定的电影标题推荐前 5 部相似电影
def recommend(movies):
    # 在 DataFrame 中找到给定电影的索引
    index = new_data[new_data['title'] == movies].index[0]
    # 计算相似度分数，对其进行排序，并打印出前 5 部相似电影的标题
    distance = sorted(list(enumerate(similarity[index])), reverse=True, key=lambda vector: vector[1])
    for i in distance[0:5]:
        print(new_data.iloc[i[0]].title)

# 使用 "Iron Man" 作为参数调用 recommend 函数
recommend("Iron Man")

# 导入 pickle 模块以对 Python 对象进行序列化
import pickle

# 序列化 'new_data' DataFrame 并将其保存到文件中
pickle.dump(new_data, open('movies_list.pkl', 'wb'))
pickle.dump(new_data, open('similarity.pkl', 'wb'))

# 将 'movies_list.pkl' 文件反序列化为 Python 对象
pickle.load(open('movies_list.pkl', 'rb'))

# 导入 os 模块以与操作系统交互
import os

# 打印当前工作目录
print(os.getcwd())
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141

图片来源：LunarTech.ai

基于机器学习的推荐系统中的挑战与解决方案

在电影推荐中实施机器学习面临着独特的挑战，比如处理稀疏数据，当用户或电影的信息不足时就会出现这种情况。

这种情况的常见例子是“冷启动”问题，即新用户或电影没有或几乎没有交互数据。没有足够的用户评分或电影详情，生成准确的推荐就变得困难。

让我们探讨如何克服这些障碍，并构建一个适应性强的推荐系统。

“冷启动”推荐的策略

内容为王（起初）： 关注详细的描述、流派标签、演员/导演的知名度，甚至是视觉特征（色彩调板、摄影风格）。让你的系统找到相似的电影。
元数据的力量： 超越表面相似性。同一制作公司是否发布了类似的近期热门影片？导演是否以特定的情绪或电影风格而闻名？
“探索”模式： 将一小部分推荐用于具有较低受欢迎程度或最少用户数据的项目。注入一些计算出的随机性促进探索，有助于对抗“回音室”效应。
拥抱透明度： 当推荐基于有限数据时向用户传达信息（“我们正在了解你的口味，但基于其演员阵容，你可能会喜欢这部电影……”）。这建立了信任，并鼓励参与。

优化与演进：利用用户反馈与测试

将您的反馈直接融入到开发和完善电影推荐系统中，可以显著提升其有效性和您的满意度。

通过整合机制来收集您的反馈和偏好，可以更精确地满足您的需求，从而提供更准确和受欢迎的电影推荐。

以下是利用您的反馈对提高电影推荐系统准确性至关重要的原因：

反馈是您的宝库

即时相关反馈： 类似“您是否喜欢这部电影？”按钮或为您评分推荐的选项等功能，允许系统实时调整其未来的建议，使其更符合您的偏好。
通过调查深入了解： 在您观看电影后提供的可选简短调查可以提供关于您喜欢或不喜欢的特定方面的见解（例如情节复杂性、角色发展、流派偏好）。这些详细的反馈可以用来微调推荐算法。
观看列表跟踪： 查看您添加到观看列表的电影或在推荐后观看的下一部电影，提供了对您偏好的隐式反馈，有助于更准确地定制未来的建议。

A/B 测试的胜利之道

平衡安全与探索性推荐： 对不同策略进行 A/B 测试，有助于找到在推荐与您已知偏好非常匹配的电影（“安全”选择）之间寻找完美平衡的方法，同时也可以向您介绍新的内容以拓展您的视野（探索性选择）。监控点击、观看时间和评分等参与度指标，让系统确定哪种方法可以在长期内保持您的参与和满意度。

不要忽视经典之作

推荐范围包容性： 推荐系统的一个常见陷阱是过于关注新作品，可能会错过经典或更早期的佳作，这些作品可能完全适合您的口味。通过将发布年份纳入算法或有意将各种流派的经典电影预留给特定槽位，系统可以向您介绍更广泛的电影，您可能会喜欢，但尚未发现。

将您的反馈整合到电影推荐系统中，不仅优化了提供的建议的准确性和相关性，而且为系统创造了一个动态的学习环境。它确保了推荐随着您不断变化的偏好而发展，从而为您提供更引人入胜和满意的体验。

这种策略将您，被动的观众，转变为了策划过程中的积极参与者，极大地提高了系统的整体效果。

专家见解： 最好的系统积极解决稀疏数据问题。不断重新评估数据源，寻找收集一些初始用户偏好的创造性方法，永远不要认为工作已经完成。

图片来源：LunarTech.ai

限制和未来改进的领域

虽然搭建全面的电影推荐系统的方法是稳健而创新的，但是必须承认由于数据集限制和对 TMDB（The Movie Database）数据的依赖而存在固有限制。

以下是这些限制及其对推荐系统的潜在影响的更清晰解释：

数据集限制

列数和深度有限： 我们的主要数据集来自 TMDB，可能没有更加细致的元数据所需的广度或深度。例如，它可能提供基本信息，如流派、上映日期和演员阵容，但可能缺乏更丰富的内容，如详细的用户评价、特定的子流派或主题标签，这些可能会增强个性化程度。
静态数据集： 来自 TMDB 的数据快照代表了某一时刻。随着新电影的发布和文化趋势的变化，数据集可能会过时，可能会使推荐倾向于较旧或不太相关的内容，没有定期更新可能会出现这种情况。

对 TMDB 的依赖

数据完整性和准确性： 虽然 TMDB 是一个有价值的资源，但其数据的完整性和准确性取决于用户的贡献，可能会有所不同。这种变化可能会影响基于这些数据的推荐的可靠性，尤其是对于不太受欢迎或较新的电影。
用户反馈回路有限： TMDB 提供了理解可用电影及其基本属性的坚实基础。但它可能无法捕获用户互动和反馈的全部范围，例如细致的情感分析或具体的观看模式，这对于改进推荐算法至关重要。

缓解限制的策略

来自多样化来源的数据丰富化： 为了弥补 TMDB 数据集的局限性，整合额外的数据来源至关重要。汇总来自平台（如 Kaggle 或 MovieLens）的评分和评价、从 Reddit 或 Letterboxd 挖掘讨论，以及包括奖项数据，可以丰富数据集，提供更全面的电影和观众偏好的视角。
高级文本和视觉分析： 利用深度文本分析的高级 NLP 技术，以及探索电影海报或预告片中的视觉线索，可以在基本元数据之上增加理解层次，帮助发现电影和观众偏好之间的潜在联系。
动态算法更新： 定期更新推荐算法，以整合新的数据源、用户反馈和不断变化的趋势，确保系统始终保持相关性和有效性。这包括优化协同过滤模型以应对数据稀疏性，并开发反映当前观看环境和情绪的情境模型。

认识到主要依赖于 TMDB 数据和当前数据集范围的局限性，强调了不断努力丰富和更新数据集和算法的重要性。

通过承认这些挑战，并通过战略性的数据来源、先进的分析和算法演进来积极应对它们，推荐系统可以不断改进，为用户提供更准确、个性化和及时的电影建议。

感谢您的阅读！

随着本教程的结束，我对您的时间表示感谢。将多年的专业和学术知识提炼成本手册的过程是一项充实的工作。

感谢您加入我在这项追求中，我期待着见证您在技术领域的成长。

（本文视频讲解：java567.com）

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家自动化/article/detail/462112

如何用Python构建一个生产级别的电影推荐系统 - 机器学习手册

您的工具包: Python、pandas 和 scikit-learn

您将实现的目标:

我们的目标是什么？

掌握数据准备

利用机器学习进行定制建议

构建动态推荐函数

通过序列化确保一致性

打造直观的用户界面

方法概述

步骤1：数据准备

步骤2：洞察力的特征工程

步骤3：明智选择算法

步骤4：构建您的推荐引擎

步骤5：增强体验

步骤6：做更多努力

机器学习在电影推荐中的重要性

监督学习：预测用户喜好

无监督学习：发现隐藏的联系

强化学习：持续改进

如何选择您的方法

最佳系统使用所有三种方法

数据是成功的关键

预处理是必不可少的

数据收集与预处理

您的开发工具包

数据收集

了解您的数据

特征工程

准备您的文本数据：机器 ‘阅读’ 有所不同

测量相似性：推荐相关的关键

构建您的推荐函数

保存您的进度

特征选择与工程

利用 TF-IDF（以及更多！）的文本数据的力量

管理特征相关性：效率和隐藏洞见

特征工程：实际示例（扩展）

升级：高级策略

用于文本预处理的 CountVectorizer

推荐系统中的文本数据基础

用于向量化的文本预处理

介绍 CountVectorizer

在 Python 中实现 CountVectorizer

在推荐系统中的 CountVectorizer

推荐系统中的机器学习

基于内容的过滤：定向推荐的力量

协同过滤：受社区启发的推荐

混合系统：两者兼得

提升到更高水平：高级考虑因素

数据优秀：准确推荐的基础

为增强性能选择和优化算法

优先考虑用户体验以提高参与度和忠诚度

专家指导：未来完善的策略

不断发展的系统

框架选择

基于内容的过滤：“就像这样”的力量

理想场景：

协同过滤：受社区启发的推荐

克服挑战：

混合系统：释放全部潜力

高级考虑因素：精炼、适应、出类拔萃

数据拆分：训练、测试和验证

第一步 - 设置：利用 Python 的强大功能

第二步 - 分割和征服：可靠性之核心

第三步：实际代码演示

第四步：复杂问题的高级策略

第五步：保留、迭代和扩展

Python 代码详解

第一步：设置环境

第二步：导入数据集

第三步：了解数据集

第四步：选择相关特征

第五步：合并概述和类型

第六步：简化数据集

第七步：为机器学习准备文本数据

第八步：计算余弦相似度

导入库并计算相似度

使用特定电影进行测试

定义推荐函数

第九步：序列化 DataFrame 和相似度矩阵