当前位置:   article > 正文

深入算法工程本质,大模型时代人手一本

深入算法工程本质,大模型时代人手一本

在当今数字化时代,推荐系统已经成为许多互联网平台的核心功能之一。无论是在线购物、音乐和视频流媒体、社交媒体,还是新闻和内容聚合,推荐系统都扮演着至关重要的角色。它们通过分析用户的历史行为和偏好,以及其他相关信息,为用户提供个性化的推荐内容,从而提高用户体验,增加平台的粘性,以及促进销售和内容传播。那么,推荐系统究竟是如何运作的呢?让我们深入探索一下。

什么是推荐系统

推荐系统是计算机软件工程的一个子领域,通过大数据、机器学习等技术,在用户使用产品的过程中,学习用户的兴趣偏好,主动展示他可能喜欢的“物品”(这里的物品是指待推荐的东西,可以是商品、电影、视频、文章、音乐、美食、景点、理财产品甚至是人,后面都用物品指代,不再说明),从而促成“消费”,节省用户时间,提升用户体验,优化资源配置,最终为服务提供方、物品提供方创造商业价值。

上述定义有几点需要说明,以便大家更好地理解推荐系统的特性与本质。

  • 推荐系统是一种软件工程解决方案,通过代码实现推荐能力,将为用户推荐物品这一流程做到完全自动化。

  • 推荐系统是机器学习的一种应用,通过学习用户的行为数据,构建数学模型,预测用户的兴趣,最终为用户推送其可能喜欢的物品,满足用户被动的需求,提升用户体验。

  • 推荐系统是一项交互式产品功能,产品为推荐系统提供载体,用户在使用产品的过程中触发推荐系统,推荐系统为用户提供个性化的推荐。作为一个产品,物品怎么展示、如何与用户交互、交互过程中可能遇到什么问题,这些都要考虑。

  • 推荐系统是一项人机协同的(软件)服务,通过推荐系统,用户可以获得符合自身兴趣的物品推荐,满足其个性化的、被动的需求。任何服务都需要运营,在服务过程中,服务的宣导、问题的解决等都需要借助人力。

  • 推荐系统是一种过滤信息、匹配资源的手段,通过机器学习算法和软件工程,推荐系统从海量信息中为用户进行筛选和过滤。

  • 推荐系统最终的目标是提升用户体验,为服务提供方和物品提供方创造商业价值。

从上面的说明可知,推荐系统是一个偏业务的交叉学科,需要综合利用软件工程、机器学习、产品设计、运营、大数据等跨学科的知识,才可以构建出满足用户需求、有商业价值的推荐系统。

推荐系统解决了哪些问题

推荐系统是互联网(特别是移动互联网)快速发展的产物。它本质上是一种从海量信息中为用户检索其感兴趣的信息的技术手段。推荐系统结合用户信息(地域、年龄、性别等)、物品信息(名称、价格、产地等)以及用户行为(浏览、购买、点击、播放等),利用机器学习技术构建用户兴趣模型,利用软件工程技术实现软件服务,为用户提供精准的个性化推荐。

推荐系统能够很好地满足物品提供方、平台方、用户三方的需求。拿淘宝购物举例,物品提供方是成千上万的网店,平台方是淘宝,用户是在淘宝上购物的自然人或企业。推荐系统可以更好地将物品曝光给有需要的用户,提升用户和物品的匹配效率。

从本质上讲,推荐系统解决的是资源配置问题。通过软件、算法、工程手段,将供给端(物品提供方)和需求端(用户)通过平台(提供个性化推荐的产品,如淘宝)进行匹配。推荐系统的目标是提升资源的配置效率。

推荐系统的应用领域

对于一款互联网产品来说,只要平台上存在“大量供用户消费的物品”,推荐系统就有用武之地。具体来说,推荐系统的应用领域主要有如下几类。

  • 电商:淘宝、京东、亚马逊等。

  • 视频:B 站、爱奇艺、抖音、快手等。

  • 音乐:网易云音乐、酷狗音乐、QQ 音乐等。

  • 资讯:微信公众号、今日头条、网易新闻等。

  • 生活服务:美团、携程、脉脉等。

可以说,只要是 to C 的互联网产品,都能看到推荐系统的身影。随着技术的发展、生活方式的改变,推荐系统更多的应用场景正在不断被挖掘和创造,比如无人驾驶汽车上的推荐、VR 设备上的推荐、线上线下融合推荐、跨品类的商品和服务推荐等。

常用的推荐算法

推荐系统大量使用机器学习技术,机器学习技术是推荐系统中最核心的部分。推荐系统的常用算法,主要分为两类:基于内容的推荐算法和协同过滤算法。

  • 基于内容的推荐算法

推荐系统通过技术手段将物品与人关联起来。物品自身包含很多属性,这些属性可以作为用户偏好的标签。通过记录用户与物品的交互行为,我们可以挖掘出代表用户对物品的偏好的标签,利用这些偏好标签为用户进行推荐,就是基于内容的推荐算法。拿商品推荐来说,商品有品牌、品类、价格、产地等属性,推荐系统可以根据用户以前的购买行为获得他对商品品牌、品类、价格、产地等属性的偏好,从而为他推荐可能感兴趣的商品。比如用户购买过 iPhone 手机,我们就可以根据这一行为挖掘出用户对“苹果”这个标签感兴趣,进而为用户推荐苹果电脑、苹果手机壳、苹果电源线等商品,如图 1 所示。

bace42de7c9a4168c7b60fa3966e77ae.png

图1:基于内容的推荐算法

  • 协同过滤算法

通过记录用户在互联网产品上的交互行为,可以利用“物以类聚,人以群分”的朴素思想来为用户提供个性化推荐。

具体来说,“物以类聚”是指如果有很多用户对某两个物品有相似的偏好,说明这两个物品是“相似”的,我们可以给用户推荐与其喜欢的物品“相似”的物品,这就是基于物品的(item-based)协同过滤算法。“人以群分”就是找到与目标用户兴趣相同的用户(有过类似的行为),将他们浏览过的内容推荐给目标用户,这就是基于用户的(user-based)协同过滤算法。如图 2 展示了这两类算法。

7ad40c1821ee7b46e01217bf7d813ed3.png

图2:协同过滤算法

这里提到的协同过滤算法是最古老、最简单的协同过滤算法。我们熟知的基于社交关系的推荐其实也是一种协同过滤,比如微信公众号将朋友点过“在看”的内容推荐给你,如图 3 所示。

e086a582729d187f36fa0195645cd167.png

图3:基于社交关系的协同过滤推荐

这里提到的协同过滤是比较宽泛的概念,不局限于 user-based、item-based。只要利用群体行为构建推荐算法模型,就属于协同过滤的范畴。协同过滤的概念类似于生物学中的协同进化,通过个体之间直接或者间接的相互作用,挖掘出个体之间隐含的联系,由此推荐系统会越来越懂用户的兴趣偏好。

基于内容的推荐算法和协同过滤算法的差异。二者最本质的区别是:基于内容的推荐算法只使用用户自身的行为信息(与别的用户无关)为其进行推荐,而协同过滤需要利用群体的行为来为某个用户进行推荐(“协同”代表的是群体智慧)。

在真实的推荐场景中,多种算法往往会混合使用,比如混合多种基于内容的推荐算法,混合多种协同过滤算法,甚至将基于内容的推荐算法和协同过滤算法混合。

另外,在商业应用中,推荐算法一般包括召回和排序,召回是初筛的过程(利用多种策略、算法将用户可能喜欢的物品筛选出来),排序是精准打分的过程(构建打分模型,将初选的、用户可能感兴趣的物品按照用户兴趣分数降序排列),后续会详细介绍。

如何系统学习推荐系统

2b1a0fccd61152929299ac712c2ffa62.jpeg

《推荐系统:算法、案例与大模型》

刘强 | 著

为了解决推荐系统学习问题,这本书深入算法工程本质,手把手实操项目代码。内容源自达观数据真实行业案例,为读者呈现 B 端高频规则和策略。大模型时代下的推荐系统如何发展,推荐系统未来的发展趋势本书都有说明。

本书学习路线

全书共 8 篇 24 章,从不同角度介绍了推荐系统构建的理论、方法、策略、案例,围绕推荐系统在企业(特别是 B 端行业)中的应用与实践展开叙述。

第一部分,详解推荐系统基础,清晰、全面的推荐基础知识。

5316535722eaefb41d95b2d24e80123b.png

第二部分,详解推荐系统核心算法。

366698b5cce8a2ae1317a5f76b946c8f.png

第三部分,工程实践与代码实战。

3a0bbd9a623674847928222d2c162ac5.png

第四部分,行业案例通过真实行业案例,呈现 B 端高频规则和策略。

a5854003c30fed302ec08d02c6225eaf.png

最后一部分,ChatGPT、大模型与推荐系统篇,通过洞悉未来趋势,了解大模型时代下的推荐系统。

2209364bc14309870999716288a77aec.png

作者简介

刘强,2009 年毕业于中国科学技术大学,有 15 年大数据与 AI 相关实践经验。出版过畅销书《构建企业级推荐系统》,翻译过《AI 革命》《认识 AI》《MongoDB性能调优实战》等优秀作品。目前是杭州数卓信息技术有限公司 CEO,公司业务方向为构建大模型推荐系统、大模型知识库等,帮助企业利用大模型技术进行降本提效与精细化运营。同时,担任达观数据高级技术顾问,与达观数据一同推动推荐系统及大模型技术在行业的落地。

大咖推荐

达观数据持续钻研推荐系统技术,并为众多企业成功部署了智能推荐系统,大幅提升了企业的运营效果和用户体验,积累了很多实战经验。我很高兴能向大家推荐这本著作,期望读者能借此掌握企业级推荐系统的技术精髓,洞察推荐技术的未来演进方向。

——陈运文,达观数据董事长,国家“万人计划”专家

本书针对企业环境下的推荐系统技术与应用展开了系统介绍,同时讨论了 ChatGPT 等生成式大语言模型在企业推荐系统中的应用,内容丰富、案例翔实,是有志于从事企业推荐系统建设的人员不可或缺的参考书。

——肖仰华,复旦大学教授,上海市数据科学重点实验室主任

本书围绕推荐算法的工业化实践展开深入讨论,融入了作者多年的实践经验。作者结合真实应用需求给出了算法设计与代码实现,推荐相关从业者阅读。

——赵鑫,中国人民大学教授、博士生导师

本书以清晰而生动的方式,介绍了推荐系统的基本概念、算法,以及与大模型结合的前沿应用。无论你是从事学术研究,还是致力于工业实践,本书都会为你提供宝贵的知识和实用的技巧。

——胡亮,同济大学教授,国家基金委优秀青年

本书包含对企业推荐系统全面翔实的技术讲解、典型应用案例和大模型前沿趋势展望,特别是对未来技术的企业责任与人文关怀的思考,令人印象深刻。不管你是推荐系统从业者,还是运营管理者,抑或技术研究者,这都是一本探讨推荐系统全面实战的 SOT A 好书。

——卢暾,复旦大学教授、社会计算研究中心主任

本书从算法原理、工程实践等方面系统剖析了推荐系统的技术与应用,其行业应用成功经验极具参考价值,内容翔实,干货满满,值得推荐。

——段雪涛,百度主任架构师、Feed  架构负责人

本书出于实践,用于实战,内容翔实,案例丰富,贴合时代,符合实际,是一本值得精读的推荐算法宝典。

——石霖,中国信息通信研究院人工智能中心智能安全部主任

本书不仅全面介绍了推荐技术的方方面面,而且包含很多行业的企业应用案例,还有大模型在推荐系统中的应用探索与思考,是一本兼具全面性、实战性和前沿性的好书。

——陈华清,美团机器学习专家

本书不同于市面上现有的推荐系统专题图书,对经典推荐问题的讲解简洁,且有实际案例,尤其增加了现今最火热的大模型与推荐系统结合的内容,可见这个有二十多年企业实践应用历史的话题,也正在焕发新的生命力。

——陈开江,贝壳网事业线产品技术中心负责人

听听作者怎么说

观看完整直播回放可前往「图灵社区」视频号

今晚20点,达观数据联合创始人、智能推荐部总负责人于敬做客图灵社区直播间,分享【企业级智能推荐系统原理及应用实践】

一键预约直播↓↓↓

aba3c088929f27dc86e7212a8ccc0095.jpeg

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/我家小花儿/article/detail/450079
推荐阅读
相关标签
  

闽ICP备14008679号