神策数据简宁：如何更好地借助数据驱动产品价值提升？_数据驱动产品的最大难点及其解决思路是什么

本文根据神策数据 A/B 测试交付方案负责人简宁关于《数据驱动产品价值提升》的演讲整理，从产品价值定义、建模及提升三方面展开。主要内容包括：

• 产品价值定义：能且更好、更多地解决用户的问题

• 产品价值建模：用什么样的指标做产品价值评估

• 产品价值提升：以准确的认知、精益的量化来提升产品价值

一、产品价值定义：能且更好、更多地解决用户的问题

产品的价值是什么？我们如何创造产品价值呢？

在工作场景中，我们常常会思考：用户在用我们的产品解决什么问题？用户为什么从众多产品中挑选并使用我们的产品？用户为什么会留在我们的产品？其实，产品的价值也就是产品存在的意义。

我们可以将产品的价值概括为：能且更好、更多地解决用户的问题，不只是单纯的帮助用户解决问题。换句话说，创造产品价值的过程也就是解决用户问题的过程。

如何实现「能且更好、更多地解决用户的问题」这一目标呢？我们可以通过构建相应的策略和工具来完成，举个例子：在常见的电商场景中，我们希望帮助用户完成商品交易，核心策略便是帮助用户找到物美价廉的商品，关键词有三个——“找”“物美”“价廉”，相应的商品展示策略可以满足用户对“物美”的需求，价格策略满足用户对“价廉”的需求，选品策略帮助用户快速找到符合需求的商品。在这个场景中，商品展示策略和价格策略具象化之后可能会是红包、优惠券等折扣机制，是我们支持策略的工具；选品策略则是我们支持策略的策略。

那么我们通常是在解决用户的哪些问题呢？从大的分类来看，可以分为两种：第一，帮用户节省时间，提升用户效率；第二，帮助用户消磨时间，提升愉悦感。

再结合产品对用户的价值层面，即解决问题的方式来看，解决用户问题的模块可以分为 4 类——工具、交易、内容、社区。如下图所示：

当我们能够通过产品本身帮助用户实现节省时间这一目标，那么便是解决问题模块中的“工具”模块；当我们通过产品本身帮助用户消磨时间，便是“内容”模块；当我们连接其他资源/产品，帮助用户节省时间，那么则是“交易”模块；当我们连接其他人，帮助用户寻找圈子和互动的对象，那么便可以称为“社区” 模块。

在上述分类之外还会有其他的分类方法，比如游戏产品的分类会更加复杂，这里我们不做赘述。接下来我们基于此分类方法，通过具体的场景进一步挖掘产品如何解决用户的问题。

举个例子，当你计划假期出去旅行，那么肯定需要提前确定目的地，旅行 App 便会在此时帮助你解决问题：在确定目的地的环节，App 通过内容模块帮助你发现感兴趣的目的地；在安排行程环节，App 可以通过工具模块帮助你完成高铁、飞机、酒店等行程要素的查询和预定；当你结束了美好旅程，希望将自己的所见所闻进行分享时，App 的社区模块便给了你发布攻略或者旅行见闻分享的机会，得到旅行之外的价值感受。

在这个案例中，我们可以明确看到产品是如何通过“工具、交易、内容、社区”四个模块以复杂的协作关系来帮助用户解决问题的。

二、产品价值建模：用什么样的指标做产品价值评估

现代管理大师彼得·德鲁克曾说过：“如果你无法度量它，那就无法管理它。”所以在讲述如何提升产品价值之前，我们要先去量化它。

这里引入一个大家耳熟能详的模型，叫做 OSM 模型。O 代表业务目标，也就是产品要解决的问题，或者是解决这个问题所代表的的某个用户的关键行为；S 是指实现业务目标所采取的业务策略；M 反映业务目标达成度、业务策略表现情况的数据指标。

首先，我们要梳理业务策略和业务目标，它一定是非常具体的、可执行的、可度量的。在前面我们提到的“帮助用户找到物美价廉的商品”就不够具体，可以进一步做拆解——“物美”这一目标对应商品详情页的高转化率；“价廉”对应的是支付环节的高转化率。通过这样的拆解我们才能够确定策略及目标是能够被度量的。这里需要解释一下，我们的策略可能是层层嵌套式的，当前的策略也有可能是下属子策略的目标。

接下来我们通过一个具体的案例来理解确定目标、梳理策略的过程。

某消费金融 App 场景中，用户注册之后要先进行风险授信，平台才能确定相应额度并向用户放款。通常情况下，该 App 会采取两类策略：

第一，在前端设计用户路径，引导用户完成该流程。操作方式是当用户注册之后直接把用户引导至授信流程；如果用户没有完成授信，那么便在首页的额度卡片上以低息高额度吸引用户完成授信；同时，在首页开设新人专区，通过新人相关权益吸引用户完成授信。

第二，当用户对以上策略都不“感冒”，那么我们可以在用户离开之后做主动触达，比如新用户在 24 小时内没有完成授信，便通过短信触达提醒用户；如果用户在 72 小时仍未授信，那么我们可以通过电话了解用户下载 App 的初衷，传递相应的价值主张吸引用户完成授信。

以上流程仅仅针对授信模块进行策略梳理，实际的业务场景会更加复杂。如果我们用这种方式进行梳理，那么我们的目标对应的策略会更有逻辑。

接下来我们分别通过目标策略建模和业务策略建模来评估目标和策略表现。

（一）四类业务目标建模方法（OM）

首先，通过数据评估各类目标实现程度。对于业务目标本身，“工具”模块可能会关心用户使用的频次，以及用户使用过程中是否足够顺畅、体验感如何；“内容”模块希望用户能够在这里花费更多的时间，也希望所提供的内容是用户感兴趣的；“交易”模块希望用户能够产生更多的购买行为以及更高的客单价；而“社区”模块则更希望用户能够与其他人发生更多联系、互动，结成亲密的社交关系。

通过这样的解读思路，我们在梳理业务指标的时候就会更加明确：“工具”模块关心操作的具体数量，如果是一个拍照的软件，就关注用户拍了多少张照片；如果是题目答案搜索工具，就关心用户是否找到了自己想要的答案。同时，在过程中关注用户的目标完成率。当我们确认了用户使用过程是高效的，那么需要进一步确认用户的使用频率，用户是否已经养成使用习惯等。

“内容”模块会从用户和内容两个角度进行评估，用户的数量是否足够多、用户花费的时间是否足够长，这两个指标可以直接反映“用户”的情况；而从内容的角度看，浏览广度可以评估内容库的库存效率和分发效率，同时在这个过程中也会关注用户是否产生了互动，参与度如何等。

对于“交易”模块，我们通常会关心交易金额和客单价，以此评估商业收益和单个用户创造的价值；同时也会关心一些核心场景中的转化效率，比如通过商品详情页或者支付环节的转化效率，帮助我们评估用户是否真的找到了自己需要的商品；也会通过用户的复购率来观察用户对产品的认可和忠诚度。

“社区”模块则更多关注用户互动量、发布内容的数量，当互动量和内容量越多，社区活跃度越高，便能够产生正向循环。另外，我们也会关注一些个人项指标，比如他有多少个好友、日常会进行多少个对话等，以此评估个人项关系的紧密程度。

（二）五种业务策略的建模方法（SM）

通常情况下，我会把业务策略的五种建模方法分为两类：白盒策略和黑盒策略。

白盒策略的设计逻辑较为清晰，包括长效的功能模块，设计单独路径引导用户完成某个行为的短效引导机制，某个页面的体验优化等单点体验设计。而黑盒策略背后通常是复杂的算法，其中最常用的是推荐算法和识别算法。

1、长效功能模块

我给长效功能模块做了一个比较严谨的定义——它是能够独立解决用户问题的模块，或者是一个自成闭环的模块。比如，单独的一个内容模块、社交模块，或者简单的搜索功能、语音助手功能等；进一步来描述也可能是用户的成长体系等可以自成闭环的模块，通过“完成相应的任务、获取积分、消费积分”形成闭环。

对于长效功能模块，我们会通过三个角度来评估策略的好坏：

首先是功能使用情况，也就是功能运转情况如何，是否能够满足用户需求？包括频次、强度（如交易类的金额、内容类的时长）、留存率和目标转化率。

然后是功能覆盖情况，即产品能够解决多大范围用户的问题？通常所使用的指标是渗透率，以此评估我们需不需要为这个功能引入更多用户。

最后是功能贡献情况，功能对目标达成的直接贡献有多少？相比而言哪个更优、哪个更差、哪个需要我们做进一步的干预……

举个例子，某浏览器产品的目标是提升用户使用时长，其浏览器主模块之下有短视频、直播、小说、游戏等子模块，共同配合帮助用户完成“消磨时间”的目标。针对该浏览器，我们需要评估子模块的使用情况、留存情况，以及每一个模块分别的用户情况及占比，来定位用户接触最多的模块。

2、短效引导机制

短效引导机制通常是一条业务路径，或者单纯为了某一个业务目标去做引流的相关手段。通常我们会从三个角度进行短效引导机制的评估。

第一，策略完成情况。有多少策略达成了引导目的？触发了多少次？实现了多少次用户点击？目标完成率是多少？

第二，策略覆盖情况。覆盖了多少目标人群？比如进入路径的用户占目标大盘人群的比例是多少？策略触发的用户占目标大盘人群的比例是多少？

第三，策略贡献情况。各项策略对目标达成的直接贡献分别是多少？

举个例子，某在线教育公司希望引导用户完成激活，采取的业务策略是用户参与活动后的五天内可以畅学平台上的所有课程，基于此评估入口的点击量、课程领取的点击量，以及不同模块带来的有效学习行为的贡献占比有多大等。通过这一整套机制评估每一类短效机制，便可以发现值得关注的高质量机制以及需要进一步优化的机制。

3、单点体验设计

单点体验设计通常是一个详情落地页面的设计、一套交互动作、一个图标或引导文案。我们会以流程转化情况和用户满意度两种方式来进行评估。

1）流程转化情况。适用于有明确下一步目标的转化场景，可以根据目标达成率、人均点击次数等指标来进行评估。比如进入某零售品牌的官网，平台会告知你注册后可享受若干免费权益，以此来引导你完成注册。

2）用户满意度。适用于没有明确引导目标的体验优化，通常会采用 NPS 评价、满意度打分、相关投诉的数量等间接方式进行功能评估。举个例子，某生活 App 会通过统一设计语言来优化视觉效果，为用户带来更好的体验，间接影响用户的长期留存。

4、推荐算法

推荐算法常见场景包括：为用户推荐内容、商品，为用户推荐 TA 可能感兴趣的好友等，通常会从吸引指标、完成指标和性能指标三个维度评估推荐算法的好坏，如下图所示：

5、识别算法

识别算法的典型应用场景是电商平台识别“羊毛党”、识别可能会流失的用户等，通过精准识别和定位做及时精准的干预，挽回不必要的损失。同样，我们也可以通过精确率、召回率和 AUC 值来进行识别算法的评估。我们用更形象一点的方式来描述算法，可以将它比作我们用来打渔的渔网：

精确率：假如你只想在鱼塘里打捞鱼，撒网之后发现完美地避开了螃蟹和虾米，这就说明这个“渔网”有足够的精准率。

召回率：假设鱼塘里一共有 100 条鱼，它们是你的精确目标，你在撒网之后捞上来 90 条鱼，那么你的召回率为 90%；如果只捞上来 2 条鱼，那么虽然算法具有足够的精确率但是“漏网之鱼”过多，仍旧需要不断优化算法逻辑来提升召回率。

AUC 值：是指模型在各种阈值之下的适应情况，决定了模型在各种条件之下的适应程度。

三、产品价值提升：以准确的认知、精益的量化来提升产品价值

为什么要用数据驱动产品价值的提升？之所以会提出这个问题，是因为我们的工作过程中经常会存在两个痛点：怎么知道我做的是不是对的？怎么知道什么事情是更有价值的？而数据的存在就是要帮助我们解决这两个问题。所以我将数据在执行过程中的作用总结为三点：第一，观测效果；第二，验证想法；第三，量化效益。基于这三点，我们可以进一步了解数据驱动产品价值提升的五个步骤。

• 根据业务目的，明确量化指标

• 梳理关联业务策略，构建评估体系

• 控制影响因素，通过 A/B 测试验证因果逻辑

• 多维分析数据，量化策略影响，排序优先级

• 基于准确的原因，实施产品优化

接下来我们将侧重围绕后面三个步骤做详细讲解。

（一）围绕 A/B 测试数据分析，验证目标和策略之间的因果关系

首先，我们讲一个小故事：产品经理通常会在新版本发布后，持续关注核心指标的变化。若核心指标上升，产品经理会得到改版效果的正向反馈；但有时由于技术上暴露了潜在风险，因而执行了版本回退，却发现核心指标仍在上涨，这时产品经理便只能推翻原来的想法。

其实原因很简单，市场营销同学并没有停止投放、运营同学仍有序发布裂变、拉新等促活的活动，所以产品经理就很难确认核心指标的提升是因为版本发布带来的，还是因为营销动作、运营活动带来的。

因此，如果没有控制变量的话，我们很难找到可靠的事实依据来确定目标和策略之间的因果关系。所以，增长专家们才常常会说，只有随机对照试验是建立因果关系的黄金标准。

再举个例子，某资讯 App 在日常数据分析过程中发现，新用户首周发布 3 条以上评论后，留存率较高。因此该 App 制定了引导用户首周发布评论的业务策略。为了验证该策略的效果，运营团队通过 A/B 测试做了对照试验。从数据上来看，虽然引导评论的策略得到了用户评论量的明显增加，但对留存的提升并没有直接影响。

此时进一步思考，该业务策略和目标之间是因果关系还是相关关系？从因果的角度来思考，其实可能是新用户在首周看到了 3 条以上感兴趣的内容，才导致他发布了 3 条以上的评论，进而对起留存有一定的影响。

基于因果关系来思考，我们可以通过优化推荐算法，为用户推送他感兴趣的内容，来达到促留存的目的，这可能是更正确的方向。

（二）排序工作优先级最大化产出，量化策略对目标的影响程度

量化策略对目标影响程度的方法有三种：

1、独占式权重。多个策略共同达成同一业务目的，各策略独立贡献指标数值。比如我们刚才所提到的浏览器的例子，游戏、直播、小说等子模块共同配合帮助用户解决消磨时间的问题，其量化方法便是计算用户在每个模块使用时间所占的份额。

2、归因算法权重。多个策略协作达成同一业务目的，策略之间存在协作、重叠关系。产品中常见的 Banner、分类导航等其他入口模块共同承担着向详情页引流的作用，因此需要采取科学合理的方式分配其贡献。在神策分析中，针对此问题的常用方法有首次归因、末次归因、平均归因等。

3、业务经验打分。有时候仅使用策略的直接指标来评估并不全面，需要引入其他维度综合打分。比如预估当前策略能够对多少用户产生影响、开发难度如何、是否有足够的事实依据等。在不同场景下的打分方式可能不同，考量的维度也会有所不同。

（三）基于准确的原因确定怎么办，实施产品优化和策略迭代

当我们确定了工作优先级，接下来就需要基于准确的原因来实施产品优化和策略迭代。

举个例子，某电商 App 一开始的商品设计是沉浸式体验版的大图，除了商品之外没有任何其他修饰。为了配合某场营销活动，运营同学在商品图上增加“满 399 减 20”的优惠文案边框，但增加文案边框后的大图点击率反而有所下降，针对此，我们可以猜测：一是用户更喜欢沉浸式产品图，增加边框后影响美感；二是优惠文案边框会让用户产生“产品是否为正品”的担忧。

为了进一步验证猜测，运营同学在文案边框之外增加了关键字“正品保证/支持验货”，观察一段时间后发现点击率有了明显提升。如此便证实了优惠文案边框给用户带来产品质量顾虑的猜测，也可以基于此做其他产品的商品图改版。

实际上，用户的转化行为背后对应一套决策的天平，通过我们两次策略改版，我们可以发现这个案例中影响用户决策的因素有三个：价值的感知；安全的顾虑；价格的阻力。每个用户心中的天平是不一样的，可能当我们降低了用户在安全和价格方面的顾虑，便会有更多用户发生转化。

不过除价值、价格和安全三方面之外，也会有一些其他因素对用户决策产生影响，比如物流效率等，向用户传达“你可以更快收到商品”的讯息。大家可以结合实际业务场景做更深入的思考并完善用户决策模型。

当我们进行了多次 A/B 测试之后，对决策模型的理解会更加完善，接下来，我们就有了能力去微操这个认知模型下的策略。

怎么理解呢？举个例子，对于品牌官网来说，通常只需要沉浸式体验大图来做商品宣传，并不会将直接转化作为核心指标；对于经销网店来说，因为有众多竞争对手，需要采取价格策略抢占更多市场份额，因此会选择优惠激励版本；而对于一些信誉度堪忧的第三方平台，为了获取用户最大程度的信任，就需要对商品质量做出保证，选择优惠 + 信任的版本效果更佳。在该过程中，品牌官网、经销商和第三方平台不同做法的差异其实是背后客户群体的差异，因此需要各自针对自己平台用户进行试验，并调整出适合自己的方案。这也就是我们所说的微操，也就是说：别人的不一定是好的，只有不断寻找和试验才能找到更适合自己的。

最后总结一下，数据驱动产品价值提升的核心原则是，以准确的认知、精益的量化来提升产品的价值。同时也只有这样，我们才能够正确地操控自己的业务，掌握自己产品的命运。