《数据挖掘与数据化运营实战》（第11-12章）_t检验没有结果但是决策树分析

11 用户特征分析的典型应用和技术小窍门

11.1 用户特征分析所适用的典型业务场景

用户特征分析不仅仅是数据化运营的的基础，即使是传统行业，只要企业足够关注用户，一定定会进行用户特征分析。

典型业务场景：

• 寻找目标客户
  包括虚拟的目标用户特征分析，这种场景主要适用于企业还没有实际使用的用户，业务方按照业务逻辑假设或者圈定一些典型的特征；真实的目标用户特征分析。
• 寻找运营抓手
  运营抓手指的是通过运营的方式可以用于改善和提升客户满意度的一些特定行为字段，常见的所谓运营抓手包括用户的一些主动行为，之所以强调主动行为，是因为只有主动的行为才是用户自身努力可以达到的，因此只有主动行为才是可以通过运营的方式传达给用户，并且用户可以通过主观努力来改善和提升的；而被动行为是不以用户主观意识为转移的，无法通过运营的手段有效提升和改善。主动行为包括：用户登录网站的天数、用户发布的商品信息条数等；被动行为包括：用户能否卖出产品、用户能否收到足够的买家询盘等。
• 用户群体细分的依据
• 新品开发的线索和依据

11.2 用户特征分析的典型分析思路和技术

单纯从业务方对用户群体的熟悉程度来考虑，可以将用户特征分析拆分成3种分析类型：

• 基于预先定义的划分，该种方法如果是对业务和客户已有深刻的了解，那么可以基于特定的业务需求目的，直接按照特定的分析字段和分析指标进行划分。
• 基于数据分析的划分，主要的分析技术：RFM、聚类技术、决策树的规则整理、预测（响应）模型的核心变量、假设检验方法、Excel透视表的应用等。
• 复合划分，综合采用上述两种方法进行划分。

RFM
RFM分析方法是指通过影响企业销售和利润的客户行为字段里最重要的三个变量：

• R—客户新鲜度，指客户最近一次购买公司产品的时间；
• F—客户消费频度，至客户特定时间段里购买公司产品的次数；
• M—客户消费金额，指客户在特定时间段里消费公司产品的总金额。

在该方法中，3个变量的排列顺序是严格的，有轻重缓急和先后次序，客户新鲜度、客户消费频度、客户消费金额。RFM分析方法首先会将3个字段进行分箱处理，即离散化处理，使之成为类别型变量，然后按照低、中、高三个类别进行组合，会有27种组合，最优质的客户是新鲜度高、消费频度最多、消费金额最大的用户。

聚类技术的应用
如果参与聚类的变量数量较少，为了能够更好的支持用户特征分析的应用，非常有必要在聚类的基础上增加更多的与业务目标和商业备用相关的非聚类变量进行综合考虑。

决策树技术的应用
决策树技术最大的应用优势在于其结论非常直观易懂，容易被人理解。

预测（响应）模型中的核心自变量
如果要使用预测模型的思路和方法，那么要注意模型本身的目标变量与用户特征分析中的业务需求保持一致。

假设检验的应用
通过假设检验来筛选有显著性差异的核心变量，是用户特征分析应用中选择特征字段的一个有效方法。

11.3 特征提炼后的评价体系

• 结论是否与当初的分析需求相一致
• 结论是否容易被业务方理解
• 通过这些主要结论来圈定用户基数是否足够大
• 结论是否方便业务方开发出有效的个性化运营方案

12 运营效果分析的典型应用和技术小窍门

业务落地应用得到检验，有两类检验：

• 模型本身是否稳定，即在新数据中得到的验证结果是否与模型拟合时的表现相一致；
• 运营效果分析，好的模型、好的分析报告能否在业务实践中通过业务图但对的工作有效转化成为生产力。

12.1 为什么要做运营效果分析

• 衡量运营工作的效率和效果
• 指导运营技巧的优胜劣汰
• 提升运营团队的专业能力
• 增强运营工作的商业价值

12.2 统计技术在数据化运营中最重要最常见的应用

在效果分析类型的业务场景中，统计技术里的假设检验是应用的最集中、最普遍、最频繁的，并且能够有效提供最终的评判结论。

12.2.1 为什么要进行假设检验？

• 为了精确地区分运营效果的差别到底是随机因素引起的，还是因为运营的因素引起的，以及在多大的置信度内可以肯定是因为随机因素引起的，或者是因为运营的因素引起的。
• 在很多情况下，效果的评估是基于样本的观测进行的，为了从样本的结论里推论出总体的结论，也必须进行假设检验来判断样本的差异能够代表总体的差异，同时还要确定样本的差异在多大的置信度内可以代表总体的差异。

假设检验应用最密切、最常用的一些技术和方法：
包括T检验、F检验、非参数检验、卡方检验、控制变量的方法和ABtest方法。

12.2.2 假设检验的基本思想

在日常生活中，经常会碰到对于总体的一些判断，比如用户群体的活跃度提升是否显著，答案要么是显著、要么是不显著，即是非判断，这两种选择对应的就是两个假设，一个是原假设H₀，一个是备选假设H₁。

在一次观察或者试验中几乎不可能发现的事情，称之为小概率事件，小概率事件再一次试验中发生的概率被称为显著性水平。

假设检验的基本思想和原理就是小概率事件原理，即观测小概率事件在假设成立的情况下是否会发生。如果在一次试验中，小概率发生了，那么说明假设在一定显著性水平下不可靠，因此有理由拒绝原假设，而接受备选假设；如果在一次试验中，小概率事件没有发生，只能说明没有足够的理由相信假设是错误了，但是并不能说明假设是正确的。

• 第I类错误：当原假设为真时，却否定它而犯的错误，称为弃真错误
• 第II类错误：当原假设为假时，却肯定它而犯的错误，称为纳伪错误

上述两类错误在其他条件不变的情况下是相反的，即α增大时，β就减小；α减小时，β就增大。α错误容易受分析人员的控制，因此在假设检验中，通常会先控制第I类错误发生的概率α，具体表现为：在假设检验之前先指定一个α的具体数值，通常取0.05，也可0.1、0.001。

12.2.3 T检验

T检验主要用于检验两组样本的均值相等的原假设。在某些场合中，各组观察值是独立的，比如两组测试样本群体，一组是运营组，一组是对照组，运营组的样本是用来进行有针对性的运营活动，而对照组的样本则会刻意避免有针对性的运营活动，前者的独立对比是在两组观察值相互独立的情况下进行的，称为独立组样本的比较，通常采用独立组样本T检验方式，后者的配对比较是在观察值本身进行前后对比，称为配对组样本的比较，通常采用配对组样本T检验方式。

两组独立样本T检验的假设和检验

两组独立样本T检验要求数据符合以下数据符合以下三个条件：

• 观察值之间是独立的，即观察值相互之间没有牵连关系
• 每组观察值来自正态分布的总体，这个要求决定了数据必须是区间型的变量
• 两个独立组的方差相等

两组独立样本的非参数检验

虽然两组观察值是各自独立的，但是每组观察值不一定来自正态分布的总体，同时两个独立样本组的方差不一定相等，通常采用的方式是Wilcoxon秩和的一种比较两个独立组观察值的非参数检验。

配对差值的T检验

使用配对组差值进行T检验的条件：

• 每组观察值与其他观察值之间相互独立
• 配对差值来自正态分布

配对差值的非参数检验

如果每对观察值与其他观察值相互之间是独立的，但是每组观察值不一定来自正态分布，这个时候就不能采用配对差值的T检验了，而应该使用配对差值的Wilcoxon秩和检验。

12.2.4 方差分析

当我们的分析不限于两个独立样本组的时候，而是扩展到多个样本组，T检验就不适用了，在这个情况下，就需要进行方差分析（ANOVA）或者F检验。

方差分析是利用样本数据检验两个以上的总体均值是否有差异来进行分析的一种方法，能够解决多个总体的均值是否相等的检验问题；在研究多个变量对不同总体的影响时，它也是分析各个自变量对因变量影响的方法。

方差分析满足以下三个前提条件：

• 各组观察值是来自于正态分布的总体的随机样本
• 各组观察值之间是相互独立的
• 各组观察值具有同方差性

根据分析因素的个数不同，方差分析可以分为单因素方差分析和多因素方差分析。

• 多因素方差分析：指当有两个或以上的因素对因变量产生影响时，采用此方法，利用假设检验的过程来判断多个因素是否对目标变量产生明显的影响。
• 单因素方差分析：是运营效果分析实践中最常见的，比如，针对从同样的总体中随机抽取多个样本组，只是随后的运营策略有所不同，同时比较运营后的行为指标有所差异的场景。这时，单因素就是运营策略，希望通过假设检验来验证运营策略的不同是否真的导致了随后各样本组的行为指标之间有差异。

单因素方差分析
单因素方差分析（ANOVA）主要研究单个因素对目标变量的影响，这种方式将通过因素的不同水平对目标变量进行分组计算，得到组间和组内方法，并利用方差比较对分组所形成的总体均值进行比较，从而对各总体均值相等的原假设进行检验。

12.2.5 多个样本组的非参数检验

如果多个样本组的数据不是来自正态分布的总体，或者各样本组的方差不相等，在这些场景中就不能使用方差分析的方法了，而只能采用非参数检验的方法。

12.2.6 卡方检验

卡方检验是一种应用非常广泛的假设检验方法，属于非参数检验的范畴，主要是比较两个和两个以上的样本率，以及对两个分类变量的关联性进行关联分析，其根本思想是比较理论频数和实际频数的吻合程度或者拟合度。

12.2.7 控制变量的方法

控制变量就是指在分析某个核心因素针对不同群体的运营效果时，为了防止其他因素的干扰，而人为的将考虑到的其他因素，即一些潜在的、重要的、可能影响运营效果的因素进行固话或者排除，从而在一个人为控制的比较单纯的数据中专门分析核心因素的影响。

12.2.8 AB test

AB test ，最容易想起的就是他实在网页设计优化中的一种比较策略，同一个功能页面，设计两种不同的页面布局，通过技术手段将两种不同风格的页面设计随机分配给浏览该功能页面的不同访问者，根据随机分配的页面浏览转换效果，来评价不同设计风格的优劣。

AB Test 最基本的含义就是对于一个运营活动的效果进行评价，在使用此方法时，一定要实现把同一类客户群体随机分成A组和B组，一组进行运营，一组不进行运营，这样才能比较合理的评估运营的效果。

使用AB Test方法时的注意点：

• 参与AB Test的客户群体总是来自同一个总体的，应具有相同的特征或属性
• 与AB Test相关的其他业务因素应该一致，也就是说除了要分析的特定运营条件外，其他的业务因素应该一致