大数据（0b）离线数据仓库_离线数据库

1、数据库 & 数据仓库

数据仓库不是数据的终点，而是为数据的终点做准备

• 离线计算：延时的、周期性的、批处理的、海量的 数据计算
  通常，离线计算周期是1天，就是每天批处理前1天的数据，俗称T+1
• 离线数仓：基于离线计算的数据仓库
  目前 主流的 主要的 离线数仓工具 是 HIVE

2、OLTP & OLAP

3、范式理论

范式

构造 关系数据库遵循的规则

优点

降低数据的 冗余性
保证数据 一致性（数据修改时，改一个表就行，不用改多个）

缺点

需要 join拼接数据，效率降低

4、维度表 & 事实表

4.1、维度表

• 一般是对事实的描述信息，例如：用户、商品、日期、地区…
• 行数较少，列数较多
• 内容相对固定（编码表）

日期维度

用户维度（拉链表）
从拉链表取出快照

4.2、事实表

• 每行数据代表一个业务事件，通常有很多外键（地区、用户、时间…）
• 业务事件可以是：下单、支付、退款、评价…
• 业务事件有数字度量，如：数量、金额、次数…
• 行数较多，列数较少
• 每天很多新增

5、星型模型、雪花模型、星座模型

星型模型

适用于简单业务

雪花模型

和星型模型相比，查询更慢，冗余更低，拓展性更好

星座模型

存在共享维度

建议使用：星座模型+雪花模型

6、数仓分层

• 分层的好处
  复杂问题拆解为多层
  减少重复开发（可以去中间层取数，不用每次都去原始层）
  隔离原始数据，例如：异常数据、敏感数据（用户电话…）
• 数据存储策略
  原始层保持数据原貌，不进行脱敏和清洗
  创建分区表（例如：日期分区），防止全表扫描
  数据压缩，减少磁盘占用（如：LZO、gzip、snappy）
  列式存储提高查询效率（如：Parquet、ORC）

6.1、命名规范

库名：业务大类
表名：分层名_业务细类
临时表：temp_表名
备份表：bak_表名
视图：view_表名（场景：不共享的维度表、即席查询）

6.2、合并维度表 and 维度缩减（ODS=>DIM）

合并维度表

维度缩减：
情况1：字段很少的维度表 合并到事实表
情况2：非公共的维度表（该维度表只用在一个事实表）合并到事实表

6.3、数据处理（ODS=>DWD）

6.4、维度建模（ODS+DIM=>DWD）

1. 选择业务过程，例如：用户、商品、订单、优惠券、评价…
2. 声明粒度，例如：订单表的1行数据 代表了1次下单行为
3. 确度维度：时间维度、地区维度、商品维度、用户维度、优惠券维度…
4. 确定事实：点击、下单、支付、退款、评价…
5. 度量值：次数、金额、个数…
6. 构建$事实\times (维度+度量值)$矩阵

6.5、指标（DWD=>DWS=>ADS）

• 原子指标：业务定义中 不可拆解的指标
  由DWD层聚合而来，存储到DWS层

• 派生指标：对 原子指标 进一步 聚合和筛选
  由DWS层聚合而来，可存储到DWT层或ADS层

• 衍生指标：多个派生指标 复合运算而成，例如：比率
  $当天退单率=当天退单数/当天订单结束数$
  $下单率=下单人数/UV$
  存储到ADS层

• 画像：对维度表的字段进行分组COUNT得到的统计值，并没有事实表参与
  例如：用户画像、商品画像
  统计值例如：对用户维度表COUNT(性别)得到男生人数和女生人数
  这种统计值通常不完全可加的，例如昨天的男生人数不能和前天的男生人数相加
  而每天算一次就可得到时间序列，例如男生人数按天统计的时间序列

7、数据同步策略

8、示例表