从0到1搭建数据仓库流程_数据仓库搭建

从0到1搭建数仓，可以概括为6个步骤：业务探查、技术选型、规范制定、主题域划分、数仓分层、模型建设。

一、业务探查

梳理公司业务系统，业务关心的指标，开发过的需求。一般业务关心的数据集中在两三类数据上

二、技术选型

根据已有的数据，选择技术平台，及开发语言。Deloitte已经选好用CDH，这步可以不考虑

三、规范制定

在数仓建设阶段，我们只需要制定数仓相关的规范。
如：分层设计规范、表命名规范、字段命名规范、层次调度规范、脚本开发规范。网上都有这些规范的相关文章，需要结合公司情况改一下。
这些规范最好在开发前，整理成一个简单的文档，这样方便我们数仓的维护。

备注：数仓建设完成后，可能会设计元数据管理、数据质量、和指标管理。这些模块在开展之前也需要制定相关的规范。但是我们在数仓搭建的时候不用考虑这些问题。

3.1、数仓开发规范参考

提供部分数仓开发规范参考

0) 分层设计规范

一般包括ods\dwd\dim\dws\ads.每一层都有各自的功能

1）表命名规范

包括ods、非ods层命名规范、手工维护表、层次调度规范

• ods命名规范：ods+源系统库+数据库类型+源表名+加载方式+是否分区
• 非ods命名规范：分层前缀+业务域+业务过程+更新方式+时间粒度+是否分区
• 更新方式：增量inc、全量full、拉链zip
• 表名时间粒度规范：小时（1h）\天（1d）\周（1w）\月（1m）\季度（1q）\年（1y）
• 非分区表：统一加上后缀_0p
• 手工表：dwd-业务域-manual-业务过程。manual表示这是手工维护表

2）字段命名规范

采用蛇形命名法，即采用一个下划线分割词根

3）层次调度规范

禁止反向调用
ODS 只能被 DWD 调用。
DWD 可以被 DWS 和 ADS 调用。
DWS 只能被 ADS 调用。
数据应用可以调用 DWD、DWS、ADS，但建议优先考虑使用汇总度高的数据。
ODS->DWD->DWS>ADS
ODS->DWD->ADS

4）脚本开发规范

• 脚本是否有备注、字段是否有注释、复杂计算逻辑是否有注释释。
• 任务是否支持多次重跑而输出不变，不能有 insert into 语句。
• 分区表是否使用分区键过滤并且有有效裁剪。
• 外连接的过滤条件是否使用正确，例如在左连接的 where 语句存在右表的过滤条件

四、主题域划分

可以按照业务系统、或者部门划分。如果按照业务系统划分，两个业务系统的数据一样、可以合并为一个主题。
上次您跟我交流时的业务跨主题域的问题，如果主题划分好了，是不会存在这种情况的，如果跨主体域了，就划分在某一个主题域就行。

五、数仓分层

建议划分为ods,dwd,dim,dws,ads层。
数据的分层目的是方便我们清晰数据的流向，没有分层时，可能我们的数据会存在循环调度的情况；当然分层也可以减少重复开发的工作。

六、模型建设

包括dwd,dim,dws的模型建设。

6.1、模型建设——注意点

1)避免烟囱式开发：在数仓搭建前期，最容易出现的一个问题就是烟囱式开发.
烟囱开发判断标准有2个:

• 大量ods的表直接被dws或者直接被ADS层引用
• dwd或者dws表模型的下游引用表小于2张，模型平均的引用系数在3才算是一个比较好的数仓。

最好在数仓搭建的时候，您辛苦一下，看一遍建设的模型。

2)建设统一的维度编码表：编码不统一，会出现相近业务不能关联分析、出现数据孤岛的问题,维度表可以先建设公司常用的编码。

实施方法：先把所有设计维度的表集成到source表，在做清洗映射为业务编码与清洗后编码的映射表，最后建设成维表。

6.2、模型建设——方法论

1）如何建设模型
A)dwd模型：
主要做就做数据清洗，编码值的统一，编码属性值的冗余（比如产品名称就是属性值，产品编码就是编码值）。当不熟悉业务时、表结构可以借鉴业务系统的表结构。我现在公司的业务系统的表结构没完全按照三范式进行建模

B)DWS模型
把相同业务的指标，可以沉淀到dws表。比如业绩相关的
日/周/月/季/年/累计/销售金额or销售数量;当日/当周/当月/当季/当年/累计/销售退款金额or销售退款数量;可以按照这样的周期计算统计指标。

另外比如我们算了销售相关的DWS指标业绩，在计算团队，或者城市的业绩的时候，最好从销售业绩统计的dws表进行汇总。

注意点:这里有个问题就是销售的团队会变化，可能存在汇总城市业绩时会出问题，这里需要主要下

C)ADS模型
根据业务需求建设模型

2)什么样的模型式好模型？
我也一致在思考这个问题，网上很多建模方法论。
在建模的时候说的都是：选择业务过程、确认粒度、确认维度、确认实事,在应用在实际数仓搭建过程中比较懵，这个方法论可以借鉴。

关键是这个模型建设完成之后，被下游多少张表引用，比如这个表被下游5张表引用+并且表命名字段命名规范，那这就是一个成功的模型

3)逻辑如何确定
有些已经确定好的逻辑，可以直接借用之前逻辑就可以了。如果没确定逻辑在开发之前先跟业务或者需求确定逻辑