赞
踩
版本编号 V1.0
发布日期 2017-07-19
作 者
发布范围 产研大数据团队
目 录
1 数据架构概述 2
1.1 原始数据层(ODS) 3
1.2 数据仓库层(DW) 3
1.3 数据集市层 (DM) 4
2 数据库命名规范 4
3 表命名规范 5
3.1 整体原则 5
3.2 原始数据层表命名规范 5
3.3 数据仓库层表命名规范 5
3.4 数据集市层 6
4 字段命名规范 7
4.1 整体原则 7
1 数据架构概述
数据仓库架构分三层:原始数据层(ODS)、数据仓库层(DW)、数据集市层(DM)。
数据仓库层分两层:明细数据层(DWD)、汇总数据层(DWS)。
数据架构示意图如下:
1.1 原始数据层(ODS)
ODS为Operational Data Store缩写。
直接从业务库同步的操作数据,以及埋点日志上报数据先整体入ODS层。即ODS层是整个数据仓库的数据来源。主要是满足未来大量不可预知需求,以及一些数据核对、数据回滚等服务。该层数据通常需要永久保留。
1.2 数据仓库层(DW)
在数据仓库层,整合企业范围数据,面向企业范围的各种管理应用提供数据服务。为了更好管理和组织数据,将数据仓库进一步细分为两层:明细数据层、汇总数据层。
细节数据层(DWD)
DWD为Data Warehouse Detail缩写。
明细数据层按主题域存放从ODS经过清洗、转换加工得到的数据,数据粒度与ODS层一样,不经过任何汇总。
细节数据层的数据除了满足当前可见的数据服务之外,还要满足一定程度的未来不可预见的应用需求。
-汇总数据层(DWS)
DWS为Data Warehouse Summary缩写。
汇总数据层是细节数据层到数据集市层的过渡层次。
汇总数据层是按照主题或者业务对明细数据层的数据进行汇总加工,以便更快、更方便地提供数据查询服务。
汇总数据层则面向分析型应用进行细粒度的统计和沉淀,并为可预见的多个应用提供数据。
-历史汇总数据层(DWT)
DWS为Data Warehouse Total缩写。
历史汇总数据层是细节数据层到数据集市层的过渡层次更深层次的维度汇总。
历史汇总数据层是按照主题或者业务对明细数据层的所有历史数据进行维度汇总加工,以便更快、更方便地提供数据查询历史服务。
历史汇总数据层则面向分析型应用进行细粒度的统计和沉淀,并为可预见的多个应用提供数据。
1.3 数据集市层 (DM)
DM为 Data Mart的缩写。
数据集市层管理企业范围内的各种数据仓库应用,这些应用需要从数据仓库获取数据。数据集市层的应用有多种形式:数据挖掘、报表、指标、多维数据表等。
2 数据库命名规范
对数据架构各个分层的数据管理,需要建设相应的数据库。数据库名字字母要小写。
数据库建设规范如下:
原始数据层建库名称为ods
数据仓库层建三个库,分别为:
3.3 数据仓库层表命名规范
明细数据层(DWD)表命名规范:
dwd_{主题域英文名缩写}{源系统英文名缩写}{主体}_{后缀}
其中:
3.4 数据集市层
数据集市层(DM)表命名规范:
{数据库名}{主题英文名缩写}{主体名}_{后缀}
其中:
4 字段命名规范
4.1 整体原则
表的字段名字要求采用小写。
字段的中文名称和英文名称目前由附件“字段命名规范”词根数据字典表构成,随着数据仓库表和集市应用的增加,会不断对字段词根数据字典进行完善。如果发现词根数据字典不能满足建模需要,则需要通知模型团队进行增加。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。