赞
踩
现代数据仓库的分层架构最主要的原因在于两点。
第一是将复杂的数据数据处理流程解耦。以阿里巴巴推行的分层架构方案来看,数据仓库初步份分为了ODS、CDM、ADS三层:ODS负责数据接入,CDM负责数据模型设计,ADS负责数据的应用产出。实现了数据接入、处理、输出的解耦。而CDM中又分为DIM、DWD、DW、DWS:将数据分为是事实表和维度表,事实表关注的具体的事件,维度表关注事件的相关信息,进一步将数据的的功能的解耦。
第二是将数据根据预期的功能进行冗余,针对不同的使用场景,不同的数据粒度,进行维度退化、数据预聚合等。达到以空间换时间的目的。
综合两者来看,对数据进行解耦,冗余之后。遍形成了一个个模块化的数据表。和软件开发一样,模块化后更方便团队开发,方便功能更迭。
此外,各个模块化的表之间会形成清晰的血缘脉络,方便定位问题,避免重复计算。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。