当前位置:   article > 正文

数据仓库为什么采用分层架构_ads cdm ods

ads cdm ods

数据仓库为什么采用分层架构?

        现代数据仓库的分层架构最主要的原因在于两点。

        第一是将复杂的数据数据处理流程解耦。以阿里巴巴推行的分层架构方案来看,数据仓库初步份分为了ODS、CDM、ADS三层:ODS负责数据接入,CDM负责数据模型设计,ADS负责数据的应用产出。实现了数据接入、处理、输出的解耦。而CDM中又分为DIM、DWD、DW、DWS:将数据分为是事实表和维度表,事实表关注的具体的事件,维度表关注事件的相关信息,进一步将数据的的功能的解耦。

        第二是将数据根据预期的功能进行冗余,针对不同的使用场景,不同的数据粒度,进行维度退化、数据预聚合等。达到以空间换时间的目的。

        综合两者来看,对数据进行解耦,冗余之后。遍形成了一个个模块化的数据表。和软件开发一样,模块化后更方便团队开发,方便功能更迭。

        此外,各个模块化的表之间会形成清晰的血缘脉络,方便定位问题,避免重复计算。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/Guff_9hys/article/detail/1000820
推荐阅读
相关标签
  

闽ICP备14008679号