当前位置:   article > 正文

Hive数仓dwd和dws的区别与联系_数仓dwd与dws有什么区别

数仓dwd与dws有什么区别

DW(Datamart)是数据仓库中的一部分,包括DWD(DW Detail), DWS(DW Summary), DM(DW Middle)。其中DWD和DWS是DW的两个主要层次。

Hive数仓中的DWD和DWS分别代表数据仓库中的数据加工层和数据汇聚层。

DWD是DW Detail的简称,是数据仓库中的明细层,主要负责数据的抽取、清洗、转换和加载等工作,目的是将源系统中的数据格式统一为数据仓库中的统一模式。DWD层的数据是经过ETL(Extract-Transform-Load)过程处理、去除冗余、增加维度等数据加工处理后,业务过程的详细数据。DWD层主要面向业务运营人员、数据分析师等,提供对操作型数据的支持,使得数据分析和报表生成等工作更加方便快捷。

DWS是DW Summary的简称,是数据仓库中的汇总层,主要负责对DWD层中的数据进一步汇总和计算,形成多维数据分析模型,便于用户进行决策分析。DWS层的数据具有高度的综合性、分析性和决策性,是面向业务决策人员的数据分析基础。

它们的区别在于:DWD层数据面向操作型,主要关注业务过程的详细数据,数据挖掘等分析技术也主要用于DWD层;DWS层数据面向分析型,主要关注目标数据的提取、计算和分析过程,数据挖掘技术主要用于DWS层。

它们的联系在于:DWD层和DWS层都是数据仓库中的重要层次,DWD层提供完整、准确的明细数据,DWS层依据业务需求,提供分析型的汇总信息。数据仓库的建设离不开DWD和DWS的联动,只有DWD和DWS相互配合,协同工作,才能构建出更加完善、可靠的数据仓库体系。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/寸_铁/article/detail/742836
推荐阅读
相关标签
  

闽ICP备14008679号