赞
踩
DW(Datamart)是数据仓库中的一部分,包括DWD(DW Detail), DWS(DW Summary), DM(DW Middle)。其中DWD和DWS是DW的两个主要层次。
Hive数仓中的DWD和DWS分别代表数据仓库中的数据加工层和数据汇聚层。
DWD是DW Detail的简称,是数据仓库中的明细层,主要负责数据的抽取、清洗、转换和加载等工作,目的是将源系统中的数据格式统一为数据仓库中的统一模式。DWD层的数据是经过ETL(Extract-Transform-Load)过程处理、去除冗余、增加维度等数据加工处理后,业务过程的详细数据。DWD层主要面向业务运营人员、数据分析师等,提供对操作型数据的支持,使得数据分析和报表生成等工作更加方便快捷。
DWS是DW Summary的简称,是数据仓库中的汇总层,主要负责对DWD层中的数据进一步汇总和计算,形成多维数据分析模型,便于用户进行决策分析。DWS层的数据具有高度的综合性、分析性和决策性,是面向业务决策人员的数据分析基础。
它们的区别在于:DWD层数据面向操作型,主要关注业务过程的详细数据,数据挖掘等分析技术也主要用于DWD层;DWS层数据面向分析型,主要关注目标数据的提取、计算和分析过程,数据挖掘技术主要用于DWS层。
它们的联系在于:DWD层和DWS层都是数据仓库中的重要层次,DWD层提供完整、准确的明细数据,DWS层依据业务需求,提供分析型的汇总信息。数据仓库的建设离不开DWD和DWS的联动,只有DWD和DWS相互配合,协同工作,才能构建出更加完善、可靠的数据仓库体系。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。