当前位置:   article > 正文

数仓实践:构建数仓高质量建设指标体系_数仓开发 相同维度多个指标

数仓开发 相同维度多个指标

大家好,我是云祁。

一个企业的数据仓库或者数据中台建设,往往都需要经历前期混沌摸索的阶段,踩过无数的坑之后,才会逐渐建设完善,形成适合自己的一套数仓体系和建设规范。

今天就和大家分享一篇构建高质量数仓的踩坑好文章~

一、 大数据仓库较差的建设

先来回忆一下数仓建设经常遇到的一些坑或现象。

d9be4df06bece64e6450b0c7e8963b81.png

f9c0b8e71bb2ab22ba82d788883492f6.png

二、构建数仓建设质量指标体系

还在为如何评估数仓建设质量而犯愁么?

本文在常规的分层建设、划分主题外将带大家一起探索出了一条可在大、小团队均可实施落地的数仓建设质量体系构建之路。

为此,从 完善度、复用度、规范度、资源度 全面衡量数仓建设质量。那问题来了,如何构建这4个核心指标呢。如下表所示:

a814737f12c046893c68904941937e12.png

现在有了数仓质量的度量指标体系,新问题也来了。现有的任务及库表在线上运行及相互依赖引用极多,直接贸然改动可能引起线上问题!!!那该如何“落地”呢?

库表名称改动涉及的面太大,那可以 通过任务名称进行改动,例行化每天统计所有的任务消耗的资源;然后放长时间看趋势就可以观察到数据任务的变化趋势。

1、任务名称规范

所属于分层 + 最大引用层 + (主题)(模块)(任务) + 任务调用脚本

示例1:dws-dwd-事件轻度聚合表-dws_detail_app_log_di

2、例行化计算所有任务消耗资源

通过属于分层、最大引用层计算得出跨层引用,如:ads 直接依赖于dwd、ods 层则算跨层引用;

9d3357b1d8aa027a499dfb2cc7301a05.png

三、战略战术性进行任务改造

2555969ccf7b2cd5e4dee60b4dbe7a84.png

bab565822b692275ca3f602be85b4bf7.png

某个数仓任务改造效果示例:

b30564e12390e77408f047510561e74a.png

Tip1: 小表广播,MapJoin加快产出

ca29d3e3bd13ef4246fe7f4b8af2130c.png

Tip2: 降低SQL 嵌套层数,加快产出

83f050c9c4d39df92eea9d84fba65ad3.png

Tip3: 降低Group By 维度,加快产出

aeda846c8f35990d943a8a0352b0cac2.png

Tip4: MapReduce 升级为 Spark,加快产出

69c46d5baaae364cd157f1891302c7aa.png

四、通过数仓质量度量体系建设成果

如下图:

Spark 任务占比逐步提升;

MapReduce 任务占比逐渐递减;

任务平均产出时长在逐步缩短;

bae3d75891f7b964eeba6142f8458b12.png

480fc8ee232d30d71e1c1070bc48daa2.png

8f9537a5b5b68edef640d94de0a35876.gif

数据体系构建

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/码创造者/article/detail/832275
推荐阅读
相关标签