02Flink实时数仓（尚硅谷）- DWD层数据准备_flink kafka的dwd层

作者：在线问答5 | 2024-08-07 15:00:05

踩

flink kafka的dwd层

本博客内容出自尚硅谷b站公开课，如有侵权，请联系博主删除

第1章需求分析及实现思路

在之前介绍实时数仓概念时讨论过，建设实时数仓的目的，主要是增加数据计算的复用性。每次新增加统计需求时，不至于从原始数据进行计算，而是从半成品继续加工而成。

我们这里从 Kafka 的 ODS 层读取用户行为日志以及业务数据，并进行简单处理，写回到 Kafka 作为 DWD 层。
在这里插入图片描述

分层	数据描述	生成计算工具	存储媒介
ODS	原始数据，日志和业务数据	日志服务器，FlinkCDC	Kafka
DWD	根据数据对象为单位进行分流，比如订单、页面访问等等。	Flink	Kafka
DWM	对于部分数据对象进行进一步加工，比如独立访问、跳出行为。依旧是明细数据。	Flink	Kafka
DIM	维度数据	Flink	HBase
DWS	根据某个维

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/在线问答5/article/detail/943104