大数据-数仓分层之ODS_ods 大数据

ODS层描述

ods层的作用

ods层为了将原始的业务数据、用户行为数据全部从hdfs中读取出来放入hive中进行分析（实质上也是放在hdfs上，相当于对原始数据进行了备份）

这里面有所有脚本：都是一些数据装载的脚本，就不多描述

表的同步策略

用户行为日志表（ods_log），按天全部同步

1. 订单表（增量及更新）（ ods_order_info）

2 订单详情表（增量）（ ods_order_detail）

3 SKU 商品表（全量）（ods_sku_info）

4 用户表（增量及更新）（ods_user_info）

5 商品一级分类表（全量）（ods_base_category1）

6 商品二级分类表（全量）（ods_base_category2）

7 商品三级分类表（全量）（ods_base_category3）

8 支付流水表（增量）（ods_payment_info）

9 省份表（特殊）（ods_base_province）

10 地区表（特殊）（ods_base_region）

11 品牌表（全量）（ods_base_trademark）

12 订单状态表（增量）（ods_order_status_log）

13 SPU 商品表（全量）（ods_spu_info）

14 商品评论表（增量）（ods_comment_info）

15 退单表（增量）（ods_order_refund_info）

16 加购表（全量）（ods_cart_info）

17 商品收藏表（全量）（ods_favor_info）

18 优惠券领用表（新增及变化）（ods_coupon_use）

19 优惠券表（全量）（ods_coupon_info）

20 活动表（全量）（ods_activity_info）

21 活动订单关联表（增量）（ods_activity_order）

22 优惠规则表（全量）（ods_activity_rule）

23 编码字典表（全量）（ods_base_dic）

脚本使用

如果是第一次导入：

[root@hadoop102 bin]$ hdfs_to_ods_db.sh first 2020-06-18
1

之后导入：

[root@hadoop102 bin]$ hdfs_to_ods_db.sh all 2020-06-18
1

总结

---

感谢大家阅、互相学习；
感谢尚硅谷提供的学习资料；
有问题评论或者发邮箱；
gitee：很多代码仓库；
1449697757@qq.com