当前位置:   article > 正文

Cube的构建过程

cube是怎么做的

Cube 的构建方式有两种:全量构建和增量构建。两者的构建过程完全一样,区别在于构建时读取的数据源是全集还是子集。

Cube的构建步骤:

1.创建临时的 Hive 平表(从 Hive 读取数据)。

2.计算各维度的不同值,并收集各 Cuboid 的统计数据。

3.创建并保存字典。

4.保存Cuboid统计信息。

5.创建HTable。

6.计算Cube(一轮或若干轮MapReduce)

7.将Cube的计算结果转成HFile。

8.加载HFile到HBase。

9.更新Cube元数据。

10.垃圾回收。

转载于:https://my.oschina.net/134596/blog/1834603

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/笔触狂放9/article/detail/697617
推荐阅读
  

闽ICP备14008679号