Flink cdc+ doris 大宽表实践~_flink cdc doris

作者：IT小白 | 2024-05-05 19:58:20

踩

flink cdc doris

还没整理好，别慌。

一，业务问题：

多个表关联join（涉及时间维度跨度很长），几乎等同于全量关联，这个时候flink sql join没法做，因为state会无线增大，然后OOM。

二，解决方案：

使用doris去做大宽表。

方案1，数据写入ods层，然后sql语句关联定时写入dws层，类似离线批处理。

这种就是替代hive离线计算的方案。

方案2,数据写入大宽表，利用doris特性。

1）创建doris大宽表 -Agg模型

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/IT小白/article/detail/540598