【Flink实战系列】Flink 双流 Join 出现数据倾斜如何解决？

作者：花生_TL007 | 2024-04-07 23:23:06

踩

在 Flink 里面常见的数据倾斜有两种

第一种计算场景，比如我们常说的 WordCount 计算，这种问题可以参考这篇文章，Flink发生数据倾斜怎么优化任务?(两段聚合的方式)

第二种 Join 场景，是我们今天的重点，在实际的开发中，我们可能需要关联两个流做数据补全，比如维表关联，主流的数据量很大，维表数据量很小，根据主键关联的时候，需要根据主键做 keyby 操作，因为主流中主键分布极其不均匀导致严重数据倾斜，从而导致任务的 cp 失败。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/花生_TL007/article/detail/381320