Flink实战（九十二）：数据倾斜（一）如何处理作业的数据倾斜_flink数据量多大才会造成数据倾斜

作者：繁依Fanyi0 | 2024-04-07 23:28:29

踩

flink数据量多大才会造成数据倾斜

数据倾斜就是数据的分布严重不均，造成一部分数据很多，一部分数据很少的局面。数据分布理论上都是倾斜的，符合“二八原理”：例如80%的财富集中在20%的人手中、80%的用户只使用20%的功能、20%的用户贡献了80%的访问量。数据倾斜的现象，如下图所示。

数据倾斜

数据集中在某些分区上（Subtask），导致数据严重不平衡。

过多的数据集中在某些 JVM（TaskManager），使得JVM 的内存资源短缺，导致频繁 GC。

数据单点和频繁 GC 导致吞吐下降、延迟增大。

严重情况下，过长的 GC 导致 TaskManager 失联，系统崩溃。

数据倾斜的影响

定位反压有2种方式：Flink Web UI 自带的反压监控（直接方式）、Flink Task Metrics

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/381362