当前位置:   article > 正文

基于 Flink SQL 和 Paimon 构建流式湖仓新方案_flick paimon官网

flick paimon官网

目录

1. 数据分析架构演进

2. Apache Paimon

3. Flink + Paimon 流式湖仓

Consumer 机制

Changelog 生成​编辑

4. 设计思想

5. 核心能力

文件复用

异步 Compaction

引用材料


1. 数据分析架构演进

    从传统的 Hive 和 Hadoop 数据仓库架构向 Lakehouse 架构演进,Lakehouse 架构包括 Presto、Spark、OSS 等,以及湖格式(如 Delta、Hudi、Iceberg)。
    Lakehouse 架构提供了更好的操作便利性、查询效率和时效性。

2. Apache Paimon

  • Paimon 是一个流式数据湖格式,专为流式数据处理设计,支持大规模更新和真正的流读。
  • Paimon 结合了湖存储和LSM(Log Structured MergeTree)技术,提供了低延时、低成本的流式数据湖解决方案。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/Guff_9hys/article/detail/886661
推荐阅读
相关标签
  

闽ICP备14008679号