Doris和Flink在实时数仓实践_doris flink

一、Doris简介
1.1 简介
Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris的分布式架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集。
Apache Doris可以满足多种数据分析需求，例如固定历史报表，实时数据分析，交互式数据分析和探索式数据分析等。令您的数据分析工作更加简单高效！
1.2 架构

想要了解更多doris，可以去官网学习Apache Doris，Flink我也不赘述了，说多了，今天讲不完。
我们的业务背景，就是想秒级实时数据呈现。
二、进入正题
2.1 我们的历史架构

数据量介绍：
a.请求百亿级
b.曝光亿级
c.点击百万级
d.其他数据就不说了，我就简单讲哈哈。
2.2 遇到的问题
计算问题：
a. 多表join不易维护
b. sql化还要实现各种udf函数
c. 开发耗时
存储问题：
a. 宽表需要多流join，还得关联维度表
b. es不支持join，需要提前加工好宽表
c. es大量聚合查询性能下降
d. es-sql，计算函数支持不优雅，比如：除法等等
e. es没有聚合模型，全量写入会带来写入压力和冗余数据，需要依托flink窗口预计算来减轻写入压力。缺点：flink窗口小，写入量大带来数据冗余和写入性能差；flink窗口大，写入数据量会减少，数据时效性差，无法满足模型训练秒级别的需求
2.3 解决问题
计算替代思考 本文内容由网友自发贡献，转载请注明出处：https://www.wpsshop.cn/w/小小林熬夜学编程/article/detail/383914