MT数据体系1.0_cantor调度

作者：小丑西瓜9 | 2024-02-25 04:11:16

踩

cantor调度

数据体系介绍
整体分为业务服务、数据抽取、调度系统、数据仓库、数据服务、数据应用、数据挖掘、数据治理等
业务存储：以mysql为主，另有也有TiDB可以选择
数据抽取：canel、flume为主，数据到kafka
数据仓库：实时Flink、离线Hive、Spark、Presto；dataX
业务应用：Doris、Tair、Redis、MySQL
数据接口：OneService数据服务
调度系统：Cantor 美团调度系统，同类开源项目有AirFlow

魔数平台：用于执行SQL查询，下载结果集的系统。通常在数据分析阶段使用。
协同平台：用于使用SQL开发ETL的平台。通常用于数据生产。
托管平台：用于管理和运行Spark任务，用户提供任务的代码仓库，系统管理和运行任务。通常用于逻辑较复杂的ETL、基于Spark的离线模型训练/预测任务等。
调度平台：用于管理任务的依赖关系，周期性按依赖执行调度任务。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小丑西瓜9/article/detail/138520