热门标签
热门文章
- 1Linux服务器查看、启动、停止、重启zookeeper服务
- 2gitblit-1.8.0域认证
- 3多线程并发执行 + 多进程并行执行_python并行计算
- 401uni-app 基础教程 环境配置【uniapp 专题 1】_uni-app测试正式配置
- 5机器学习之K-means聚类分析NBA球员案例_基于python的机器学习k-means聚类分析nba球员案例
- 6Spring AI教程（七）：数据处理与ETL框架_spring ai框架
- 7详细分析MybatisPlus中 多个like的模糊匹配查询_mybatisplus like
- 8[word] word左右缩进2个字符的方法 #其他#职场发展
- 9python计算一组数据的斜率_关于python：应用Plyfit函数查找每个数据框列的斜率
- 10window系统使用ssh连接远程服务器_windowsssh全密钥连接服务器
当前位置: article > 正文
大数据DataX（二）：DataX核心架构_datax 架构图
作者：木道寻08 | 2024-06-23 02:44:47
赞
踩
datax 架构图
文章目录
DataX核心架构
DataX 3.0 开源版本支持单机多线程模式完成同步作业运行，本文按一个DataX作业生命周期的时序图，从整体架构设计非常简要说明DataX各个模块相互关系。
一、核心模块介绍
- DataX完成单个数据同步的作业，我们称之为Job，DataX接受到一个Job之后，将启动一个进程来完成整个作业同步过程。DataX Job模块是单个作业的中枢管理节点，承担了数据清理、子任务切分(将单一作业计算转化为多个子Task)、TaskGroup管理等功能。
- DataXJob启动后，会根据不同的源端切分策略，将Job切分成多个小的Task(子任务)，以便于并发执行。Task便是DataX作业的最小单元，每一个Task都会负责一部分数据的同步工作。
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/木道寻08/article/detail/748493
推荐阅读
相关标签
