大数据常用工具集_大数据工具

作者：羊村懒王 | 2024-06-14 06:32:43

踩

大数据工具

1.大数据处理工具Hadoop

Hadoop的框架最核心的设计就是：HDFS和MapReduce，HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。

2.日志采集传输Flume

Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

为了解决数据同步速度问题，这里一般采用kafka作为中间消息队列。先同步到kafka，然后根据消费端消费速度自主进行数据消费。

3.全量数据同步工具DataX

DataX 本身作为数据同步框架，采用Frame,plugin模式，即框架，插件模式，可以通过添加不同的插件，实现不同异构数据源的数据同步工作。

4.增量数据同步工具Maxwell

Maxwell 的工作原理就是把自己伪装成 MySQL 的一个 slave，然后以 slave的身份假装从 MySQL(master)复制数据。然后同步到相应的大数据平台。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/羊村懒王/article/detail/716828

大数据常用工具集_大数据 工具