当前位置: article > 正文

大数据——Mapreduce学习总结_mapreduce实验心得

作者：我家自动化 | 2024-06-02 16:10:48

踩

mapreduce实验心得

Mapreduce是一种分布式并行编程：借助一个集群通过多台机器同时并行处理大规模数据集。
在这里插入图片描述

Mapreduce采用分而治之的方法实现，把非常庞大的数据集，切分成非常多的独立的小片，然后单独的启动一个Map任务，最终通过多个map，并行的在多个机器上去处理

计算向数据靠拢而不是数据向计算靠拢
要完成一次数据分析，选择一个计算节点把运行数据分析的程序放到计算节点上运行；然后把它所涉及的数据，全部从各个节点面上拉过来，传输到计算发生的地方。

Mapreduce采用了Master/slave架构：一个Master服务器个若干个slave服务器。Master上与新作业跟踪器jobTracker,slave服务器负责基本任务的组件TaskTracker.

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家自动化/article/detail/663378