当前位置:   article > 正文

实验十 Hadoop实验——MapReduce编程_对于两个输入文件,即文件a和文件b,请编写mapreduce程序,对两个文件进行合并,并剔

对于两个输入文件,即文件a和文件b,请编写mapreduce程序,对两个文件进行合并,并剔

实验十 Hadoop实验——MapReduce编程

  • 实验目的
    1. 通过实验掌握基本的MapReduce编程方法。
    2. 通过操作MapReduce的实验,模仿实验内容,深入理解MapReduce的过程,熟悉MapReduce程序的编程方式。
  • 实验环境

与实验五一致https://mp.csdn.net/editor/html/116616391,其他命令可参考实验六:https://mp.csdn.net/editor/html/116618050实验七https://mp.csdn.net/editor/html/116618050

  • 试验内容
  1. 对于两个输入文件,即文件A和文件B,请编写MapReduce程序,对两个文件进行合并,并剔除其中重复的内容,得到一个新的输出文件C。下面是输入文件和输出文件的一个样例供参考。

输入文件f1.txt的样例如下:

20150101     x

20150102     y

20150103     x

20150104     y

20150105     z

20150106     x

输入文件f2.txt的样例如下:

20150101     y

20150102     y

20150103     x

20150104     z

20150105     y

根据输入文件f1和f2合并得到的输出文件的样例如下:

20150101      x

20150101      y

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/780731
推荐阅读
相关标签
  

闽ICP备14008679号