当前位置:   article > 正文

使用IDEA运行mapreduce(windows运行代码+hadoop运行jar包)_如何在idea中运行mapreduce函数

如何在idea中运行mapreduce函数

windows配置idea的教程:

https://blog.csdn.net/qq_40343117/article/details/100351273

mapreduce运行原理解析(写代码之前最好记住这些框架,否则不是很好记忆):

https://blog.csdn.net/qq_40343117/article/details/100079532

1、编写代码

我们使用IDEA运行mapreduce可以又来宁波各种方法,直接在windows运行,或者导出jar包在hadoop集群运行,这里哦我都会介绍,首先是第一种在Windows运行。

初始数据

在这里插入图片描述

实现逻辑

统计相同单词出现的次数

Windows运行mapreduce
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;
import java.util.Iterator;

public class D03 {
public static class Mapp extends Mapper<LongWritable,Text,Text,IntWritable>{
    @Override
    protected void map(LongWritable ke
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/IT小白/article/detail/506375
推荐阅读
相关标签
  

闽ICP备14008679号