Hadoop实现wordcount单词计数（eclipse架包操作）_hadoop jar的单词统计

作者：繁依Fanyi0 | 2024-03-29 21:45:39

踩

hadoop jar的单词统计

Hadoop系统环境：CentOS4

例子：计数文件名为hello

实现流程：

1.eclipse写三个操作类

（1）主函数所在类WCDemo


package cn.cqsw;
 
import java.io.IOException;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
 
 
public class WCDemo {
	public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);
        job.setJarByClass(WCDemo.class);
        // 指定mapper类和reducer类
        job.setMapperClass(WCMap.class);
        job.setReducerClass(WCReduce.class);
        // 指定maptask的输出类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(LongWritable.class);
        // 指定reducetask的输出类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(LongWritable.class);
        // 指定该mapreduce程序数据的输入和输出路径
        Path inputPath = new Path("/hello");
        Path outputPath = new Path("/out3");
        FileInputFormat.setInputPaths(job, inputPath);
        FileOutputFormat.setOutputPath(job, outputPath);
        boolean waitForCompletion = job.waitForCompletion(true);
        System.exit(waitForCompletion?0:1);
}
 
 
}

这里有两个需要注意的点：

1、代码中：// 指定该mapreduce程序数据的输入和输出路径
Path inputPath = new Path("/hello");
Path outputPath = new Path("/out3");

/hello指的是需要计数单词的文件的路径 /out3指的是输出计数情况的文件的路径

这里的路径是因为博主将这个架包和hello文件放在同一目录下！！（看后面的截图）

而且，最好提前设定好需要计数的文件，以免找不到文件！

2、博主包名为cn.cqsw，之后的代码里面需要用到自己的包名！！

（2）类WCMap


package cn.cqsw;
 
import java.io.IOException;
 
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
 
/**
 * 
 * KEYIN        即k1          表示行的偏移量
 * VALUEIN      即v1          表示行文本内容
 * KEYOUT       即k2          表示行中出现的单词
 * VALUEOUT     即v2          表示行中出现的单词的次数，固定值1
 *
 */
public class WCMap extends Mapper<LongWritable, Text, Text, LongWritable> {
	
	@Override
		protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text,LongWritable>.Context context)
				throws IOException, InterruptedException {
		    //按空格来分割  	
			String[] splited=value.toString().split(" ");
		    for(String str :splited)
		    {
		    	//按KV的形式输出数据
				context.write(new Text(str),new LongWritable(1));
		    }
		}
	}

（3）类WCReduce


package cn.cqsw;
 
import java.io.IOException;
 
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
 
/**
 * 
 * KEYIN        即k2          表示行中出现的单词
 * VALUEIN      即v2          表示出现的单词的次数
 * KEYOUT       即k3          表示行中出现的不同单词
 * VALUEOUT     即v3          表示行中出现不同单词的总次数
 *
 */
public class WCReduce extends Reducer<Text, LongWritable,Text, LongWritable> {
@Override
protected void reduce(Text text, Iterable<LongWritable> iterable,Reducer<Text, LongWritable,Text,LongWritable>.Context   context) throws IOException,InterruptedException {
        	long time=0;
        	for(LongWritable lw :iterable)
       	 {
        		time+=lw.get();
       	 }
        	context.write(text, new LongWritable(time));
        }
}