赞
踩
第一步:写一个类用来统计文件中的个数。
第二步:因为mapreduce框架有默认实现,所以需要重写、覆盖mapreduce框架中map()和reduce()方法。
第三步:用main()方法当做mapreduce程序的入口,用来构建mapreduce框架,在main()方法中创建一个job任务。
第四步:使用maven的打包程序将代码打包成一个jar包。
第五步:将这个jar包传入到hadoop中使用,代码为:
hadoop jar jar包名 代码路径
(hadoop jar hadoop-1.0-SNAPSHOT.jar com.shujia.hadoop.MapReduceDemo01)
具体代码如下:
- import org.apache.hadoop.conf.Configuration;
- import org.apache.hadoop.fs.FileSystem;
- import org.apache.hadoop.fs.Path;
- import org.apache.hadoop.io.LongWritable;
- import org.apache.hadoop.io.Text;
-
- import org.apache.hadoop.mapreduce.Job;
- import org.apache.hadoop.mapreduce.Mapper;
- import org.apache.hadoop.mapreduce.Reducer;
- import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
- import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
-
- import java.io.IOException;
-
-
- public class MapReduceD

Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。