java 计算输入数据的商_Hadoop(4-1)-MapReduce程序案例-统计销售商品数量

1.问题陈述：

找出销往各个国家商品数量。

输入: 我们的畋输入数据集合是一个 CSV 文件, Sales2014.csv

输出：国家名 销往次国家的商品数量

商品信息如图所示

2.前提条件：

• 本教程是在Linux上开发

• 已经安装了Hadoop(本教程使用版本2.6.5)

• 系统上已安装了Java(本教程使用 JDK1.8.0)。

3.步骤:(先运行成功再看4的解释)

3.1.创建一个新的目录名称是：MapReduceTutorial

[[email protected] /]# cd /usr/local

[[email protected] local]# mkdir MapReduceTutorial

3.2.授予权限

[[email protected] local]# chmod -R 777 MapReduceTutorial

3.3 下载相关文件：下载 Java 程序文件，拷贝以下文件：SalesMapper.java, SalesCountryReducer.java 和 SalesCountryDriver.java 到 MapReduceTutorial 目录中，

3.4 检查所有这些文件的文件权限是否正确：ll

如果“读取”权限缺少可重新再授予权限，执行以下命令： chmod +r *

3.5 在MapReduceTutorial文件夹下新建一个文件夹SalesCountry用于存放编译好的class文件

[[email protected] MapReduceTutorial]# mkdir SalesCountry

3.6.导出类路径

[root@hdp-node-01MapReduceTutorial]# export CLASSPATH="$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.6.5.jar:$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-common-2.6.5.jar:$HADOOP_HOME/share/hadoop/common/hadoop-common-2.6.5.jar:~/MapReduceTutorial/SalesCountry/*:$HADOOP_HOME/lib/*"

注意：其中Hadoop版本需替换为自己的

执行完此步后java编译后将放在SalesCountry文件夹下

3.7 编译Jav[[email protected] MapReduceTutorial]# javac -d . SalesMapper.java SalesCountryReducer.java SalesCountryDriver.java上面-d后有一点

3.8查看SalesCountry文件夹

[root@hdp-node-01 MapReduceTutorial]# ls ./SalesCountry

SalesCountryDriver.class SalesCountryReducer.class SalesMapper.class

3.9 创建一个新的文件：Manifest.txt——–这样运行jar时不用再指定主类

[[email protected] MapReduceTutorial]# vi Manifest.txt

添加以下内容到文件中：

Main-Cl