利用Hadoop平台的map-reduce进行词频统计_利用hadoop的mapreduce计算 fine good happy fine thank fi

下述内容操作平台有三个：
个人PC，远端阿里云linux服务器，远端Hadoop集群

（一）进入本地服务器实验文件目录

（二）查看实验步骤说明文档

（三）删除前一次操作同样实验的数据，避免实验干扰错误

（四）上传数据集到hadoop集群

（五）不要直接写完程序去hadoop集群上运行；先小规模数据，本地模拟程序debug

map操作程序

reduce操作程序

（六）利用hadoop streaming进行map和reduce操作，-output /JULY/example_1/test的最内层文件夹test必须是之前不存在的文件夹

原理如下


注：这里运行 hadoop jar /usr/lib/hadoop-current/share/hadoop/tools/lib/hadoop-streaming-2.7.2.jar -file count_mapper.py -mapper count_mapper.py -file count_reducer.py -reducer count_reducer.py -input /JULY/example_1/text1.txt -output /JULY/example_1/test命令，其中hadoop jar /usr/lib/hadoop-current/share/hadoop/tools/lib/hadoop-streaming-2.7.2.jar表示将命令文件脚本推到hadoop集群上运行，其余各项设置参考

（七）查看map和reduce操作之后在hadoop平台上的生成的数据文件

（八）hadoop fs -getmerge /JULY/example_1/test result.txt：把hadoop平台上存放的生成数据拉到本地服务器，存放在新建的result.txt文件里，getmerge取多个文件数据到本地服务器